Beyin sinyallerini anında konuşmaya çeviren teknoloji

UC Berkeley ve UC San Francisco’dan araştırmacılar, ağır felç geçiren bireyler için neredeyse doğal konuşmayı geri kazandıran bir sistem geliştirerek beyin-bilgisayar arayüzü (BCI) teknolojisinde çığır açtılar. Bu yenilikçi prosedür, konuşma nöroprotezlerindeki temel bir sorunu çözmeye odaklanıyor: Konuşma teşebbüsleri ile kanıların sese dönüştürülmesi ortasındaki gecikmenin ortadan kaldırılması.

Nature Neuroscience mecmuasında yayınlanan bu teknoloji, beyin sinyallerini neredeyse anında konuşulan sözlere çevirmek için yapay zeka (AI) kullanıyor. Gerçek vakitli olarak duyulabilir konuşmaya aktarılan beyin aktiviteleri, konuşmayı daha doğal ve akıcı hale getirerek duraklama olmadan daima bir söz akışı sağlıyor. Bu öncü çalışma, Ulusal Sıhhat Enstitüleri (NIH) bünyesindeki Ulusal Sağırlık ve Öteki İrtibat Bozuklukları Enstitüsü (NIDCD) tarafından destekleniyor.

Alexa ve Siri üzere aygıtlarda kullanılan algoritmalara emsal bir yapıya sahip olan bu sistem, sinyalleri çözerek konuşma oluşturan bir akış sunuyor. Çeşitli aygıtlarla uyumlu olan teknoloji, hem invaziv olmayan sensörlerle yüz kası aktivitesini ölçebiliyor hem de beynin yüzeyine yahut içine yerleştirilen elektrotlarla daha karmaşık sistemleri destekleyebiliyor. Doktora öğrencisi ve çalışmanın ortak müellifi Kaylo Littlejohn’a nazaran algoritma, muteber sinyallere erişim sağlandığında farklı beyin izleme düzeneklerine kolaylıkla ahenk sağlayabiliyor.

Nasıl çalışıyor?

Bu nöroprotez, beynin motor korteksinde konuşmayı denetim eden sinirsel aktiviteleri algılayarak sözlere dönüştürüyor. Bu süreç, birey bir niyet oluşturduğunda ve ses kaslarını hareket ettirmeye hazırlandığında devreye giriyor. Sistemin eğitimi için araştırmacılar, iştirakçinin sessizce cümleler söylemeye çalıştığı anlarda beyin aktivitelerini kaydetti. Yapay zeka modelleri, eksik ses ayrıntılarını doldurarak konuşma çıktısını oluşturdu. Ayrıyeten takım, iştirakçinin yaralanmadan evvelki sesini referans alarak çıktının tanıdık ve şahsî olmasını sağladı. Evvelki teknolojiler, tam cümlelerin çözümlenmesinde 8 saniyelik bir gecikmeye sahipken, bu yeni prosedür 1 saniyeden kısa müddette duyulabilir konuşma oluşturabiliyor. Bu sürat ve doğruluk, sistemin gerçek vakitli konuşma üretiminde üstün bir performans sergilediğini kanıtlıyor.

Araştırmacılar, sistemi test etmek için NATO fonetik alfabesindeki (“Alfa”, “Bravo” gibi) az sözleri sentezlediler ve bu sözler, eğitim datalarının bir kesimi olmadığı halde başarılı sonuçlar elde edildi. Bu durum, teknolojinin daha geniş bir söz dağarcığında kullanılabileceğini gösteriyor.

Gelecek vizyonu

Araştırma takımı, gelecekte konuşmanın duygusal tonunu ve söz gücünü artırmayı hedefliyor. Çıkışı daha gerçekçi hale getirmek için perde, ses seviyesi ve duygusal değişiklikleri yansıtacak halde sistemi geliştirmeyi amaçlıyorlar. Bu teknoloji, daha fazla uygunlaştırma ile konuşma yetisini kaybetmiş bireyler için irtibat seçeneklerini değerli ölçüde genişletebilir ve hayat kalitesini artırabilir.