Bilim insanları beyin dalgaları yoluyla iletişim kurma yolunda son dönemde önemli adımlar attılar. NöroBlog ekibi olarak bu adımları size aktarmıştık. (Beyin Dalgaları Bilgisayar Yardımıyla Sese Dönüştürüldü).
Nature dergisinin 24 Nisan tarihli yeni sayısında yayınlanan bir çalışma, düşüncenin sese dönüştürülmesi sürecinde bir eşiği daha atladığımızı gösteriyor. Önce bilim insanlarının beyin sinyallerini sese dönüştürmede ne kadar başarılı olduğunu dinleyelim.
Duyduğunuz gibi iki İngilizce cümle beyin sinyallerinden sese dönüştürülmüş ve büyük oranda anlaşılabilir durumda. Bundan yalnızca birkaç ay önce bu alanda yayınlanan üç makalede ancak tek heceli kelimeler anlaşılabilir durumdaydı. Tek heceli kelimelerden cümle seviyesine geçebilmek beyin sinyallerini sese dönüştürme konusunda inanılmaz bir atılım.
Konuşma Yeteneğini Kaybetmiş İnsanlar Günümüzde Nasıl İletişim Kuruyor?
Konuşma kabiliyetini yitiren birçok kişi; bir ekrandaki harfleri veya kelimeleri seçen bir imleci kontrol etmek için, küçük hareketler yapmalarını gerektiren bir teknolojiyi kullanarak iletişim kurar. Motor nöron hastalığı olan ünlü fizikçi Stephen Hawking bu yolla iletişim kuran insanların en tanıdık örneğidir. Hawking uzun yıllar, yanağındaki kasların hareketiyle klavye kullanarak konuşma üreten bir cihaz kullandı.
Bu çalışmanın başındaki isim olan Edward Chang, bu tür cihazları kullanan kişilerin harf harf yazmak zorunda olmasından dolayı çok yavaş iletişim kurabildiğini ve dakikada yalnızca 10 kelime üretilebildiğini söylüyor. Oysa biz anadilimizdeki günlük bir konuşmada dakikada ortalama 150 kelime kullanıyoruz. Bunu yapmamızı sağlayan ise vokal yolun etkinliği. Bu nedenle Chang ve ekibi beyin sinyallerini çözücü cihazlarını oluştururken vokal sistemi modellemeye karar vermişler.
Beyin Sinyalleri Nasıl Sese Dönüştürüldü?
Araştırmacılar, epilepsi tedavisinin bir parçası olarak beyinlerinin yüzeyine elektrot yerleştirilmiş beş kişiyle çalıştı. İlk olarak, katılımcılar yüksek sesle yüzlerce cümle okurken çalışma ekibi katılımcıların beyin aktivitesini kaydetti. Ardından Chang ve meslektaşları bu kayıtları; dilin, dudakların, çenenin ve gırtlak hareketlerinin nasıl ses çıkardığını belirleyen önceki deneylerden elde edilen verilerle birleştirdi.
Ekip bu veriler üzerinde derin öğrenme algoritması ile yapay zekayı eğitti ve ardından programı kod çözücülerine ekledi. Cihaz, beyin sinyallerini vokal yolun tahmini hareketlerine çeviren ve ardından bu tahmini hareketleri sentetik bir konuşmaya dönüştüren bir teknolojiye sahip. Chang, oluşturulan 101 cümleyi dinleyenlerin, kelimelerin ortalama %70’ini anlayabildiğini söylüyor. Bu cihaz hem hecelerle yetinmeyip cümleleri sese dönüştürüyor; hem de anlaşılabilirlik oranı eski cihazlardan daha yüksek.
Başka bir deneyde, araştırmacılar önce katılımcılardan cümleleri yüksek sesle okumalarını; daha sonra ise ses çıkarmadan, sadece ağız hareketleriyle aynı cümleyi okumalarını istedi. Dr. Chang bu testte beyin aktivitesi sinyalleri sonucu sentezlenen cümlelerin sesli konuşmalarda oluşturulan cümlelerden daha düşük kalitede olduğunu söylüyor, ancak sonuçların hala cesaret verici olduğunu belirtiyor.
Düşünce Yoluyla İletişim Gerçekten Mümkün Olacak mı?
Washington Üniversitesi’nden mühendis Amy Orsborn “Bu yeni teknolojik cihazın, insanların yalnızca düşünme sonucundaki beyin aktivitesiyle üretilen kelimelerle çalışıp çalışmayacağı belli değil” diyor. Cihaz ağzını hareket ettirerek yani vokal yol ile sinyal eşlenmesini sağlayarak konuşan birisi için gayet güzel iş görüyor; ancak ya kişi ağzını hareket ettiremiyorsa?
Chicago’daki Northwestern Üniversitesinden nörolog Marc Slutzky ise sinyal çözücü cihazın performansının iyileştirilmesi ve geliştirilmesi gerektiğini söylüyor. Slutzky, dinleyicilerin bir dizi seçenek arasından kelimeleri seçerek sentezlenmiş konuşmayı tanımladığını belirtti. Seçim yapılacak kelime havuzu genişledikçe insanlar kelimeleri anlama konusunda daha fazla sorun yaşıyorlar. “Gerçekten çok önemli bir adım; ancak cihazın etkinliği ile oluşturulan konuşmanın kolayca anlaşılabilir olması için daha uzun bir yol var” diyor.
Cihazın Günlük Hayatta Kullanılması Henüz Mümkün Değil
Bu teknoloji henüz günlük pratikte hastaların kullanabileceği bir teknoloji değil, ancak birkaç ay içinde kaydedilen gelişmeler inanılmaz boyutta. Bu atılımın devam etmesi durumunda sinirsel aktiviteyi konuşmaya çeviren bu teknoloji, nörolojik bozukluklar sonucunda konuşamayan ve iletişim kuramayan insanlar için umut olacaktır.
Teknoloji Distopya Doğurur mu?
Düşünceyi sese dönüştüren bir teknoloji hastalara yardım edecek olsa da, bu teknolojinin ilerlediği durumlarda hemen herkesin ne düşündüğünü beyin dalgalarından anlayabilmek mümkün olabilir. Otoriter devletler ve kişisel bilgilerimize olan açlıkları bitmeyen özel şirketler bu teknolojilerin geliştirilmesi durumunda tehlikeli birer gözetleyici haline gelecektir. Düşünmek ama dile getirmemek günümüzde milyonlarca insanı koruyor, ancak bu hep böyle kalmayabilir. Bu nedenle bu teknolojiler geliştirilirken konunun nörohukuk ve nöroetik bağlamında da dikkatli bir biçimde tartışılması gerekiyor.
Yazanlar: Oğuzhan Acet ve Onur Arpat
Düzenleyen: Meriç Öztürk
NöroBlog’u Patreon üzerinden desteklemek için: http://patreon.com/NoroBlog
Kaynaklar ve ileri okuma:
Orijinal Makale Nature – Speech synthesis from neural decoding of spoken sentences
Nature Brain signals translated into speech using artificial intelligence
YouTube Bloomberg – Stephen Hawking’s Voice and the Machine That Powers It
Açık Bilinç Zihin Okuma Teknolojileri
Görsel UCSF Chang Lab
Beyin Dalgaları Bilgisayar Yardımıyla Sese Dönüştürüldü
Anasayfamızdan daha fazla sinirbilim yazısına ulaşabilir, podcast ve videolarımıza erişebilirsiniz.
