'Neuroprosthesis' mengembalikan kata-kata kepada manusia dengan kelumpuhan

'Neuroprosthesis' mengembalikan kata-kata kepada manusia dengan kelumpuhan

Para peneliti di UC San Francisco telah berhasil mengembangkan "speech neuroprosthesis" yang memungkinkan seorang pria dengan kelumpuhan parah untuk berkomunikasi dalam kalimat, menerjemahkan sinyal dari otaknya ke saluran vokal langsung ke dalam kata-kata yang muncul sebagai teks di layar.

Pencapaian, yang dikembangkan bekerja sama dengan peserta pertama dari uji coba penelitian klinis, dibangun di atas upaya lebih dari satu dekade oleh ahli bedah saraf UCSF Edward Chang, MD, untuk mengembangkan teknologi yang memungkinkan orang dengan kelumpuhan untuk berkomunikasi bahkan jika mereka tidak dapat untuk berbicara sendiri. Studi ini muncul 15 Juli di New England Journal of Medicine.

“Sepengetahuan kami, ini adalah demonstrasi pertama yang berhasil mendekodekan kata-kata lengkap secara langsung dari aktivitas otak seseorang yang lumpuh dan tidak dapat berbicara,” kata Chang, Ketua Bedah Neurologis Joan dan Sanford Weill di UCSF, Profesor Terhormat Jeanne Robertson , dan penulis senior pada penelitian ini. "Ini menunjukkan janji kuat untuk memulihkan komunikasi dengan memanfaatkan mesin bicara alami otak."

Setiap tahun, ribuan orang kehilangan kemampuan berbicara karena stroke, kecelakaan, atau penyakit. Dengan pengembangan lebih lanjut, pendekatan yang dijelaskan dalam penelitian ini suatu hari nanti dapat memungkinkan orang-orang ini untuk berkomunikasi sepenuhnya.

Menerjemahkan Sinyal Otak ke dalam Ucapan

Sebelumnya, pekerjaan di bidang komunikasi neuroprostetik berfokus pada pemulihan komunikasi melalui pendekatan berbasis ejaan untuk mengetik huruf satu per satu dalam teks. Studi Chang berbeda dari upaya ini secara kritis: timnya menerjemahkan sinyal yang dimaksudkan untuk mengontrol otot-otot sistem vokal untuk mengucapkan kata-kata, daripada sinyal untuk menggerakkan lengan atau tangan untuk memungkinkan pengetikan. Chang mengatakan pendekatan ini menyentuh aspek alami dan lancar dari pembicaraan dan menjanjikan komunikasi yang lebih cepat dan organik.

“Dengan ucapan, kami biasanya mengkomunikasikan informasi dengan kecepatan yang sangat tinggi, hingga 150 atau 200 kata per menit,” katanya, mencatat bahwa pendekatan berbasis ejaan menggunakan mengetik, menulis, dan mengendalikan kursor jauh lebih lambat dan lebih melelahkan. "Langsung ke kata-kata, seperti yang kita lakukan di sini, memiliki keuntungan besar karena lebih dekat dengan bagaimana kita biasanya berbicara."

Selama dekade terakhir, kemajuan Chang menuju tujuan ini difasilitasi oleh pasien di Pusat Epilepsi UCSF yang menjalani bedah saraf untuk menunjukkan dengan tepat asal kejang mereka menggunakan susunan elektroda yang ditempatkan di permukaan otak mereka. Pasien-pasien ini, yang semuanya memiliki kemampuan bicara yang normal, secara sukarela meminta rekaman otak mereka dianalisis untuk aktivitas yang berhubungan dengan bicara. Keberhasilan awal dengan sukarelawan pasien ini membuka jalan bagi percobaan saat ini pada orang dengan kelumpuhan.

Sebelumnya, Chang dan rekan-rekannya di UCSF Weill Institute for Neurosciences memetakan pola aktivitas kortikal yang terkait dengan gerakan saluran vokal yang menghasilkan setiap konsonan dan vokal. Untuk menerjemahkan temuan tersebut ke dalam pengenalan ucapan kata-kata penuh, David Moses, Ph.D., seorang insinyur postdoctoral di lab Chang dan penulis utama studi baru, mengembangkan metode baru untuk decoding real-time dari pola-pola tersebut, serta menggabungkan model bahasa statistik untuk meningkatkan akurasi.

Namun keberhasilan mereka dalam memecahkan kode suara pada peserta yang mampu berbicara tidak menjamin bahwa teknologi tersebut akan bekerja pada orang yang saluran suaranya lumpuh. “Model kami perlu mempelajari pemetaan antara pola aktivitas otak yang kompleks dan ucapan yang dimaksudkan,” kata Moses. “Itu merupakan tantangan besar ketika peserta tidak dapat berbicara.”

Selain itu, tim tidak tahu apakah sinyal otak yang mengendalikan saluran vokal akan tetap utuh untuk orang yang tidak dapat menggerakkan otot vokalnya selama bertahun-tahun. “Cara terbaik untuk mengetahui apakah ini bisa berhasil adalah dengan mencobanya,” kata Moses.

50 Kata Pertama

Untuk menyelidiki potensi teknologi ini pada pasien dengan kelumpuhan, Chang bermitra dengan rekan Karunesh Ganguly, MD, Ph.D., seorang profesor neurologi, untuk meluncurkan penelitian yang dikenal sebagai “BRAVO” (Brain-Computer Interface Restoration of Arm and Suara). Peserta pertama dalam uji coba adalah seorang pria berusia akhir 30-an yang menderita stroke batang otak yang menghancurkan lebih dari 15 tahun yang lalu yang merusak hubungan antara otaknya dan saluran vokal serta anggota tubuhnya. Sejak cedera, ia memiliki gerakan kepala, leher, dan anggota tubuh yang sangat terbatas, dan berkomunikasi dengan menggunakan penunjuk yang dipasang pada topi baseball untuk menyodok huruf di layar.

Peserta, yang meminta untuk disebut sebagai BRAVO1, bekerja dengan para peneliti untuk membuat kosakata 50 kata yang dapat dikenali oleh tim Chang dari aktivitas otak menggunakan algoritme komputer canggih. Kosakata—yang mencakup kata-kata seperti “air”, “keluarga”, dan “baik”—cukup untuk membuat ratusan kalimat yang mengungkapkan konsep yang dapat diterapkan dalam kehidupan sehari-hari BRAVO1.

Untuk penelitian ini, Chang melalui pembedahan menanamkan susunan elektroda densitas tinggi di atas korteks motorik bicara BRAVO1. Setelah peserta pulih sepenuhnya, timnya mencatat 22 jam aktivitas saraf di wilayah otak ini selama 48 sesi dan beberapa bulan. Di setiap sesi, BRAVO1 mencoba mengucapkan setiap 50 kosakata berkali-kali sementara elektroda merekam sinyal otak dari korteks bicaranya.

Menerjemahkan Percobaan Pidato ke dalam Teks

Untuk menerjemahkan pola aktivitas saraf yang direkam ke dalam kata-kata yang dimaksudkan secara spesifik, dua penulis utama Moses, Sean Metzger dan Jessie Liu, keduanya mahasiswa pascasarjana bioteknologi di Chang Lab, menggunakan model jaringan saraf khusus, yang merupakan bentuk kecerdasan buatan. Ketika peserta mencoba untuk berbicara, jaringan ini membedakan pola halus dalam aktivitas otak untuk mendeteksi upaya bicara dan mengidentifikasi kata-kata yang dia coba ucapkan.

Untuk menguji pendekatan mereka, tim pertama-tama mempresentasikan BRAVO1 dengan kalimat pendek yang dibangun dari 50 kosa kata dan memintanya untuk mencoba mengucapkannya beberapa kali. Saat dia berusaha, kata-kata itu diterjemahkan dari aktivitas otaknya, satu per satu, di layar.

Kemudian tim beralih untuk mendorongnya dengan pertanyaan seperti “Bagaimana kabarmu hari ini?” dan "Apakah Anda ingin air?" Seperti sebelumnya, percobaan pidato BRAVO1 muncul di layar. "Saya sangat baik," dan "Tidak, saya tidak haus."

Chang dan Moses menemukan bahwa sistem tersebut mampu memecahkan kode kata dari aktivitas otak dengan kecepatan hingga 18 kata per menit dengan akurasi hingga 93 persen (median 75 persen). Berkontribusi pada kesuksesan adalah model bahasa yang diterapkan Moses yang menerapkan fungsi "koreksi otomatis", mirip dengan apa yang digunakan oleh perangkat lunak pengenalan pesan dan ucapan konsumen.

Musa mencirikan hasil percobaan awal sebagai bukti prinsip. “Kami sangat senang melihat penguraian kode yang akurat dari berbagai kalimat yang bermakna,” katanya. “Kami telah menunjukkan bahwa sebenarnya mungkin untuk memfasilitasi komunikasi dengan cara ini dan memiliki potensi untuk digunakan dalam pengaturan percakapan.”

Ke depan, Chang dan Moses mengatakan mereka akan memperluas uji coba untuk memasukkan lebih banyak peserta yang terkena kelumpuhan parah dan defisit komunikasi. Tim saat ini bekerja untuk meningkatkan jumlah kata dalam kosakata yang tersedia, serta meningkatkan kecepatan bicara.

Keduanya mengatakan bahwa sementara penelitian ini berfokus pada satu peserta dan kosa kata yang terbatas, keterbatasan itu tidak mengurangi pencapaiannya. “Ini adalah tonggak penting teknologi bagi seseorang yang tidak dapat berkomunikasi secara alami,” kata Moses, “dan ini menunjukkan potensi pendekatan ini untuk memberikan suara kepada orang-orang dengan kelumpuhan parah dan kehilangan bicara.”

Detonic