'Neuroprosthesis' mengembalikan kata-kata kepada manusia yang mengalami kelumpuhan

'Neuroprosthesis' mengembalikan kata-kata kepada manusia yang mengalami kelumpuhan

Penyelidik di UC San Francisco telah berjaya mengembangkan "neuroprosthesis pertuturan" yang membolehkan seorang lelaki dengan kelumpuhan teruk untuk berkomunikasi dalam ayat, menerjemahkan isyarat dari otaknya ke saluran vokal secara langsung menjadi kata-kata yang muncul sebagai teks di layar.

Pencapaian itu, yang dikembangkan bekerjasama dengan peserta pertama percubaan penyelidikan klinikal, berdasarkan usaha lebih dari satu dekad oleh pakar bedah saraf UCSF Edward Chang, MD, untuk mengembangkan teknologi yang membolehkan orang yang mengalami kelumpuhan untuk berkomunikasi walaupun mereka tidak dapat untuk bercakap sendiri. Kajian itu muncul pada 15 Julai di Jurnal Perubatan New England.

"Sepengetahuan kami, ini adalah demonstrasi pertama yang berjaya untuk penyahkodan langsung kata-kata penuh dari aktiviti otak seseorang yang lumpuh dan tidak dapat bercakap," kata Chang, Ketua Pembedahan Neurologi Joan dan Sanford Weill di UCSF, Profesor Cemerlang Jeanne Robertson , dan pengarang kanan kajian. "Ini menunjukkan janji kuat untuk memulihkan komunikasi dengan memanfaatkan mesin pertuturan semula jadi otak."

Setiap tahun, ribuan orang kehilangan kemampuan untuk bercakap kerana strok, kemalangan, atau penyakit. Dengan perkembangan yang lebih jauh, pendekatan yang dijelaskan dalam kajian ini suatu hari dapat memungkinkan orang-orang ini untuk berkomunikasi sepenuhnya.

Menterjemahkan Isyarat Otak ke dalam Ucapan

Sebelum ini, pekerjaan dalam bidang komunikasi neuroprosthetics telah memfokuskan pada pemulihan komunikasi melalui pendekatan berasaskan ejaan untuk menaip huruf satu demi satu dalam teks. Kajian Chang berbeza dengan usaha ini dengan cara yang kritis: pasukannya menerjemahkan isyarat yang bertujuan untuk mengawal otot sistem vokal untuk mengucapkan kata-kata, dan bukannya isyarat untuk menggerakkan lengan atau tangan untuk membolehkan menaip. Chang mengatakan pendekatan ini memanfaatkan aspek pertuturan semula jadi dan lancar dan menjanjikan komunikasi yang lebih pantas dan organik.

"Dengan ucapan, kami biasanya menyampaikan maklumat dengan kadar yang sangat tinggi, hingga 150 atau 200 kata per menit," katanya, sambil memperhatikan bahawa pendekatan berdasarkan ejaan menggunakan menaip, menulis, dan mengendalikan kursor jauh lebih lambat dan lebih sulit. "Menuju kata-kata, seperti yang kita lakukan di sini, mempunyai kelebihan besar kerana lebih dekat dengan cara kita biasanya bercakap."

Selama dekad yang lalu, kemajuan Chang menuju tujuan ini difasilitasi oleh pesakit di Pusat Epilepsi UCSF yang menjalani pembedahan saraf untuk menentukan asal-usul kejang mereka menggunakan susunan elektrod yang diletakkan di permukaan otak mereka. Pesakit ini, yang semuanya mempunyai pertuturan normal, secara sukarela melakukan analisis rakaman otak mereka untuk aktiviti berkaitan pertuturan. Kejayaan awal dengan sukarelawan pesakit ini membuka jalan untuk percubaan semasa pada orang yang mengalami kelumpuhan.

Sebelum ini, Chang dan rakan-rakannya di UCSF Weill Institute for Neurosciences memetakan corak aktiviti kortikal yang berkaitan dengan pergerakan saluran vokal yang menghasilkan setiap konsonan dan vokal. Untuk menterjemahkan penemuan itu ke pengecaman ucapan dengan kata-kata penuh, David Moses, Ph.D., jurutera pasca doktoral di makmal Chang dan pengarang utama kajian baru itu, mengembangkan kaedah baru untuk penyahkodan corak masa nyata, serta menggabungkan model bahasa statistik untuk meningkatkan ketepatan.

Tetapi kejayaan mereka dalam menyahkod ucapan pada peserta yang dapat berbicara tidak menjamin bahawa teknologi akan berfungsi pada orang yang saluran vokalnya lumpuh. "Model kami perlu mempelajari pemetaan antara corak aktiviti otak yang kompleks dan ucapan yang dimaksudkan," kata Moses. "Itu menimbulkan cabaran besar ketika peserta tidak dapat berbicara."

Di samping itu, pasukan tidak tahu sama ada isyarat otak yang mengawal saluran vokal masih utuh bagi orang yang tidak dapat menggerakkan otot vokal mereka selama bertahun-tahun. "Cara terbaik untuk mengetahui apakah ini dapat berfungsi dengan mencubanya," kata Moses.

50 Perkataan Pertama

Untuk menyelidiki potensi teknologi ini pada pesakit dengan kelumpuhan, Chang bekerjasama dengan rakannya Karunesh Ganguly, MD, Ph.D., seorang profesor neurologi bersekutu, untuk melancarkan kajian yang dikenali sebagai "BRAVO" (Pemulihan Lengan dan Komputer Antara Muka Otak-Komputer Suara). Peserta pertama dalam percubaan ini adalah seorang lelaki berusia 30-an yang mengalami strok batang otak yang dahsyat lebih dari 15 tahun yang lalu yang merosakkan hubungan antara otaknya dengan saluran vokal dan anggota badannya. Sejak cedera, dia mengalami pergerakan kepala, leher, dan anggota badan yang sangat terhad, dan berkomunikasi dengan menggunakan penunjuk yang dilekatkan pada topi besbol untuk mencucuk huruf di layar.

Peserta, yang diminta disebut sebagai BRAVO1, bekerjasama dengan para penyelidik untuk membuat perbendaharaan kata 50 kata yang dapat dikenali oleh pasukan Chang dari aktiviti otak menggunakan algoritma komputer canggih. Perbendaharaan kata - yang merangkumi kata-kata seperti "air," "keluarga," dan "baik" - cukup untuk membuat ratusan ayat yang menyatakan konsep yang berlaku untuk kehidupan seharian BRAVO1.

Untuk kajian ini, Chang menanamkan susunan elektrod berketumpatan tinggi di atas korteks motor pertuturan BRAVO1. Setelah peserta pulih sepenuhnya, pasukannya mencatatkan 22 jam aktiviti saraf di kawasan otak ini selama 48 sesi dan beberapa bulan. Dalam setiap sesi, BRAVO1 berusaha mengucapkan setiap 50 kata kosa kata berkali-kali sementara elektrod merakam isyarat otak dari korteks pertuturannya.

Menterjemahkan Ucapan Percubaan ke Teks

Untuk menterjemahkan corak aktiviti saraf yang direkam ke dalam kata-kata yang dimaksudkan, dua pengarang bersama Musa, Sean Metzger dan Jessie Liu, kedua-dua pelajar siswazah bioteknologi di Chang Lab, menggunakan model rangkaian neural tersuai, yang merupakan bentuk kecerdasan buatan. Ketika peserta berusaha untuk bercakap, rangkaian ini membezakan corak halus dalam aktiviti otak untuk mengesan percubaan pertuturan dan mengenal pasti kata-kata mana yang dia cuba katakan.

Untuk menguji pendekatan mereka, pasukan pertama kali menyampaikan BRAVO1 dengan ayat pendek yang dibina dari 50 kata perbendaharaan kata dan memintanya untuk mencuba beberapa kali. Ketika dia berusaha, kata-kata itu diterjemahkan dari aktiviti otaknya, satu per satu, di layar.

Kemudian pasukan beralih untuk memintanya dengan pertanyaan seperti "Bagaimana kabarmu hari ini?" dan "Adakah anda mahukan sedikit air?" Seperti sebelumnya, ucapan percubaan BRAVO1 muncul di skrin. "Saya sangat baik," dan "Tidak, saya tidak haus."

Chang dan Moses mendapati bahawa sistem ini dapat menyahkod kata-kata dari aktiviti otak pada kadar hingga 18 perkataan per minit dengan ketepatan hingga 93 persen (75 persen median). Berkontribusi pada keberhasilan itu adalah model bahasa yang diterapkan Musa yang menerapkan fungsi "auto-correct", mirip dengan yang digunakan oleh perisian teks dan pengenalan ucapan pengguna.

Musa mencirikan keputusan percubaan awal sebagai bukti prinsip. "Kami sangat gembira melihat penyahkodan yang tepat dari pelbagai ayat yang bermakna," katanya. "Kami telah menunjukkan bahawa sebenarnya mungkin untuk mempermudah komunikasi dengan cara ini dan ia berpotensi untuk digunakan dalam pengaturan perbualan."

Ke depan, Chang dan Moses mengatakan mereka akan memperluas percubaan untuk memasukkan lebih banyak peserta yang terjejas oleh kelumpuhan teruk dan kekurangan komunikasi. Pasukan ini sedang berusaha untuk meningkatkan jumlah kata dalam perbendaharaan kata yang ada, dan juga meningkatkan kadar pertuturan.

Kedua-duanya mengatakan bahawa sementara kajian itu tertumpu pada peserta tunggal dan perbendaharaan kata yang terhad, batasan tersebut tidak mengurangkan pencapaiannya. "Ini adalah tonggak teknologi penting bagi seseorang yang tidak dapat berkomunikasi secara semula jadi," kata Moses, "dan ini menunjukkan potensi pendekatan ini untuk memberikan suara kepada orang yang mengalami kelumpuhan dan kehilangan ucapan."