"Neuroprotees" taastab halvatud inimese sõnad

"Neuroprotees" taastab halvatud inimese sõnad

UC San Francisco teadlased on edukalt välja töötanud “kõne neuroproteesi”, mis on võimaldanud raske halvatusega mehel suhelda lausetena, tõlkides ajust signaale hääleorganisse otse sõnadeks, mis kuvatakse ekraanil tekstina.

Saavutus, mis töötati välja koostöös kliinilise uuringu esimese osalejaga, põhineb UCSF-i neurokirurgi Edward Changi enam kui kümnendil aastal tehtud jõupingutustel töötada välja tehnoloogia, mis võimaldab halvatud inimestel suhelda isegi siis, kui nad ei suuda ise rääkima. Uuring ilmub 15. juulil New England Journal of Medicine.

"Meie teada on see esimene edukas demonstreerimine halvatud ja kõnelemata inimese ajutegevusest pärinevate täissõnade otsese dekodeerimise kohta," ütles UCSF-i Joani ja Sanfordi Weilli neuroloogilise kirurgia õppetooli juhataja Changne, Jeanne Robertsoni austatud professor ja uuringu vanemautor. "See näitab tugevat lubadust taastada side, kasutades aju loomulikku kõnemasinat."

Igal aastal kaotavad tuhanded inimesed insuldi, õnnetuse või haiguse tõttu kõnevõime. Edasi arendades võiks selles uuringus kirjeldatud lähenemine ühel päeval võimaldada neil inimestel täiel määral suhelda.

Ajusignaalide tõlkimine kõneks

Varem on töö kommunikatsiooni neuroproteetika valdkonnas keskendunud suhtluse taastamisele õigekirjapõhiste lähenemisviiside abil tähtede ükshaaval teksti sisestamiseks. Chang'i uuring erineb nendest jõupingutustest kriitilisel viisil: tema meeskond tõlgib sõnade rääkimiseks signaale, mis on mõeldud häälsüsteemi lihaste juhtimiseks, mitte signaale käe või käe liigutamiseks. Chang ütles, et selline lähenemine võtab arvesse kõne loomulikke ja sujuvaid külgi ning lubab kiiremat ja orgaanilisemat suhtlust.

"Kõnega edastame teavet tavaliselt väga suure kiirusega, kuni 150 või 200 sõna minutis," ütles ta, märkides, et õigekirjapõhised lähenemised, kasutades kursori sisestamist, kirjutamist ja juhtimist, on oluliselt aeglasemad ja vaevarikkamad. "Otse sõnade juurde minemisel, nagu me siin teeme, on suuri eeliseid, sest see on lähemal tavapärasele kõneviisile."

Viimasel kümnendil hõlbustasid Changi edasiminekut selle eesmärgi saavutamisel UCSF-i epilepsiakeskuse patsiendid, kes käisid neurokirurgias, et oma aju pinnale asetatud elektroodide massiivid kasutades tuvastada krampide päritolu. Need patsiendid, kellel kõigil oli normaalne kõne, soovisid oma ajusalvestiste analüüsimist kõnega seotud tegevuse osas. Varajane edu nende patsientide vabatahtlikega sillutas teed praegusele halvatud inimeste proovile.

Varem kaardistasid Chang ja tema kolleegid UCSF-i Weilli neuroteaduste instituudis kortikaalse aktiivsuse mustreid, mis on seotud häälikute liikumisega, mis toodavad iga kaashäälikut ja vokaali. Nende tulemuste tõlkimiseks täissõnade kõnetuvastuseks töötas Phani doktor David Moses, Chang'i labori järeldoktor ja uue uuringu juhtiv autor, välja uued meetodid nende mustrite reaalajas dekodeerimiseks ja ka nende kaasamiseks. statistiliste keelemudelite täpsuse parandamiseks.

Kuid nende edu kõnelevate osalejate kõne dekodeerimisel ei garanteerinud, et tehnoloogia töötab inimesel, kelle hääletoru on halvatud. "Meie mudelid pidid õppima kaardistamise ajutegevuse keerukuse ja kavandatud kõne vahel," ütles Moses. "See on suur väljakutse, kui osaleja ei saa rääkida."

Lisaks ei teadnud meeskond, kas hääletoru juhtivad ajusignaalid jäävad ikka puutumatuks inimestele, kes pole oma hääle lihaseid juba aastaid suutnud liigutada. "Parim viis teada saada, kas see võiks toimida, oli selle proovimine," ütles Moses.

Esimesed 50 sõna

Selle tehnoloogia potentsiaali uurimiseks paralüüsi põdevatel patsientidel tegi Chang koos kolleegi, neuroloogia dotsendi doktorikraadi doktor Karunesh Ganguly'ga uuringu "BRAVO" (käte ja aju-arvuti liidese restaureerimine) Hääl). Esimene kohtuprotsessis osaleja on 30ndates eluaastates mees, kes kannatas üle 15 aasta tagasi laastava ajutüve insuldi, mis kahjustas tugevalt tema aju ning hääletoru ja jäsemete vahelist ühendust. Pärast vigastust on tal pea, kaela ja jäsemete liikumine olnud äärmiselt piiratud ning ta suhtleb ekraanil tähtede pistmiseks pesapallimütsile kinnitatud osuti abil.

Osaleja, kes palus end nimetada BRAVO1-ks, lõi koos teadlastega 50-sõnalise sõnavara, mille Changi meeskond tunnustas ajuaktiivsusest, kasutades täiustatud arvuti algoritme. Sõnavara - mis sisaldab selliseid sõnu nagu vesi, perekond ja hea - oli piisav, et luua sadu lauseid, mis väljendaksid BRAVO1 igapäevaelus kasutatavaid mõisteid.

Uuringu jaoks implanteeris Chang kirurgiliselt suure tihedusega elektroodide massiivi BRAVO1 kõnemotoorse koore kohale. Pärast osaleja täielikku taastumist registreeris tema meeskond selles ajupiirkonnas 22 tundi ja mitu kuud 48 tundi närviaktiivsust. Igal seansil üritas BRAVO1 öelda palju kõiki 50 sõnavara sõna, samal ajal kui elektroodid salvestasid tema kõnekoorest ajusignaale.

Keelekõne tõlkimine tekstiks

Salvestatud närviaktiivsuse mustrite tõlkimiseks konkreetseteks mõeldud sõnadeks kasutasid Moosese kaks kaasautorit Sean Metzger ja Jessie Liu, mõlemad bioinseneride magistrandid Chang Labis, kohandatud närvivõrgu mudeleid, mis on tehisintellekti vormid. Kui osaleja üritas rääkida, eristasid need võrgud ajutegevuses peeneid mustreid, et tuvastada kõnekatseid ja tuvastada, milliseid sõnu ta üritas öelda.

Oma lähenemise testimiseks esitas meeskond BRAVO1-le esmalt lühikesed laused, mis olid konstrueeritud 50 sõnavara sõnast ja palusid tal proovida neid mitu korda öelda. Kui ta katset tegi, dekodeeriti sõnad tema ajutegevusest ükshaaval ekraanil.

Seejärel läks meeskond üle küsima temalt selliseid küsimusi nagu "Kuidas sul täna läheb?" ja "Kas soovite vett?" Nagu varemgi, ilmus ekraanile ka BRAVO1 kõnekatse. "Ma olen väga hea" ja "Ei, ma ei ole janu."

Chang ja Moses leidsid, et süsteem suutis dekodeerida sõnu ajutegevusest kiirusega kuni 18 sõna minutis kuni 93-protsendise täpsusega (mediaan 75 protsenti). Edule aitas kaasa keelemudel, mille Mooses rakendas, mis rakendas funktsiooni „automaatkorrektne”, mis sarnaneb sellega, mida kasutavad tarbijate tekstisõnumid ja kõnetuvastustarkvara.

Mooses iseloomustas varajaseid proovitulemusi kui põhimõtte tõestust. "Olime põnevil, kui nägime paljude sisukate lausete täpset dekodeerimist," ütles ta. "Oleme näidanud, et sel viisil on tegelikult võimalik suhtlemist hõlbustada ja et sellel on potentsiaali vestlusringides kasutamiseks."

Tulevikku vaadates ütlesid Chang ja Moses, et laiendavad kohtuprotsessi, et kaasata rohkem osalejaid, keda mõjutab tõsine halvatus ja kommunikatsioonipuudus. Meeskond töötab praegu selle nimel, et suurendada olemasolevas sõnavaras olevate sõnade arvu ja parandada kõnemäära.

Mõlemad ütlesid, et kuigi uuring keskendus ühele osalejale ja piiratud sõnavarale, ei piira need piirangud saavutust. "See on oluline tehnoloogiline verstapost inimesele, kes ei saa loomulikult suhelda," ütles Moses, "ja see näitab selle lähenemisviisi potentsiaali hääle andmiseks inimestele, kellel on raske halvatus ja kõnekadu."