'Neuroprothese' herstelt woorden voor man met verlamming

'Neuroprothese' herstelt woorden voor man met verlamming

Onderzoekers van UC San Francisco hebben met succes een "spraakneuroprothese" ontwikkeld waarmee een man met ernstige verlamming in zinnen kan communiceren, waarbij signalen van zijn hersenen naar het stemkanaal rechtstreeks worden vertaald in woorden die als tekst op een scherm verschijnen.

De prestatie, die is ontwikkeld in samenwerking met de eerste deelnemer aan een klinische onderzoeksstudie, bouwt voort op meer dan tien jaar inspanning van UCSF-neurochirurg Edward Chang, MD, om een ​​technologie te ontwikkelen waarmee mensen met verlamming kunnen communiceren, zelfs als ze niet in staat zijn om te communiceren. zelf te spreken. De studie verschijnt 15 juli in de New England Journal of Medicine.

"Voor zover wij weten, is dit de eerste succesvolle demonstratie van directe decodering van volledige woorden uit de hersenactiviteit van iemand die verlamd is en niet kan spreken", zegt Chang, Joan en Sanford Weill Chair of Neurological Surgery bij UCSF, Jeanne Robertson Distinguished Professor , en senior auteur van de studie. "Het toont een sterke belofte om de communicatie te herstellen door gebruik te maken van de natuurlijke spraakmachinerie van de hersenen."

Elk jaar verliezen duizenden mensen het vermogen om te spreken als gevolg van een beroerte, ongeval of ziekte. Met verdere ontwikkeling zou de in dit onderzoek beschreven aanpak deze mensen ooit in staat kunnen stellen volledig te communiceren.

Hersensignalen in spraak vertalen

Voorheen was het werk op het gebied van communicatie-neuroprotheses gericht op het herstellen van de communicatie door middel van op spelling gebaseerde benaderingen om letters één voor één in tekst uit te typen. De studie van Chang verschilt op een kritische manier van deze inspanningen: zijn team vertaalt signalen die bedoeld zijn om de spieren van het vocale systeem te beheersen voor het spreken van woorden, in plaats van signalen om de arm of hand te bewegen om typen mogelijk te maken. Chang zei dat deze benadering gebruik maakt van de natuurlijke en vloeiende aspecten van spraak en een snellere en organische communicatie belooft.

"Met spraak communiceren we normaal gesproken informatie met een zeer hoge snelheid, tot 150 of 200 woorden per minuut", zei hij, en merkte op dat op spelling gebaseerde benaderingen met typen, schrijven en het besturen van een cursor aanzienlijk langzamer en arbeidsintensiever zijn. "Direct naar woorden gaan, zoals we hier doen, heeft grote voordelen omdat het dichter bij hoe we normaal spreken."

In het afgelopen decennium werd Changs vooruitgang in de richting van dit doel mogelijk gemaakt door patiënten in het UCSF Epilepsiecentrum die neurochirurgie ondergingen om de oorsprong van hun aanvallen te lokaliseren met behulp van elektrode-arrays die op het oppervlak van hun hersenen waren geplaatst. Deze patiënten, die allemaal een normale spraak hadden, boden vrijwillig aan om hun hersenopnames te laten analyseren op spraakgerelateerde activiteit. Vroeg succes met deze geduldige vrijwilligers maakte de weg vrij voor de huidige proef bij mensen met verlamming.

Eerder brachten Chang en collega's van het UCSF Weill Institute for Neurosciences de corticale activiteitspatronen in kaart die verband houden met bewegingen van het stemkanaal die elke medeklinker en klinker produceren. Om die bevindingen te vertalen in spraakherkenning van volledige woorden, ontwikkelde David Moses, Ph.D., een postdoctoraal ingenieur in het Chang-lab en hoofdauteur van de nieuwe studie, nieuwe methoden voor het realtime decoderen van die patronen en het integreren van statistische taalmodellen om de nauwkeurigheid te verbeteren.

Maar hun succes bij het decoderen van spraak bij deelnemers die konden spreken, garandeert niet dat de technologie zou werken bij een persoon wiens stemkanaal verlamd is. "Onze modellen moesten het in kaart brengen tussen complexe hersenactiviteitspatronen en bedoelde spraak leren", zei Moses. “Dat is een grote uitdaging als de deelnemer niet kan praten.”

Bovendien wist het team niet of hersensignalen die het stemkanaal aansturen nog intact zouden zijn voor mensen die hun stemspieren al jaren niet kunnen bewegen. "De beste manier om erachter te komen of dit zou kunnen werken, was door het te proberen", zei Moses.

De eerste 50 woorden

Om het potentieel van deze technologie bij patiënten met verlamming te onderzoeken, werkte Chang samen met collega Karunesh Ganguly, MD, Ph.D., een universitair hoofddocent neurologie, om een ​​studie te lanceren die bekend staat als "BRAVO" (Brain-Computer Interface Restoration of Arm and Stem). De eerste deelnemer aan het proces is een man van achter in de dertig die meer dan 30 jaar geleden een verwoestende hersenstamberoerte kreeg die de verbinding tussen zijn hersenen en zijn stemkanaal en ledematen ernstig beschadigde. Sinds zijn blessure heeft hij extreem beperkte bewegingen van hoofd, nek en ledematen en communiceert hij met behulp van een aanwijzer die aan een baseballpet is bevestigd om letters op een scherm te prikken.

De deelnemer, die vroeg om BRAVO1 genoemd te worden, werkte samen met de onderzoekers om een ​​vocabulaire van 50 woorden te creëren dat het team van Chang kon herkennen aan hersenactiviteit met behulp van geavanceerde computeralgoritmen. Het vocabulaire - dat woorden omvat als 'water', 'familie' en 'goed' - was voldoende om honderden zinnen te maken die concepten uitdrukken die van toepassing zijn op het dagelijkse leven van BRAVO1.

Voor de studie implanteerde Chang operatief een elektrode-array met hoge dichtheid over de spraakmotorische cortex van BRAVO1. Na het volledige herstel van de deelnemer registreerde zijn team 22 uur neurale activiteit in dit hersengebied gedurende 48 sessies en enkele maanden. In elke sessie probeerde BRAVO1 elk van de 50 woordenschatwoorden vele malen uit te spreken, terwijl de elektroden hersensignalen van zijn spraakcortex registreerden.

Poging tot spraak vertalen in tekst

Om de patronen van geregistreerde neurale activiteit te vertalen in specifieke bedoelde woorden, gebruikten de twee co-leadauteurs van Moses, Sean Metzger en Jessie Liu, beide afgestudeerde bio-ingenieursstudenten in het Chang Lab, aangepaste neurale netwerkmodellen, die vormen van kunstmatige intelligentie zijn. Toen de deelnemer probeerde te spreken, onderscheidden deze netwerken subtiele patronen in hersenactiviteit om spraakpogingen te detecteren en te identificeren welke woorden hij probeerde te zeggen.

Om hun aanpak te testen, presenteerde het team BRAVO1 eerst met korte zinnen die waren opgebouwd uit de 50 woordenschatwoorden en vroeg hem om ze meerdere keren te proberen. Terwijl hij zijn pogingen deed, werden de woorden één voor één gedecodeerd uit zijn hersenactiviteit op een scherm.

Toen schakelde het team over om hem vragen te stellen als "Hoe gaat het met je vandaag?" en "Wil je wat water?" Net als voorheen verscheen de spraakpoging van BRAVO1 op het scherm. "Ik ben erg goed" en "Nee, ik heb geen dorst."

Chang en Moses ontdekten dat het systeem woorden kon decoderen uit hersenactiviteit met een snelheid van maximaal 18 woorden per minuut met een nauwkeurigheid tot 93 procent (mediaan 75 procent). Bijdragen aan het succes was een taalmodel dat Moses toepaste dat een "auto-correct"-functie implementeerde, vergelijkbaar met wat wordt gebruikt door sms- en spraakherkenningssoftware voor consumenten.

Mozes karakteriseerde de resultaten van het eerste proces als een bewijs van principe. "We waren verheugd om de nauwkeurige decodering van een verscheidenheid aan betekenisvolle zinnen te zien," zei hij. "We hebben laten zien dat het echt mogelijk is om op deze manier communicatie te vergemakkelijken en dat het potentieel heeft voor gebruik in conversatiesituaties."

Vooruitkijkend zeiden Chang en Moses dat ze de proef zullen uitbreiden met meer deelnemers die lijden aan ernstige verlamming en communicatiestoornissen. Het team werkt momenteel aan het vergroten van het aantal woorden in de beschikbare woordenschat en aan het verbeteren van de spreeksnelheid.

Beiden zeiden dat hoewel de studie zich concentreerde op een enkele deelnemer en een beperkte woordenschat, die beperkingen de prestatie niet verminderen. "Dit is een belangrijke technologische mijlpaal voor een persoon die niet op natuurlijke wijze kan communiceren," zei Moses, "en het toont het potentieel aan van deze benadering om een ​​stem te geven aan mensen met ernstige verlamming en spraakverlies."