„Neuroproteza” przywraca słowa sparaliżowanemu człowiekowi

„Neuroproteza” przywraca słowa sparaliżowanemu człowiekowi

Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco z powodzeniem opracowali „neuroprotezę mowy”, która umożliwia mężczyźnie z poważnym paraliżem komunikowanie się za pomocą zdań, przekładanie sygnałów z jego mózgu na układ głosowy bezpośrednio na słowa, które pojawiają się jako tekst na ekranie.

Osiągnięcie, które powstało we współpracy z pierwszym uczestnikiem badania klinicznego, opiera się na ponad dziesięcioletnich wysiłkach neurochirurga UCSF Edwarda Changa, MD, nad opracowaniem technologii, która pozwala osobom z paraliżem na komunikowanie się, nawet jeśli nie są w stanie mówić na własną rękę. Badanie ukazuje się 15 lipca w New England Journal of Medicine.

„Według naszej wiedzy jest to pierwsza udana demonstracja bezpośredniego dekodowania pełnych słów z aktywności mózgu osoby, która jest sparaliżowana i nie może mówić” – powiedziała Chang, Joan and Sanford Weill Chair of Neurological Surgery na UCSF, Jeanne Robertson Distinguished Professor i starszy autor badania. „Wykazuje silną obietnicę przywrócenia komunikacji poprzez wykorzystanie naturalnej maszynerii mowy w mózgu”.

Każdego roku tysiące ludzi traci zdolność mówienia z powodu udaru, wypadku lub choroby. Wraz z dalszym rozwojem, podejście opisane w tym badaniu może pewnego dnia umożliwić tym osobom pełną komunikację.

Tłumaczenie sygnałów mózgowych na mowę

Wcześniej prace w dziedzinie neuroprotetyki komunikacyjnej koncentrowały się na przywróceniu komunikacji poprzez podejście oparte na pisowni do wpisywania liter w tekście jedna po drugiej. . Badanie Changa różni się od tych wysiłków w sposób krytyczny: jego zespół tłumaczy sygnały mające kontrolować mięśnie układu głosowego podczas wypowiadania słów, a nie sygnały służące do poruszania ramieniem lub dłonią w celu umożliwienia pisania. Chang powiedział, że to podejście wykorzystuje naturalne i płynne aspekty mowy i obiecuje szybszą i bardziej organiczną komunikację.

„Dzięki mowie zwykle przekazujemy informacje z bardzo dużą szybkością, do 150 lub 200 słów na minutę”, powiedział, zauważając, że podejścia oparte na pisowni wykorzystujące pisanie, pisanie i kontrolowanie kursora są znacznie wolniejsze i bardziej pracochłonne. „Przejście prosto do słów, tak jak tutaj, ma ogromne zalety, ponieważ jest bliższe temu, jak zwykle mówimy”.

W ciągu ostatniej dekady postępy Changa w kierunku tego celu ułatwili pacjenci z Centrum Padaczki UCSF, którzy przeszli neurochirurgię, aby wskazać pochodzenie ich napadów za pomocą elektrod umieszczonych na powierzchni ich mózgów. Ci pacjenci, z których wszyscy mieli normalną mowę, zgłosili się na ochotnika do przeanalizowania ich nagrań mózgowych pod kątem aktywności związanej z mową. Wczesny sukces z tymi pacjentami ochotnikami utorował drogę do obecnego badania u osób z paraliżem.

Wcześniej Chang i współpracownicy z UCSF Weill Institute for Neurosciences mapowali wzorce aktywności korowej związane z ruchami dróg głosowych, które wytwarzają każdą spółgłoskę i samogłoskę. Aby przełożyć te odkrycia na rozpoznawanie mowy pełnych słów, dr David Moses, habilitowany inżynier w laboratorium Chang i główny autor nowego badania, opracował nowe metody dekodowania tych wzorców w czasie rzeczywistym, a także statystyczne modele językowe w celu poprawy dokładności.

Jednak ich sukces w dekodowaniu mowy u uczestników, którzy byli w stanie mówić, nie gwarantował, że technologia zadziała u osoby, której trakt głosowy jest sparaliżowany. „Nasze modele musiały nauczyć się mapowania między złożonymi wzorcami aktywności mózgu a zamierzoną mową” – powiedział Moses. „To stanowi poważne wyzwanie, gdy uczestnik nie może mówić”.

Ponadto zespół nie wiedział, czy sygnały mózgowe kontrolujące trakt głosowy będą nadal nienaruszone u osób, które od wielu lat nie były w stanie poruszać mięśniami głosowymi. „Najlepszym sposobem sprawdzenia, czy to zadziała, było wypróbowanie tego” — powiedział Moses.

Pierwsze 50 słów

Aby zbadać potencjał tej technologii u pacjentów z paraliżem, Chang nawiązał współpracę z kolegą dr Karuneshem Ganguly, profesorem nadzwyczajnym neurologii, aby rozpocząć badanie znane jako „BRAVO” (Restoration of Arm and Brain-Computer Interface Restoration of Arm and Głos). Pierwszym uczestnikiem próby jest mężczyzna po trzydziestce, który ponad 30 lat temu doznał wyniszczającego udaru pnia mózgu, który poważnie uszkodził połączenie między jego mózgiem a przewodem głosowym i kończynami. Od czasu urazu ma bardzo ograniczone ruchy głowy, szyi i kończyn i komunikuje się za pomocą wskaźnika przymocowanego do czapki bejsbolowej, aby wyświetlać litery na ekranie.

Uczestnik, który poprosił o miano BRAVO1, pracował z naukowcami nad stworzeniem 50-wyrazowego słownictwa, które zespół Changa mógł rozpoznać na podstawie aktywności mózgu za pomocą zaawansowanych algorytmów komputerowych. Słownictwo — zawierające takie słowa jak „woda”, „rodzina” i „dobry” — wystarczyło do stworzenia setek zdań wyrażających pojęcia mające zastosowanie w codziennym życiu BRAVO1.

Na potrzeby badania Chang chirurgicznie wszczepił zestaw elektrod o dużej gęstości nad korą ruchową BRAVO1. Po całkowitym wyzdrowieniu uczestnika jego zespół zarejestrował 22 godziny aktywności nerwowej w tym regionie mózgu w ciągu 48 sesji i kilku miesięcy. Podczas każdej sesji BRAVO1 próbował wiele razy wypowiedzieć każde z 50 słów ze słownictwa, podczas gdy elektrody rejestrowały sygnały mózgowe z jego kory mowy.

Tłumaczenie próby mowy na tekst

Aby przetłumaczyć wzorce zarejestrowanej aktywności neuronowej na konkretne zamierzone słowa, dwaj współprowadzący autorów Mosesa, Sean Metzger i Jessie Liu, obaj absolwenci bioinżynierii w Chang Lab, wykorzystali niestandardowe modele sieci neuronowych, które są formami sztucznej inteligencji. Kiedy uczestnik próbował mówić, sieci te rozróżniały subtelne wzorce aktywności mózgu, aby wykrywać próby mowy i identyfikować słowa, które próbował wypowiedzieć.

Aby przetestować swoje podejście, zespół najpierw przedstawił BRAVO1 z krótkimi zdaniami zbudowanymi z 50 słów ze słownika i poprosił go, aby spróbował je powtórzyć kilka razy. Kiedy podejmował swoje próby, słowa były kolejno odczytywane z jego aktywności mózgu na ekranie.

Następnie zespół przestawił się na zadawanie mu pytań, takich jak „Jak się masz dzisiaj?” i „Chcesz trochę wody?” Tak jak poprzednio, na ekranie pojawiła się próba przemówienia BRAVO1. „Jestem bardzo dobry” i „Nie, nie chce mi się pić”.

Chang i Moses odkryli, że system był w stanie dekodować słowa z aktywności mózgu z szybkością do 18 słów na minutę z dokładnością do 93% (mediana 75%). Do sukcesu przyczynił się model językowy zastosowany przez Mosesa, który zaimplementował funkcję „autokorekty”, podobną do używanej przez konsumenckie oprogramowanie do obsługi wiadomości tekstowych i rozpoznawania mowy.

Mojżesz scharakteryzował wczesne wyniki procesu jako dowód zasady. „Byliśmy podekscytowani, widząc dokładne dekodowanie różnych znaczących zdań” – powiedział. „Wykazaliśmy, że rzeczywiście można w ten sposób ułatwić komunikację i że ma potencjał do wykorzystania w sytuacjach konwersacyjnych”.

Patrząc w przyszłość, Chang i Moses powiedzieli, że rozszerzą badanie, aby objąć więcej uczestników dotkniętych poważnym paraliżem i deficytami komunikacyjnymi. Zespół pracuje obecnie nad zwiększeniem liczby słów w dostępnym słownictwie, a także poprawą tempa mowy.

Obaj powiedzieli, że chociaż badanie koncentrowało się na jednym uczestniku i ograniczonym słownictwie, te ograniczenia nie zmniejszają osiągnięcia. „Jest to ważny technologiczny kamień milowy dla osoby, która nie może komunikować się w sposób naturalny” – powiedział Moses – „i pokazuje potencjał tego podejścia, aby dać głos osobom z poważnym paraliżem i utratą mowy”.