Tym razem Brain2Qwerty wykazał, że mózg może już pełnić funkcję klawiatury. Tyle że na razie drogiej, niedokładnej i zajmującej sporą część laboratorium.
Sztuczna inteligencja zamienia aktywność mózgu w tekst bez operacji
Badacze związani m.in. z Meta AI, Université PSL i Fundacją Szpitala Adolphe de Rothschild opracowali nieinwazyjny system dekodowania tekstu na podstawie aktywności mózgu. Bez wszczepiania elektrod, operacji neurochirurgicznej i ryzyka związanego z implantem, ale z użyciem sztucznej inteligencji (SI).
Czytaj też: Naukowcy zbudowali hamulec dla światła. Optyczne komputery dostały brakujący element
W eksperymencie uczestniczyło 35 zdrowych osób. Ochotnicy zapamiętywali zdania wyświetlane słowo po słowie, a następnie przepisywali je na zwykłej klawiaturze bez podglądu wpisywanego tekstu. W tym czasie naukowcy rejestrowali aktywność ich mózgów za pomocą EEG oraz MEG. Ten pierwszy mierzy sygnały elektryczne elektrodami na skórze głowy, a drugi wychwytuje słabe pola magnetyczne generowane przez neurony. Algorytm uczył się następnie przewidywać naciskane znaki wyłącznie na podstawie aktywności mózgu.
Czy więc działa to jak czytanie myśli? Nie do końca. Brain2Qwerty obserwuje proces powstawania zdania u osoby, która je zna, chce przepisać i rzeczywiście porusza palcami.
18 procent błędów. Dużo czy mało?
W przypadku MEG średni współczynnik błędów znakowych wyniósł 29 procent. Najlepsi uczestnicy zeszli jednak do 18 procent, a część zdań spoza zbioru treningowego została odtworzona idealnie. EEG wypadło znacznie gorzej ze średnim błędem na poziomie 65 procent. Nie oznacza to jednak, że system rozumie 82 procent wypowiedzi. Przy 18-procentowym błędzie na każde 100 znaków przypada średnio 18 operacji potrzebnych do poprawienia tekstu.
Wynik nadal wprawdzie robi wrażenie, bo został osiągnięty bez elektrod przy neuronach, ale jednocześnie pokazuje największy problem tej technologii. Praktyczniejsze EEG jest zbyt niedokładne, a skuteczniejsze MEG wymaga specjalistycznego skanera, ekranowanego pomieszczenia i ograniczenia ruchów badanego. Trudno wyobrazić sobie taki zestaw obok domowego monitora.
Mózg daje sygnał, ale to SI dopowiada resztę
Brain2Qwerty nie dopasowuje tylko sygnału mózgu do klawisza. Zamiast tego analizuje krótkie fragmenty zapisu, łączy je w kontekście zdania, a na końcu wykorzystuje model językowy do poprawiania błędów. Właśnie ten etap uważam za najciekawszy, ale też najbardziej problematyczny. Algorytm potrafił bowiem niekiedy odtworzyć prawidłowe zdanie nawet wtedy, gdy sam uczestnik popełnił literówki. Nie tylko rozpoznawał więc zamiar naciśnięcia klawisza, lecz także zgadywał, jakie zdanie powinno powstać.
Czytaj też: 128 kubitów bez próżni i ciekłego helu. Komputery kwantowe wchodzą pod strzechy
Przy zwykłej autokorekcie błędna sugestia co najwyżej irytuje, ale interfejsie komunikacyjnym dla osoby sparaliżowanej może zmienić sens całej wypowiedzi. Zdanie może brzmieć poprawnie i przekonująco, ale jednocześnie nie być tym, co użytkownik naprawdę chciał powiedzieć. Pokazuje to, że przyszłe interfejsy powinny wskazywać, które słowa odczytano z dużą pewnością, które dopowiedział model, a które wymagają zatwierdzenia. Inaczej człowiek może odzyskać wprawdzie swój głos, ale ten będzie częściowo należał do algorytmu.
Klawiatura bez klawiszy ciągle ma ogromne ograniczenia
Pierwsza wersja Brain2Qwerty znała dokładne momenty naciskania klawiszy i analizowała całe zdanie dopiero po zakończeniu próby. Nie był to więc system działający na żywo. Nowsza wersja Brain2Qwerty v2 potrafi już przetwarzać ciągły zapis MEG bez wcześniejszej informacji o chwili naciśnięcia każdego przycisku. Model został wytrenowany na około 22 tysiącach zdań zarejestrowanych u dziewięciu uczestników. Średni błąd słowny wyniósł 39 procent, a najlepszy uczestnik osiągnął 78 procent poprawnie rozpoznanych słów. Trzeba jednak zaznaczyć, że ta wersja pozostaje pracą na etapie przed recenzjami, więc jej wyniki należy traktować ostrożniej niż publikację w “Nature Neuroscience“.
Największy problem jest jednak inny. Badania przeprowadzono na zdrowych ludziach, którzy rzeczywiście poruszali palcami. Docelowo technologia ma zaś pomagać osobom pozbawionym zdolności ruchu lub mówienia. Nie wiadomo więc, czy system zachowa skuteczność przy samej próbie lub wyobrażaniu sobie ruchu. Wbrew pozorom, to nie jest detal, a granica między imponującym pokazem laboratoryjnym a rzeczywistą neuroprotezą.
Implanty jeszcze długo nie odejdą do historii
Wszczepiane interfejsy ciągle rejestrują znacznie wyraźniejsze sygnały, ponieważ elektrody znajdują się bezpośrednio na powierzchni mózgu lub w jego tkance. Mogą dzięki temu precyzyjniej sterować kursorem, syntezatorem mowy czy robotyczną kończyną. Płacimy jednak za to operacją, ryzykiem infekcji i niepewnością co do trwałości implantu. Nieinwazyjny system może być słabszy, ale da się go zdjąć, wymienić i udoskonalić bez otwierania użytkownikowi czaszki.
Czytaj też: Czym będzie komputer kwantowy? Spytałem o to szefa IBM, który rozwiał mit [WYWIAD]
Właśnie dlatego nie traktuję Brain2Qwerty jako ciekawostki. Nie zastąpi jutro klawiatury, ale może otworzyć nową drogę komunikacji dla ludzi, którzy zachowali świadomość i język, lecz stracili możliwość przekazania ich światu.
Źródła: Nature Neuroscience, Phys.org
