O tym, że sprawa jest całkowicie poważna najlepiej świadczy fakt, iż publikacja na temat dotychczasowych postępów została zamieszczona na łamach Science Advances. Recenzowany artykuł opisuje, jak przedstawiciele Fudan University oraz Tianjin University doprowadzili do powstania urządzenia pozwalającego na odczytywanie aktywności ludzkiego mózgu i tworzenie na jej podstawie wypowiedzi w języku mandaryńskim.
Czytaj też: Usunęli jej implant z mózgu wbrew woli. Potrzebne nowe prawo, zanim Neuralink zacznie nam grzebać w głowach
Autorzy wyjaśniają, że interfejsy mózg-komputer, znane również jako BCI, są ostatnimi czasy coraz częściej obejmowane badaniami. Mogą one bowiem być wykorzystywane w celu pomocy pacjentom pozbawionym możliwości typowej dla człowieka komunikacji ze światem. Na przykład sparaliżowane osoby są beneficjentami tego typu technologii, choć wciąż jest ona rozwijana.
Starania Chińczyków doprowadziły do powstania zmodularyzowanej wielostrumieniowej sieci neuronowej. Jest ona wykorzystywana do przetwarzania sygnałów mózgowych na zrozumiałą dla człowieka mowę. Względem innych tego typu rozwiązań, to opisywane cechuje się rzekomo wyższą wydajnością i to nawet pomimo faktu, że do trenowania sieci neuronowej wykorzystano dość ograniczone dane. Koszty obliczeniowe również okazały się niskie, dlatego dokonany postęp powinien przynieść szereg praktycznych korzyści.
Opracowane przez Chińczyków urządzenie do czytania w myślach mogłoby zostać wykorzystane do usprawnienia interfejsów mózg-komputer
Jednocześnie warto podkreślić, iż interfejs został dostosowany do języka mandaryńskiego. Ten, jako język tonalny, wykorzystuje ton i wymowę do przekazywania znaczeń. Poza mandaryńskim do tego grona zalicza się między innymi wietnamski, pendżabski, tajski, laotański, tybetański czy kantoński. W każdym z nich słowa mogą różnić się tonami oprócz spółgłosek i samogłosek. O ile na przykład język tybetański jest 3-tonowy, tak kantoński czy wietnamski liczą 6 tonów. Języki tonalne są spotykane przede wszystkim w Azji, choć można na nie natrafić także w Afryce, choćby w postaci języka joruba.
Członkowie zespołu wyszli z założenia, jakoby ton i sylaba podstawowa mogły być poddane dekodowaniu osobno od aktywności neuronalnej. Później mowa tonalna miałaby być syntetyzowana w oparciu o zdekodowany ton i sylabę podstawową. Aby przekonać się, czy takie podejście ma rację bytu, autorzy zaprosili do udziału w eksperymencie pięć osób. Byli to pacjenci poddani operacjom usuwania guzów mózgu.
Czytaj też: Powstaje nowy rodzaj komputera kwantowego. To zasługa ostatnich eksperymentów z fononami
Ich mózgi były monitorowane w okresie powiązanym z operacją, a uczestnicy mieli w tym czasie wypowiedzieć jedną z ośmiu sylab. Każda osoba podeszła do tego zadania 160 razy. Co istotne, pomimo pozornie identycznego brzmienia, mandaryńska sylaba ma może mieć cztery kompletnie różne od siebie znaczenia. Chcąc powiązać aktywność mózgu z tym, co robili w danym momencie uczestnicy eksperymentu, naukowcy zestawili ze sobą nagrania audio z obrazami powstałymi za sprawą elektrokortykografii. Wytrenowany na podstawie tych danych model jest teraz w stanie równolegle dekodować etykiety tonów i podstawowe etykiety sylab, by ostatecznie wytwarzać mowę. Chińczycy są więc w stanie czytać w myślach i pozyskiwać w ten sposób całkiem sensowne komunikaty. Imponujący postęp w zakresie medycyny czy może wstęp do nadmiernej inwigilacji społeczeństwa?
