Na podstawie analizy kilkusekundowej aktywności neuronalnej, sztuczne inteligencja jest w stanie zgadnąć, co dana osoba usłyszała. Wymienia prawidłową odpowiedź spośród dziesięciu możliwości w 73% przypadków. Wydajność SI była powyżej tego, co naukowcy uważali za możliwe na tym etapie rozwoju technologicznego.
Czytaj też: Implant w mózgu może powstrzymać objadanie się. Pierwsze efekty są już widoczne
SI opracowana przez firmę Meta może przysłużyć się tysiącom ludzi na całym świecie, którzy nie potrafią komunikować się ze światem za pomocą mowy, pisania na klawiaturze lub gestów. Szczegóły opisano w pracy opublikowanej na serwerze preprintów arXiv.org.
Sztuczna inteligencja dekoduje fale mózgowe
Mimo ogromnego postępu w miniaturyzacji, obecne możliwości pomocy osobom w stanie wegetatywnym i cierpiącym na zespół zamknięcia są ograniczone. Zazwyczaj konieczna jest ryzykowna operacja i wszczepienie elektrod do mózgu – nowe rozwiązanie zapewnia realną ścieżkę pomocy pacjentom z problemami komunikacyjnymi bez stosowania inwazyjnych metod.
Zespół Jeana-Rémiego Kinga z Meta AI wyszkolił narzędzie do wykrywania słów i zdań na podstawie 56 000 godzin nagrań mowy z 53 języków. Model językowy Meta AI potrafi rozpoznawać specyficzne cechy języka zarówno na poziomie drobnoziarnistym (np. litery i sylaby), jak i na poziomie szerszym, takim jak słowa lub zdania.
Zespół zastosował SI z tym modelem językowym do baz danych z czterech grup, które zawierały aktywność mózgu 169 ochotników. W tych bazach danych uczestnicy słuchali różnych historii i zdań, np. ze “Starego człowieka i morza” Ernesta Hemingwaya i “Przygód Alicji w Krainie Czarów” Lewisa Carrolla, podczas gdy ich mózgi były skanowane za pomocą magnetoencefalografii (MEG) lub elektroencefalografii (EEG). Techniki te mierzą magnetyczny lub elektryczny składnik fal mózgowych.
Wykorzystując metodę obliczeniową, która pomaga uwzględnić fizyczne różnice między rzeczywistymi mózgami, naukowcy próbowali zdekodować, co uczestnicy usłyszeli, używając tylko 3 sekund danych o aktywności neurologicznej każdej osoby. Zespół polecił SI dopasować dźwięki mowy z nagrań historii do wzorców aktywności mózgu, które SI obliczyła jako odpowiadające temu, co ludzie słyszeli. Następnie, biorąc pod uwagę ponad 1000 możliwości, przewidywała, co dana osoba mogła usłyszeć w tym krótkim czasie.
Czytaj też: Przez 30 lat nie poruszył palcem, a teraz samodzielnie zjadł posiłek. Przełomowy interfejs mózg-komputer
Okazuje się, że przy użyciu MEG poprawna odpowiedź znajdowała się w pierwszej dziesiątce przypuszczeń SI aż w 73% przypadków. W przypadku EEG wartość ta spadła do nie więcej niż 30%. Wydajność MEG jest naprawdę dobra, ale na tę chwilę jest niewiele możliwości jej praktycznego zastosowania. To dlatego, że MEG wymaga nieporęcznej i drogiej aparatury.
Sztuczne inteligencja dekodowała informacje uczestników pasywnie słuchających audio, co nie jest szczególnie przydatne dla niewerbalnych pacjentów. Aby technologia stała się znaczącym narzędziem komunikacji, naukowcy będą musieli nauczyć się odszyfrowywać z aktywności mózgu to, co ci pacjenci zamierzają powiedzieć, w tym wyrazy głodu, dyskomfortu lub proste “tak” lub “nie”.