Naukowcy z University of Texas w Austin opracowali przełomowy dekoder oparty na sztucznej inteligencji, który może tłumaczyć aktywność mózgu na ciągły strumień tekstu bez konieczności stosowania implantów chirurgicznych. Poprzednie systemy dekodowania wymagały implantów chirurgicznych, a najnowszy postęp daje nadzieję na nowe sposoby przywracania mowy pacjentom niezdolnym do komunikowania się z powodu udaru lub choroby neuronu ruchowego.
Dekoder AI mógł rekonstruować mowę z niesamowitą dokładnością, podczas gdy ludzie słuchali historii lub nawet po cichu ją sobie wyobrażali, używając tylko danych skanowania fMRI.
fMRI może mapować aktywność mózgu w określonym miejscu w niewiarygodnie wysokiej rozdzielczości, ale istnieje nieodłączne opóźnienie czasowe, które uniemożliwia śledzenie aktywności w czasie rzeczywistym. Opóźnienie istnieje, ponieważ skany fMRI mierzą reakcję przepływu krwi na aktywność mózgu, która osiąga szczyt i wraca do linii podstawowej po około 10 sekundach, co oznacza, że nawet najpotężniejszy skaner nie może tego poprawić.
Dekoder został przeszkolony w mapowaniu aktywności mózgu na znaczenie przy użyciu dużego modelu językowego GPT-1, poprzednika ChatGPT. Później tych samych uczestników skanowano podczas słuchania nowej historii lub wyobrażania sobie, że opowiadają historię, a dekoder był używany do generowania tekstu na podstawie samej aktywności mózgu. W około połowie przypadków tekst dokładnie odpowiadał zamierzonemu znaczeniu oryginalnych słów.
Zespół ma teraz nadzieję ocenić, czy technikę można zastosować w innych, bardziej przenośnych systemach obrazowania mózgu, takich jak funkcjonalna spektroskopia w bliskiej podczerwieni (fNIRS).
źródło: opiekun