"BrainGPT" чете и превръща мислите в текст на екрана ви

Ч етенето на мисли може да е на път да се превърне в реалност и то във възможно най-буквалния смисъл, тъй като нов пробив на изследователи от Центъра за изкуствен интелект GrapheneX-UTS към Университета по технологии в Сидни, вижда мисли, трансформирани в думи на екрана.

„Това изследване представлява пионерско усилие в превеждането на необработени ЕЕГ вълни директно на конкретен език, отбелязвайки значителен пробив в областта“, каза Чинг-Тен Лин, изтъкнат професор в UTS School of Computer Science и директор на GrapheneX-UTS HAI Center.

„Проучването е първото, което включва дискретни техники за кодиране в процеса на превод на мозъчните вълни в текст, въвеждайки иновативен подход към невронното декодиране“, обясни Лин, който ръководи изследването. „Интеграцията с големи езикови модели също отваря нови възможности в областта на неврологията и ИИ.“

BrainGPT - A step towards the future of human-AI merger

BrainGPT is capable of thought-to-text translation and connects a multitask EEG encoder with LMS to decode coherent and readable sentences from EEG signals.

This means that thoughts, measured by wearing a cap with… pic.twitter.com/2Vp58Uev3L

— Bindu Reddy (@bindureddy) December 17, 2023

В проучване, което беше избрано като документ в центъра на вниманието по време на конференцията NeurIPS - годишна среща на изследователи в областта на изкуствения интелект и машинното обучение, участниците мълчаливо четели пасажи от текст, докато AI модел, наречен DeWave, използвайки само техните мозъчни вълни, проектирал тези прочитаните думи на екрана.

Въпреки че това не е първата технология, която може да превежда мозъчните сигнали на даден език, тя е единствената досега, която не изисква нито мозъчни импланти, нито достъп до пълнофункционална ЯМР машина. Освен това има още едно предимство пред предшествениците, които изисквали допълнителен вход, като софтуер за проследяване на очите, а новата технология може да се използва със или без такива екстри, казват изследователите.

Вместо това, потребителите трябва само да носят капачка, която записва мозъчната им активност чрез електроенцефалограма (ЕЕГ) - много по-практично и удобно отколкото устройство за проследяване на очите (да не говорим за ЯМР). Това означава, че сигналът е бил малко по-шумен от информацията, получена от импланти, въпреки че дори тогава технологията се представила доста добре в изпитанията. Измерванията на точността с помощта на алгоритъма BLEU - начин да се оцени сходството на оригинален текст с машинно преведен изход, като му се даде резултат между 0 и 1 - поставят новата технология на около 0,4.

Това, разбира се, не е толкова добро ниво, колкото някои от вече съществуващите опции, които зависят от по-инвазивните методи. „Моделът е по-умел в съпоставянето на глаголи, отколкото на съществителни имена“, обясни Дуан, първи автор на статията и „когато става дума за съществителни, видяхме тенденция към синонимни двойки, а не към точни преводи, като „човекът“ вместо „авторът“.

„Смятаме, че тези грешки са, следствие на това, че мозъкът обработва тези думи семантично и тези, които са близки по значение могат да произведат подобни модели на мозъчните вълни“, каза Дуан.

Но изследователите вярват, че могат да подобрят тази точност до 0,9 - ниво, сравнимо с традиционните програми за езиков превод. Те вече имат предимство, поради провеждането на своите тестове върху 29 участници - може и да не звучи много, но е с порядък по-голямо от много други тестове за декодиране на технологии.

„Въпреки предизвикателствата, нашият модел дава значими резултати“, каза Дуан, „подравнявайки ключовите думи и формирайки подобни структури на изреченията.“

Резултатите бяха показани на конференцията NeurIPS, а предпечат може да бъде намерен на ArXiV.