У ниверситетът в Осака е разработил невронна мрежа, способна да реконструира образа, който човек гледа в момента. Анализирайки данни от функционален ядрено-магнитен резонанс, системата прецизно възпроизвежда не само формата, но и цветовете на обектите. Учените говорят за първата в света машина за четене на мисли.

Обхватът на приложенията на обещаващата технология на компютърното зрение е много широк: от общуване с парализирани хора до записване на сънища и изучаване на начина, по който различните животни възприемат света около себе си.

Японски изследователи са се възползвали от предимствата на Stable Diffusion - популярна програма за преобразуване на текст в реч. Тази невронна мрежа с отворен код е подобна по структура на други генеративни LLM (Large language models), като DALL-E2 на OpenAI (създател на ChatGPT) или Midjourney.

Тя се основава на дифузия - метод за машинно обучение, при който визуалният образ се генерира чрез последователни приближения. Всяка нова итерация се базира на друга текстова реплика.

Японците са добавили допълнителна стъпка на обучение към стандартната схема за Stable Diffusion. Така невронната мрежа сравнява данните за мозъчната активност на четирима участници в експеримента, на които са показани различни снимки с текстови описания на изображенията.

За начални сигнали били взети данни от функционален магнитен резонанс (fMRI), получени на мощни машини с индукция на магнитното поле 7 Тесла. Като записват потока от кислородни молекули, необходими за работата на невроните, тези устройства са в състояние да наблюдават кои области на мозъка, отговорни за определени чувства или емоции, са най-активни.

Във фазата на машинното обучение на участниците бяха показани десет хиляди изображения и системата събра генерираните в процеса на изследване модели на fMRI, които след това бяха декодирани от изкуствен интелект.

Анализирайки пиковете, регистрирани чрез fMRI в различни области на мозъка, учените откриват, че темпоралните лобове са отговорни за съдържанието на образите. Това е така наречената семантична зона. А тилната, където се намира зрителната кора, пресъздава размера и общото разположение на обектите.

Резултатите до голяма степен съответстват на хипотезата за два потока визуална информация, формулирана през 1983 г. от американския невропсихолог Мортимър Мишкин. Той предложи, че в мозъчната кора да има два анатомично и функционално различни канала за обработка на пространствена и предметна информация: "Къде?" и "Какво?".

При макаци резус Мишкин показа, че тилният (дорзален) канал "Къде?" е отговорен за възприемането на пространството, а темпоралният (вентрален) канал "Какво?", тясно свързан с паметта, е отговорен за разпознаването.

Японците са комбинирали визуална и семантична информация. Дифузионният алгоритъм е сравнявал наблюдаваните модели на невронна активност, формирани при разглеждане на снимки, с моделите в набора от данни за обучение. Сигналите от "визуалната" кортикална област са били използвани за изграждане на общ обем и перспектива. След това били свързани сигналите от семантичния декодер на сигнали и първичната картина, приличаща повече на смущение на телевизионния екран, постепенно придобила очертанията на разпознаваеми обекти.

Учените получиха около хиляда изображения, които съвпаднаха със смисъла и съдържанието на оригинала с точност до 80%. В повечето случаи изкуственият интелект дори пресъздава цветовата схема на оригиналното изображение.

"Представеният документ показа, че невронната мрежа Stable Diffusion може точно да реконструира изображения от сканирания с fMRI, а това ни позволява ефективно да четем мислите на хората", се отбелязва в резюмето.

"Показваме, че нашият метод, базиран на човешката мозъчна активност, може да реконструира изображения с достатъчна резолюция и висока семантична точност", уточняват японските изследователи.

Обратно в сайта X

ДОСТЪП ЗА ЛОГНАТИ ПОТРЕБИТЕЛИ За да пишете, оценявате или докладвате коментари, моля логнете се в профила си.

  1. Запомни ме
забравена парола Полетата маркирани с * са задължителни
Полето Потребителско име не трябва да е празно.
Полето E-mail не трябва да е празно.
Полето Парола не трябва да е празно.
Полето Повторете паролата не трябва да е празно.
  1. Декларирам, че съм се запознал с Общите условия за ползване на услугите на Нетинфо.
Полетата маркирани с * са задължителни
Съд блокира заповед на Тръмп, спираща "Гласът на Америка"

Съд блокира заповед на Тръмп, спираща "Гласът на Америка"

Свят Преди 4 часа

Конгресът е финансирал и разрешил радиостанциите

ЕК планира пълно спиране на вноса на руски горива

ЕК планира пълно спиране на вноса на руски горива

Свят Преди 4 часа

Все още има какво да бъде направено по този въпрос

171 кг наркотици в камиони от България на Капъкуле

171 кг наркотици в камиони от България на Капъкуле

Свят Преди 6 часа

Шофьорите на двете превозни средства са задържани

Израел заплаши с „по-голяма“ офанзива в Газа

Израел заплаши с „по-голяма“ офанзива в Газа

Свят Преди 7 часа

Еял Замир: Ще разширим действията си до по-голяма и значима операция

Посланикът на България в САЩ е подал оставка

Посланикът на България в САЩ е подал оставка

България Преди 8 часа

Панайотов става посланик в САЩ през 2022 г.

Израел призна, че е убил Марин Маринов

Израел призна, че е убил Марин Маринов

Свят Преди 9 часа

Смъртният случай е причинен от танков огън

Терзиев: Долу ръцете от инж. Стоян Братоев

Терзиев: Долу ръцете от инж. Стоян Братоев

България Преди 9 часа

Бонев: „Това е активен саботаж на строителството на метрото на София

Зеленски затвърждава позицията си за Крим след нападките на Тръмп

Зеленски затвърждава позицията си за Крим след нападките на Тръмп

Свят Преди 10 часа

Украинската конституция определя Крим като "неразделна съставна част на Украйна"

„Училище за отговорни инфлуенсъри“: първата по рода си платформа у нас обучава и сертифицира създатели на съдържание

„Училище за отговорни инфлуенсъри“: първата по рода си платформа у нас обучава и сертифицира създатели на съдържание

Любопитно Преди 11 часа

Инициативата цели да насърчи култура на по-осъзната, етична и безопасна ​онлайн комуникация

Дете на 4 години в София с менингококова инфекция

Дете на 4 години в София с менингококова инфекция

България Преди 11 часа

В градината, която посещава, са извършени над 200 проби

Унгария: Украйна е прекалено бедна за ЕС

Унгария: Украйна е прекалено бедна за ЕС

Свят Преди 11 часа

Бока: ЕС вече ѝ е предоставил най-малко 148 млрд. евро

<p>Принц Хари и Меган с кортеж и охрана на събитие в Ню Йорк</p>

Принц Хари и Меган с кортеж и охрана за срещата Time100 в Ню Йорк

Любопитно Преди 11 часа

Двамата отново предизвикаха вълна от реакции с новата си поява

ГДБОП ще провери има ли пробив в АПИ

ГДБОП ще провери има ли пробив в АПИ

Свят Преди 11 часа

Иванов е уведомил отдел „Киберсигурност” на ГДБОП

Нападение с нож окървави гимназия във Франция

Нападение с нож окървави гимназия във Франция

Свят Преди 12 часа

По първоначална информация едно дете е загинало, а други три са тежко ранени

Хирургът на папа Франциск разказа за последните му мигове

Хирургът на папа Франциск разказа за последните му мигове

Свят Преди 12 часа

Серджо Алфиери каза, че при последната си хоспитализация в "Джемели" тази пролет Франциск е казал, че не иска да бъде интубиран

КЗП пуска мобилно приложение за летния сезон

КЗП пуска мобилно приложение за летния сезон

България Преди 12 часа

През 2024 г. общият брой на жалбите и сигналите до КЗП надхвърля 27 000