Специалисты из Института науки Вейцмана создали модель искусственного интеллекта Brain-IT, способную восстанавливать изображения, на которые смотрел человек, используя данные сканирования мозга. Система анализирует активность зрительной коры и с высокой точностью воссоздает увиденное. Результаты исследования были представлены на конференции ICLR 2026 и опубликованы в базе данных arXiv.
Работа Brain-IT базируется на технологии Universal Brain Encoder. Эта модель анализирует активность в вокселях — крошечных трехмерных единицах ткани мозга. Каждый воксель имеет собственный вектор, который определяет, на какие элементы изображения он реагирует: одни отвечают за простые текстуры и края, другие — за сложные абстрактные категории, такие как лица или пейзажи.
Принцип работы системы
В отличие от прежних методов, которые требовали индивидуальной настройки под каждого пользователя, Universal Brain Encoder более гибкий. Он обучается на данных разных людей и может работать с различными системами МРТ.
Модель Brain-IT распределяет тысячи измерений из зрительной коры по 128 группам в зависимости от типа передаваемой визуальной информации. Затем система объединяет данные о цвете, форме и объектах для создания полной картины. Процесс восстановления делится на два этапа:
- Определение семантической информации (что именно находится в сцене, например, собака на траве).
- Определение структурной информации (расположение объектов и их контуры).
Для финальной отрисовки используется стандартный диффузионный генератор изображений. Он сглаживает текстуры и делает картинку более реалистичной, хотя часть деталей может быть добавлена самим ИИ на основе общих паттернов фотографий, а не из данных мозга.
Ограничения и перспективы
Авторы подчеркивают, что Brain-IT не читает мысли и не может восстанавливать воспоминания или воображаемые сцены. Для работы системы требуется полное сотрудничество испытуемого, который должен смотреть на конкретный объект. Воспоминания слишком размыты и задействуют иные нейронные сети, что делает их недоступными для текущего метода.
На данный момент главным препятствием для широкого применения технологии является дороговизна и громоздкость МРТ. Исследователи пробуют использовать данные электроэнцефалографии (ЭЭГ), которые собираются с помощью электродов на голове, но эта работа находится на начальной стадии.
В будущем технология поможет ученым лучше понять взаимодействие областей мозга и различия в визуальном восприятии людей. По словам соавтора исследования Михаль Ирани, это может привести к созданию медицинских инструментов для диагностики таких расстройств, как рассеянный склероз, аутизм, ПТСР и другие психические заболевания.
