Ученые усовершенствовали ИИ-декодер мозга для перевода мыслей в текст

Исследователи из Техасского университета в Остине представили обновленную версию декодера мозга, который использует искусственный интеллект для преобразования мыслей в текст. Главное преимущество нового алгоритма заключается в том, что он может обучать существующий декодер без необходимости многочасового обучения.

Фото из открытых источников

В рамках исследования, опубликованного 6 февраля в журнале Current Biology, команда ученых изучила, как можно адаптировать декодер, обученный на одной группе людей, для работы с мозгом других участников. Это может оказать значительное влияние на людей с афазией — расстройством, затрудняющим общение.

Ранее декодеры требовали длительного обучения, во время которого участники слушали истории в аппарате МРТ. Однако это ограничивало их использование, поскольку модели работали только с теми людьми, на которых они были обучены. Как отметил соавтор исследования Александр Хат, у людей с афазией часто возникают сложности как с пониманием, так и с воспроизведением речи, что делает традиционный подход неэффективным.

В новом исследовании ученые обучили декодер на нескольких эталонных участниках, собирая данные функциональной МРТ во время прослушивания 10-часовой радиопередачи. Затем они разработали два алгоритма преобразования: один использовал данные, собранные за 70 минут прослушивания радиопередач, а другой — за 70 минут просмотра короткометражных фильмов Pixar.

С помощью метода функционального выравнивания команда проанализировала, как мозг участников реагировал на одни и те же аудио- и видеосюжеты. Это позволило им обучить декодер для целевой группы, не собирая многочасовые данные.

В ходе тестирования декодеров использовался короткий рассказ, который участники не слышали ранее. Хотя точность прогнозов была выше для контрольной группы, результаты все же продемонстрировали семантическую связь между предсказанными словами и текстом рассказа.

Например, в одной части тестовой истории персонаж размышляет о работе, которая ему не нравится. Декодер, обученный на данных из фильмов, предсказал: «Я работала на скучной, по моему мнению, работе. Мне приходилось принимать заказы, и они мне не нравились». Хотя точность не была идеальной, идеи оставались схожими.

Хат отметил, особенно интересно, что декодер работает даже без использования языковых данных, что открывает новые возможности для сбора информации. Это может помочь людям с афазией выражать свои мысли и подчеркивает схожесть в представлении идей в языке и визуальных образах.

Следующим шагом для исследовательской группы станет тестирование алгоритма на участниках с афазией и разработка интерфейса, который поможет им генерировать нужные им фразы.