Подход к ускорению коммуникации через интерфейс «мозг-компьютер» предложили в Центре ИИ МГУ

Ученые Исследовательского центра в сфере ИИ МГУ предложили подход, при котором большие языковые модели могут компенсировать ошибки нейроинтерфейса и повысить скорость коммуникации. Препринт исследования размещен на платформе bioRxiv. Об этом сообщили в пресс-службе вуза. 

Исследователи предложили новый подход к улучшению работы нейроинтерфейсов «мозг-компьютер» (BCI), предназначенных для набора текста людьми с тяжёлыми нарушениями речи и движений. В основе метода лежит интеграция больших языковых моделей (LLM), таких как ChatGPT, в систему так называемого P300-спеллера.

P300-спеллер — это устройство, которое позволяет пользователю набирать текст, концентрируя внимание на мигающих символах на экране. Система регистрирует характерный электрический сигнал мозга (компонент P300) и на его основе определяет выбранные буквы. Несмотря на надёжность, такие системы работают медленно — обычно со скоростью одно-два слова в минуту, поскольку для повышения точности требуется длительная фиксация внимания на каждом символе.

«В этой работе мы сформулировали принцип интеграции спеллера P300 с большой языковой моделью. Мы используем нейросетевые алгоритмы для преобразования ЭЭГ в текст и обратную связь, подсвечивающую распознаваемые буквы. Большая языковая модель не только исправляет ошибки, но и предсказывает следующие слова, предлагая их пользователю», — сказал профессор, научный сотрудник Центра ИИ МГУ Михаил Лебедев.

Предложенный подход предполагает изменение стратегии ввода текста. Вместо того чтобы стремиться к безошибочному распознаванию каждой буквы, исследователи допускают появление опечаток на уровне слов и передают «черновой» текст языковой модели. LLM анализирует контекст предложения и автоматически исправляет ошибки.

В рамках работы ученые использовали данные ранее проведенного эксперимента с участием добровольцев, в котором регистрировалась ЭЭГ при наборе текста с помощью P300-спеллера. На этих данных была смоделирована ситуация ускоренного ввода, при которой распознавание букв становится менее точным. Полученные искаженные фразы затем обрабатывались тремя языковыми моделями — ChatGPT, DeepSeek и Grok.

Результаты показали, что все три модели успешно восстанавливали исходный смысл предложений. Например, строка с ошибками:

«HT WASHED HIS HAN S WITILTHE THE FRESH WATER»
была корректно преобразована в предложение
«HE WASHED HIS HANDS WITH THE FRESH WATER».

По мнению авторов, такой симбиоз нейроинтерфейса и языковой модели позволяет значительно увеличить скорость общения, снижая требования к точности распознавания отдельных символов. Кроме того, интеграция LLM расширяет функциональность BCI, позволяя системе не только распознавать текст, но и контекстно корректировать формулировки.

Исследователи подчеркивают, что предложенный подход применим не только к P300-спеллерам, но и к более быстрым нейроинтерфейсам, основанным на зрительных вызванных потенциалах (SSVEP), а в перспективе — и к инвазивным BCI нового поколения.

В будущем подобные гибридные системы могут использоваться не только для набора текста, но и для управления «умным домом», интернет-сервисами и техническими устройствами, а также для более точного понимания эмоционального состояния пользователя.

Работа показывает, что сочетание нейротехнологий и современных языковых моделей может повысить эффективность коммуникации для людей с тяжелыми двигательными и речевыми нарушениями.

Авторы отмечают, что исследование носит экспериментальный характер и требует дальнейшей проверки в клинических и прикладных условиях.

Следите за важными новостями в Телеграм-канале Информационного центра Правительства Москвы