Нейрогейминг: управление видеоиграми с помощью нейроинтерфейсов

1. Концепция
2. BCI-игры и модификации
3. Сложные игры с управлением через нейроинтерфейс
4. Вывод

С появлением нейроинтерфейсов становится реальным управление компьютером с помощью мозговой активности. Если стандартное управление компьютером с использованием устройств ввода происходит по цепочке «намерение —> мысль —> механическое действие —> результат (обратная связь компьютера)», то нейроинтерфейсы способны сократить эту цепочку, переводя мысль напрямую в цифровой сигнал.

Видеоигры предоставляют пользователям виртуальные миры со своими законами и виртуальных аватаров. Однако управление игровыми аватарами обычно требует сигналов от устройств ввода, обязывая выполнять физические действия, вроде нажатия кнопок. Это заставляет игрока постоянно чувствовать себя снаружи, «по ту сторону экрана» от виртуального мира.

В этом контексте нейроинтерфейсы могут потенциально изменять границы между намерением игрока и желаемым конечным результатом, усиливая погружение в виртуальный мир.

Ключевое напряжение задаётся расхождением между техно-утопическим образом «телекинеза» из научно-фантастических фильмов или игр и фактически нестабильной, медленной и требующей достаточно долгой настройки реальностью работы современных нейроинтерфейсов.

Изначально созданные для изучения мозга, технологии неинвазивных нейроинтерфейсов становятся доступны обычному пользователю с появлением коммерчески доступных нейрогарнитур — например, от компаний Emotiv (серия EPOC, Insight) и NeuroSky (MindWave, Mobile). Регистрируемые гарнитурами сигналы можно записать, используя программное обеспечение. Записанные сигналы в последствии можно запрограммировать на различные игровые действия, например — шаг вперёд, атака, прыжок.

Исследование рассматривает следующие кейсы использования нейрогарнитур в гейминге:

1. BCI-игры и модификации, созданные специально для гейминга посредством нейроинтерфейсов
2. Использование нейроинтерфейсов для игр, созданных под традиционное управление с помощью контроллеров

В качестве источников для исследования возьму видеозаписи и скриншоты геймплея игр, интервью с разработчиками проектов нейрогейминга, официальные страницы видеоигр и страницы компаний, выпускающих нейроинтерфейсы.

Игра использует данные с нейрогарнитуры (Neurosky Mindwave) для измерения двух показателей — уровень концентрации игрока и уровень его спокойствия, которые преобразуются в показатели игрового персонажа.

Уровень концентрации влияет на силу броска в игре — чем более сфокусирован пользователь, тем более мощными оказываются его броски.

Уровень спокойствия определяет эффективность таких способностей персонажа, как прыжок и притягивание объектов.

Игра предлагает пользователю почувствовать в себе «телепатические способности» и, хотя гарнитура не может считать конкретное намерение игрока — толкнуть объект — для определения уровня «концентрации» она измеряет активность бета-волн мозга, что в том числе зависит от уровня фокуса.

Ось в данном случае скорее смещена в сторону технологичности — игрок может влиять на действия персонажа своими намерениями (удерживание концентрации), но используемый для определения «концентрации» сигнал с гарнитуры может быть выражен и в других проявлениях повышения активности бета-волн мозга.

Игра использует биодатчик OpenBCI Ganglion, который способен измерять сигналы активности мозга (ЭЭГ), активности мышц (ЭМГ) и активности сердца (ЭКГ).

Цель игры состоит в управлении космическим кораблём, избегая препятствий. Для управления в игре есть два действия — полёт вверх и вниз. Пользователь вызывает их морганием — сильным или слабым.

Нейроинтерфейс в данном случае не призван погрузить игрока в игровой мир, а заменяет привычный контроллер, позволяя играть в игры людям с ограниченными возможностями.

В этом кейсе доминирует телесность — движение веками в качестве управления игрой.

Модификация использует два вида сигнала, собираемых ЭЭГ-гарнитурой AntNeuro: сигналы двигательной коры головного мозга и эмоции игрока.

Подъём левой руки активирует заклинание в игре, подъём правой руки — подзывает лошадь. От эмоций игрока динамически меняется погода в игровом мире.

Проект использует сигналы нейрогарнитуры как дополнение к физическим действиям игрока при управлении контроллером. В совокупности с реакцией игрового мира на эмоциональное состояние пользователя, использование нейроинтерфейса позволяет игроку глубже погрузиться в игру.

Ось в данном случае распределена равномерно: церебральность как мысленное представление действия с помощью движений рук, телесность как влияние эмоций на игру, технологичность как алгоритмы распознавания и перевода сигналов мозга в команды.

Проект стримерши PerriKaryal использует ЭЭГ-гарнитуру для управления в играх с большим количеством действий через запись мозговой активности.

Чтобы настроить вызов команды, через прилагаемое к гарнитуре программное обеспечение пользователь должен записать мозговую активность во время того, как представляет в голове какой-либо образ: например, толчок куба. Записанный сигнал с мозга затем может быть привязан к выполнению заданной команды.

Для того, чтобы команды можно было стабильно использовать, записываемая активность мозга для разных команд должна существенно отличаться друг от друга.

С помощью прилагаемого к гарнитуре программного обеспечения PerriKaryal удалось записать всего 4 команды, для вызова которых требовалось представить в голове следующие образы:

1. Толчок куба
2. Поворот тарелки
3. Ощущение злости
4. Прыгающий кузнечик

После этого команды нужно было запрограммировать на эмуляцию ввода с контроллера: каждая команда отвечала за конкретный элемент ввода вроде клика мыши или нажатия кнопки на геймпаде.

Команды, вызываемые активностью мозга, имели только два состояния: «0» и «1», то есть «есть сигнал» и «нет сигнала», чего было недостаточно для точного управления камерой в игре.

Для этой цели использовалась технология захвата движения глаз — трекер отслеживает положение глаз пользователя и проецирует направление взгляда на экран, заменяя курсор мыши.

Ещё одной проблемой при игре с нейрогарнитурой оказалась сложность удерживать концентрацию во время стрессовой ситуации в игре, что сказывалось на трудности вызова той или иной команды.

Наконец, сложности добавляла задержка в 1 секунду до того, как желаемое действие воплощалось в игре через команду.

В данном кейсе мысленные образы — не естественные намерения, а выученные паттерны, которые игрок должен многократно повторять, чтобы нейроинтерфейс их распознал. Задержка и сбои не устраняются, а становятся частью игрового опыта.

Распределение акцентов: технологичность доминирует, телесность присутствует как помеха (стресс, усталость, непроизвольные движения).

Нейроинтерфейсы действительно способны смещать фокус с управления игрой через физические действия на ментальные состояния — концентрацию, эмоции и представление абстрактных образов.

Однако зачастую нейроинтерфейсы не помогают намерению пользователя моментально транслироваться в сигнал компьютера, а лишь переосмысляют контроллер для игры. В итоге вместо того, чтобы погрузиться в игру, пользователю приходиться концентрироваться на управлении своей мозговою активностью.

На данный момент технологии нейроинтерфейсов далеки от того, чтобы полностью стереть границы между реальным и виртуальным миром. Существенная задержка, ограниченность в декодировании сигналов мозга и сложность в тренировке мозга под каждую команду — основные проблемы, которые пока не позволяют нейрогеймингу заменить стандартные способы игры в видеоигры.