Мозг как интерфейс: нейротехнологии и визуализация внутреннего опыта

1. Мозг как медиум: от органа к интерфейсу
2. Человек, объясняемый через мозг и ранняя форма визуализации
3. Биосигнал как художественный материал
4. Brain-computer interface: мозг как инструмент управления образом
5. Заключение
6. Библиография

В нейроискусстве мозг не просто часть тела, новых и необычных источник идей, сигналов и форм. В человеческом мозгу насчитывается миллиарды нейронов, отвечающих за высокие мыслительные процессы, в том числе и искусство. Если обычно мы воспринимаем искусство с помощью глаз, ушей и тела, то здесь важна работа мозга. Датчики могут считывать ее, преобразовывать в сигналы, затем в числа, алгоритмы и преобразовывать. Так появляются изображения, звуки, движения или среды, с которыми зритель может взаимодействовать. Мозг, это уже не просто центр мыслей или чувств. Он является частью технической цепочки: мозг посылает сигнал, сигнал преобразуется в данные, данные поступают в интерфейс, а затем появляется изображение.

Различные приборы, электроды, нейроинтерфейсы, сенсоры, системы визуализации, делают невидимую работу мозга видимой и управляемой. Художественный образ теперь рождается из множества источников: мысли автора, работы тела, действий прибора, алгоритма и реакции зрителя. Но нейроискусство не показывает сознание напрямую. Оно работает с тем, что могут зарегистрировать приборы. Затем эти следы мозговой активности преобразуются и оформляются для восприятия глазом и слухом.

Главная цель исследования — проследить, как нейротехнологии превращают внутреннюю мозговую активность в визуальный, звуковой и интерактивный опыт.

Человеческий мозг как биологическая основа восприятия и мышления. В нейротехнологическом искусстве он становится не только объектом изображения и визуализации, но и источником сигнала для создания художественной формы.

Электроэнцефалография как способ регистрации мозговых процессов. EEG переводит электрическую активность мозга в сигнал, который записывается и обрабатывается для дальнейшего использования.

Проект Lisa Park является наглядным примером того, как мозг буквально становится художественным инструментом. Внутреннее состояние не изображается напрямую, а переводится в физическое движение воды. Здесь художественный образ возникает между мозговым сигналом, техническим устройством и звуком, оказывающий влияние на окружающую среду (чаши). Если не обращать внимания на чёрные датчики, то общая картина напоминает ментальные манипуляции.

Один из ранних примеров использования мозговых волн как художественного воспроизведения EEG-сигналов.

Когда исполнитель входил в спокойное состояние, у него усиливались альфа-волны мозга. Считываемые электрические сигналы считывались аппаратурой, усиливались и передавались на динамики, которые, в свою очередь, оказывали влияние на ударные инструменты, заставляя их резонировать.

То есть исполнитель никак не взаимодействовал на музыкальные инструменты напрямую. Он сидел неподвижно и просто пытался расслабиться, а когда мозг переходил в медитативное состояние мозговые волны превращали их в звук.

Перфоманс важен для нейроарта, так как мозг здесь впервые выступает не как тема для обсуждения, а непосредственно самим художественным событием.

Художница использовала EEG и видеосистемы, чтобы участники могли видеть изменения своих мозговых волн в реальном времени на экранах.

В работах Sobell мозговая активность становилась частью коммуникационного взаимодействия между участниками. Проект показывает, что нейроарт может работать не только с одним человеком и его мозгом, как это было с Alvin Lucier или Lisa Park, но и с обратной связью: человек видит собственный сигнал и начинает реагировать на него.

После EEG и мозговых волн нейроискусство работает не только с мозгом отдельно, но и с телом. Пульс, дыхание, мышечная активность, температура тела, и движение могут становиться способом художественного выражения так же, как изображение, звук или свет.

Биосигналы в современном искусстве позволяют рассматривать тело как источник данных, художественной мысли и материала. Если EEG фиксирует электрическую активность мозга, то другие сенсоры могут регистрировать пульс, дыхание, мышечное напряжение, температуру и движение. Эти показатели становятся техническими следами внутреннего состояния человека: от возбуждения до расслабления.

В таком искусстве тело перестает быть только внешним объектом изображения. Оно становится активным участником произведения: его ритмы и реакции преобразуются в свет, звук, движение, механическое действие или изменение пространства. Поэтому художественный образ возникает не только из заранее созданной формы, но и из текущего физиологического состояния участника.

Такой подход связан с идеей что мышление и восприятие не существуют отдельно от тела, среды и действия. Нейроискусство и биосигнальное искусство показывают, что внутренний опыт нельзя свести только к мозгу. Он проявляется через многие жизненные процессы в теле человека.

Rafael Lozano-Hemmer, Pulse Spiral. Биометрическая инсталляция, в которой сердечный ритм посетителей резонировал с интерфейсом и превращался в световую спираль.

«Пульсирующая комната» — это интерактивная инсталляция, состоящая из множества прозрачных ламп накаливания, подвешенных на тросе на небольшой высоте. Лампы равномерно распределены по выставочному залу. На одной из стен зала расположен интерфейс с датчиком, который определяет частоту сердечных сокращений участников. Когда кто-то берет в руки интерфейс, компьютер определяет его пульс и сразу же включает ближайшую лампу, которая начинает мигать в такт сердцебиению. Если отпустить интерфейс, то все лампочки на короткое время гаснут, а мигающая последовательность меняется на одну позицию вниз по очереди, к следующей лампочке. Каждый раз, когда кто-то прикасается к интерфейсу, записывается сердечный ритм, который отправляется на первую лампочку в сетке. В любой момент времени на установке отображаются записи последних участников.

В этой работе пульс становится не медицинским показателем, а архитектурным и световым материалом. Телесный ритм каждого участника является общей композицией, где индивидуальное сердцебиение временно сохраняется в пространстве.

Marco Donnarumma, Music for Flesh II. Перформанс, в котором мышечная активность и телесные вибрации преобразуются в звук.

В 2011 году Доннарумма создал Xth Sense — биосенсор, способный улавливать различные движения и взаимодействия человеческого тела, при этом не оказывая на него никакого воздействия. С помощью Xth Sense Доннарумма использует тело как инструмент. В этом визуальном представлении нет заранее записанных звуковых фрагментов. Вместо этого датчик улавливает внутренние процессы тела от колебания мышц до движение крови, а затем передает эти данные на компьютер и создает музыку.

Работы Donnarumma выделяются тем, что показывают тело как инструмент. В отличие от проектов, где зритель просто взаимодействует каким-либо способом с датчиком, здесь сам исполнитель производит звук через напряжение мышц и внутренние процессы. Биосигнал становится не фоном, а главной программой перформанса.

В работах Stelarc тело художника превращается в подключенный, если не интерфейс как таковой интерфейс. Электроды и мышечные стимуляторы передают внешние сигналы прямо к мышцам, вызывая движения помимо воли исполнителя. В результате тело перестаёт быть полностью самостоятельным: оно становится частью техники, где цифровая информация может не только считываться, но и физически воздействовать на человека.

В работе Parasite Stelarc использовал электроды и VR-шлем. Компьютер искал изображения человеческого тела в интернете, и когда находил их, система отправляла электрические импульсы в мышцы. Получалось, что тело человека реагировало не по его собственному желанию, а на данные извне.

Здесь тело становится интерфейсом. В одних нейроарт-проектах тело или мозг взаимодействуют с интерфейсом посредством мозговых импульсов или физического воздействия, а у Stelarc наоборот: цифровая система начинает управлять самим телом.

Биосигнальное искусство показывает, что внутренний опыт человека нельзя свести только к мозговой активности. Он проявляется через всё тело: сердцебиение, дыхание, мышечное напряжение. Поэтому в нейроарте мозг следует понимать не как изолированный центр, а как часть телесной системы, где физиологические сигналы превращаются в художественные формы.

«Brain Painting», разработанное Аdi Hoesle совместно с учеными и инженерами, — это метод рисования, при котором не нужны ни руки, ни кисти: программа для цифрового рисования управляется с помощью мозговой активности. Художественный проект, в котором технология BCI используется для создания изображений напрямую через EEG-сигналы.

Проект важен тем, что переносит BCI из медицинской и лабораторной области в художественное пространство. Технология, разработанная для коммуникации людей с тяжёлыми нарушениями движения, становится способом художественного выражения.

Luciana Haill. Перформансы, в которых мозговая активность становится цифровой визуализацией и музыкой.

Luciana Haill работает с EEG как с инструментом обратной связи. Во время процесса мозговая активность считывается, затем превращается в цифровой визуальный ландшафт и звук. Зритель не просто наблюдает готовое произведение с мелким шумом, а видит, как внутреннее состояние влияет на визуальную и звуковую среду в реальном времени.

В BCI мозг может быть не только объектом изображения или источником данных, но и способом для более сложного взаимодействия в контексте конкретных возможностей. Однако такое управление всегда опосредовано техникой: мозговая активность должна быть считана, распознана и переведена в команду. Поэтому произведение не просто проецирует хаотичные мозговые процессы, а в цепочке между человеком, датчиком, алгоритмом и экраном приводит к конкретным художественным результатам.

Мозг и тело могут быть не только темой изображения, но и активным, прямым звеном самого художественного процесса. Электроэнцефалография, биосенсоры и интерфейсы позволяют считывать внутренние состояния человека и переводить их в сигналы, данные, звук, свет, движение или изображение. Благодаря этому искусство начинает работать не только с готовой визуальной формой, но и с живыми физиологическими процессами.

Главный вывод в том, что нейроискусство не показывает мысли и чувства напрямую. Оно работает с сигналами мозга и тела, которые считывают приборы, а затем преобразуют их в движения, изображения или в свет со звуком. Поэтому итоговое произведение появляется не только благодаря человеку и не только благодаря машине, а благодаря их симбиозу. Мозг даёт сигнал, тело — реакцию, техника переводит это в данные, а искусство делает внутреннее состояние реальным для нашего внешнего восприятия.