«NEUROPHONIKA / НЕЙРОФОНИКА» — фильм, в котором мы живем.
Цель проекта: создание аудио визуального пространства инициированного процессом человеческого мышления посредством искусственного интеллекта.
Технологии: музыканты создают импровизационный фрагменты в формате живого выступления; одновременно посредством датчиков, закреплённых у них на головах формируется картина деятельности участков головного мозга; данные импульсы поступают в компьютер где, при помощи ИИ, трансформируются в визуальные динамические картины; получившиеся образы проецируются на экран, расположенный в объёмах сцены, на которой выступают музыканты.
Результат: концерт, на котором зрители имеют возможность наблюдать процесс создания музыки и визуального образа мышления музыкантов в режиме реального времени.
Музыканты – Анашкин Д.В. (гитара, копьютеры, луперы, руководитель проекта), Бомштейн М. (синты, рояль, компьютеры).
Координатор проекта - А.Лисин
Научно-техническая поддержка: к.б.н. Шемякина Н.В., к.б.н. Нагорнова Ж.В., асп. Заводова Е.М., асп. Галкин В.А. (ИЭФБ РАН);
Художник, арт-консультант: Потапов Ю.Г. («Мансарда художников»);
ВИДЕО
GLASS, melodic ambient improvisation, 2023

​CINDERELLA
melodic ambient music
У ученых свои задачи…
Одновременно с реализацией проекта NEUROPHONIKA — шанс исследовать музыкантов:)
Исследования в естественной среде обитания творцов, занятых своей работой, — отдельное направление научных изысканий. В таких исследованиях моменты драйва, полного погружения в творчество нужно ловить, отслеживать, замечать — как самим «творцам», так и исследователям. И это непросто). Мы участвовали в исследованиях, проводимых совместно учеными (Шемякиной Н. В. и Нагорновой Ж. В.) и художниками (Ю. Г. Потаповой, «Мансарда художников») с коллегами. Пару лет назад эта команда (изучающая физиологические/мозговые механизмы творчества) начала работать с художниками и анализировать их состояние в процессе создания полотен, моменты, когда человек наиболее полно погружается в художественную деятельность. Сейчас мы регистрировали мозговую активность у нас — музыкантов, импровизировавших на сцене, и наших слушателей. На голове — шлемы с электродами, в голове — биоэлектрическая активность, в мыслях и чувствах — музыка :). Задача исследователей: оценить «похожесть» состояний слушателей и музыкантов — вероятность синхронизации в моменты восприятия музыки или «настройки» музыкантов друг на друга при импровизации. Это часть масштабного исследования совместной деятельности и различных способов коммуникации человека.
Scientists have their own tasks...
Along with the NEUROPHONIKA project, there's a chance to study musicians. :)
Research in the natural habitat of artists engaged in their work is a separate area of ​​scientific research. In such studies, moments of drive and complete immersion in creativity must be captured, tracked, and noticed—by both the "creators" themselves and the researchers. And this isn't easy. We participated in studies conducted jointly by scientists (N.V. Shemyakina and Zh.V. Nagornova) and artists (Yu.G. Potapova, "Mansarda Khudozhnikov") and their colleagues. A couple of years ago, this team (studying the physiological and brain mechanisms of creativity) began working with artists and analyzing their state during the process of creating canvases, the moments when a person is most fully immersed in artistic activity. Now, we've been recording the brain activity of us—the musicians improvising on stage—and our audience. On the head there are helmets with electrodes, in the head there is bioelectric activity, in the mind
Scientists have their own tasks…
Simultaneously with the implementation of the NEUROPHONIKA project, it is a chance to explore musicians :)
Research in the natural habitat of creators engaged in their work is a separate area of ​​scientific research. In such studies, the moments of drive, of full immersion in creativity, need to be captured, monitored, and noticed by both the “creators” themselves and the researchers. And it's not easy). We have participated in studies conducted jointly by scientists (N. V. Shemyakina and Zh. V. Nagornova) and artists (Yu. G. Potapova, "The Attic of Artists") with their colleagues. A couple of years ago, this team (studying the physiological/brain mechanisms of creativity) began working with artists and analyzing their state during the creation of their paintings, the moments when they were most immersed in their artistic activities. Currently, we are recording brain activity in us, the musicians who improvised on stage, and our audience. On the head are helmets with electrodes, and in the head is bioelectric activity.

Исследователи:
Научное руководство проектом: к.б.н. Шемякина Н.В., к.б.н. Нагорнова Ж.В. (ИЭФБ РАН), аспиранты — Заводова Е.М., Галкин В.А. (ИЭФБ РАН)

Музыканты: 
Анашкин Д.В. (гитара, компьютеры, луперы),
Бомштейн М.С. (синтезаторы, рояль, компьютеры).

Помощь в организации исследований:
Лисин А. (координатор взаимодействия, Санкт-Петербург);
Потапов Ю.Г. (художник, «Мансарда художников», Санкт-Петербург).

Литература:
  • Наталья Шемякина, Жанна Нагорнова Нейрофизиологические характеристики конкуренции в навыках и сотрудничества при выполнении творческих заданий: обзор исследований гиперсканирования //Физиология человека 47(1):87-103, 2021; DOI 10.1134/S0362119721010126
  • Наталья Шемякина, Юрий Потапов Разработка методологии исследования креативности художников и изучение нейрофизиологических характеристик визуального творчества в экологических условиях Художественной студии (обзор и методология) // Физиология человека 49(S1): S147-S166, 2024; DOI: 10.1134/S0362119723600480
Made on
Tilda