Нейрофизиологические характеристики выполнения творческих заданий и некоторые подходы к различению этапов/состояний творческой деятельности по характеристикам ЭЭГ/ВП-сигналов
- Авторы: Шемякина Н.В.1, Нагорнова Ж.В.1
-
Учреждения:
- Институт эволюционной физиологии и биохимии им. И.М. Сеченова Российской академии наук
- Выпуск: Том 18, № 4 (2023)
- Страницы: 882-885
- Раздел: Материалы конференции
- Статья получена: 17.11.2023
- Статья одобрена: 21.11.2023
- Статья опубликована: 15.12.2023
- URL: https://genescells.ru/2313-1829/article/view/623517
- DOI: https://doi.org/10.17816/gc623517
- ID: 623517
Цитировать
Полный текст
Открытый доступ
Доступ предоставлен
Доступ платный или только для подписчиков
Аннотация
В работе представлены результаты исследования нейрофизиологических характеристик выполнения вербальных и невербальных творческих задач, а также сравнительный анализ некоторых подходов к классификации временных рядов и частотно-временных карт ЭЭГ-сигнала на основе непрерывного вейвлет-преобразования.
В исследованиях приняли участие несколько групп испытуемых, выполнявших разные творческие задачи одновременно с регистрацией ЭЭГ или вызванных потенциалов (ВП): придумывание оригинальных окончаний к известным пословицам «ПОСЛОВИЦЫ» [1–3] (парадигма ВП), придумывание сюжета по картинке «РАССКАЗ» [4] (здесь и далее — непрерывная деятельность при смене состояний); завершение эскизов (тест Торренса) «ЭСКИЗЫ», свободное художественное творчество профессионального художника «эскизирование, холст, смотр и другая деятельность» [5].
Показано, что поиск оригинального окончания в сравнении с контрольной задачей — «вспомнить окончание пословицы» — характеризуется бόльшими значениями мощности 8–9 Гц в правой лобной и левой теменной областях коры. Придумывание рассказа по картинке по сравнению с задачей «описания картинки» также характеризовалось бόльшим процентом отдельных частот альфа-диапазона в структуре ЭЭГ. В условиях свободного эскизирования выявлен более высокий процент тета- (5–6 Гц) и альфа-частот (12–13 Гц) в лобных и теменных зонах коры художника в сравнении с контрольной задачей рисования заданных линий.
Помимо анализа ЭЭГ/ВП-характеристик при выполнении творческих заданий ставилась задача исследовать возможность наиболее точной классификации состояний творческой деятельности для дальнейшей разработки машинного алгоритма различения стадий/состояний творческого процесса по характеристикам ЭЭГ/ВП.
В работе использовали инструменты «линейной» классификации временных рядов («сырого сигнала») в референтном монтаже и при преобразовании к источнику тока (CSD). Для классификации «временных рядов» непрерывные ЭЭГ разделяли на фрагменты по 2 с, а для классификации ВП использовали интервалы 1500 мс после предъявления стимула. Данные ЭЭГ/ВП также представляли в виде частотно-временных карт на основе расчёта непрерывного вейвлет-преобразования (Морле) для частот от 3 до 30 Гц. Каждое изображение генерировалось для интервала 4 с с шагом 100 мс (для непрерывных записей ЭЭГ) или для интервала 1500 мс после предъявления стимула (для ВП) и состояло из частотно-временных карт зон интереса: лобного (Fz) и теменного (Pz) отведений. Далее изображения частотно-временных карт классифицировали при помощи модифицированной свёрточной нейронной сети (47 слоёв на основе архитектуры SqueezeNet). Для всех процедур классификации ЭЭГ-сигналов использовали опции программного пакета Classifier learning и Deep Network Designer в среде MATLAB. Во всех случаях обучающие и тестовые выборки не пересекались и представляли соотношение 80:20%.
При распознавании состояний использовали модели творческих задач «РАССКАЗ» — 4 класса состояний (описание картинки, придумывание сюжета, продолжение придумывания сюжета, фон с открытыми глазами) — с лучшим результатом 53,4% для SqueezeNet.
При распознавании стадий творческой деятельности «СВОБОДНОЕ ХУДОЖЕСТВЕННОЕ ТВОРЧЕСТВО» использовали 3 состояния профессионального художника для классификации (фон с открытыми глазами, живопись по холсту, просмотр и оценка работы по холсту). Классифицировали также 3 состояния (фон с открытыми глазами, творческое рисование в тесте Торренса, рисование заданных объектов) в модели выполнения классического творческого задания на невербальную креативность «ЭСКИЗЫ».
В первом случае свободного рисования и оценки произведения точность классификации временных рядов составила 86.9 при CSD преобразовании для Kernel Naive Bayes. Во втором случае точность разделения состояний фона и творческого/нетворческого рисования составила 66.9% при использовании классификатора на основе машины опорных векторов (Гауссовская радиальная базисная функция (SVM fine Gaussian)). Использование для классификации частотно-временных карт и свёрточной нейронной сети приводило к повышению точности классификации до 98% в первом случае и до 96,5% — во втором.
В исследованиях в парадигме вызванных потенциалов (модель «ПОСЛОВИЦЫ») для классификации использовали подход single-trial для трёх состояний: нахождение собственного «нового» окончания общеизвестной пословицы, нахождение смыслового синонима окончания и вспоминание исходного окончания пословицы. Классификацию проводили для каждого участника (15 человек) индивидуально. У всех результаты при помощи линейного дискриминантного анализа были выше порога случайного распознавания (минимум — 37,8%, максимум — 58,5%, в среднем по группе — 46±6%).
Так как в модели «ПОСЛОВИЦЫ» каждое задание содержало не более 100 проб, возможность получить достаточную выборку образцов частотно-временных карт для обучения свёрточной нейронной сети отсутствовала, была предпринята попытка формирования обучающей выборки с использованием образцов изображений всех испытуемых (922 образца для нахождения собственного варианта ответа, 1102 — для нахождения синонима и 1180 — для вспоминания окончания). В этом случае, классификация общей по группе выборки образцов не превышала случайного порога (36%), что, по всей видимости, связано с межсубъектной вариабельностью данных.
На данный момент использование свёрточных нейронные сетей показало сравнительно лучший результат для классификации «непрерывных», длительных состояний творческой деятельности, в то время как оценка быстрых «переходных» процессов более эффективна при классификации «временных рядов».
Полный текст
В работе представлены результаты исследования нейрофизиологических характеристик выполнения вербальных и невербальных творческих задач, а также сравнительный анализ некоторых подходов к классификации временных рядов и частотно-временных карт ЭЭГ-сигнала на основе непрерывного вейвлет-преобразования.
В исследованиях приняли участие несколько групп испытуемых, выполнявших разные творческие задачи одновременно с регистрацией ЭЭГ или вызванных потенциалов (ВП): придумывание оригинальных окончаний к известным пословицам «ПОСЛОВИЦЫ» [1–3] (парадигма ВП), придумывание сюжета по картинке «РАССКАЗ» [4] (здесь и далее — непрерывная деятельность при смене состояний); завершение эскизов (тест Торренса) «ЭСКИЗЫ», свободное художественное творчество профессионального художника «эскизирование, холст, смотр и другая деятельность» [5].
Показано, что поиск оригинального окончания в сравнении с контрольной задачей — «вспомнить окончание пословицы» — характеризуется бόльшими значениями мощности 8–9 Гц в правой лобной и левой теменной областях коры. Придумывание рассказа по картинке по сравнению с задачей «описания картинки» также характеризовалось бόльшим процентом отдельных частот альфа-диапазона в структуре ЭЭГ. В условиях свободного эскизирования выявлен более высокий процент тета- (5–6 Гц) и альфа-частот (12–13 Гц) в лобных и теменных зонах коры художника в сравнении с контрольной задачей рисования заданных линий.
Помимо анализа ЭЭГ/ВП-характеристик при выполнении творческих заданий ставилась задача исследовать возможность наиболее точной классификации состояний творческой деятельности для дальнейшей разработки машинного алгоритма различения стадий/состояний творческого процесса по характеристикам ЭЭГ/ВП.
В работе использовали инструменты «линейной» классификации временных рядов («сырого сигнала») в референтном монтаже и при преобразовании к источнику тока (CSD). Для классификации «временных рядов» непрерывные ЭЭГ разделяли на фрагменты по 2 с, а для классификации ВП использовали интервалы 1500 мс после предъявления стимула. Данные ЭЭГ/ВП также представляли в виде частотно-временных карт на основе расчёта непрерывного вейвлет-преобразования (Морле) для частот от 3 до 30 Гц. Каждое изображение генерировалось для интервала 4 с с шагом 100 мс (для непрерывных записей ЭЭГ) или для интервала 1500 мс после предъявления стимула (для ВП) и состояло из частотно-временных карт зон интереса: лобного (Fz) и теменного (Pz) отведений. Далее изображения частотно-временных карт классифицировали при помощи модифицированной свёрточной нейронной сети (47 слоёв на основе архитектуры SqueezeNet). Для всех процедур классификации ЭЭГ-сигналов использовали опции программного пакета Classifier learning и Deep Network Designer в среде MATLAB. Во всех случаях обучающие и тестовые выборки не пересекались и представляли соотношение 80:20%.
При распознавании состояний использовали модели творческих задач «РАССКАЗ» — 4 класса состояний (описание картинки, придумывание сюжета, продолжение придумывания сюжета, фон с открытыми глазами) — с лучшим результатом 53,4% для SqueezeNet.
При распознавании стадий творческой деятельности «СВОБОДНОЕ ХУДОЖЕСТВЕННОЕ ТВОРЧЕСТВО» использовали 3 состояния профессионального художника для классификации (фон с открытыми глазами, живопись по холсту, просмотр и оценка работы по холсту). Классифицировали также 3 состояния (фон с открытыми глазами, творческое рисование в тесте Торренса, рисование заданных объектов) в модели выполнения классического творческого задания на невербальную креативность «ЭСКИЗЫ».
В первом случае свободного рисования и оценки произведения точность классификации временных рядов составила 86.9 при CSD преобразовании для Kernel Naive Bayes. Во втором случае точность разделения состояний фона и творческого/нетворческого рисования составила 66.9% при использовании классификатора на основе машины опорных векторов (Гауссовская радиальная базисная функция (SVM fine Gaussian)). Использование для классификации частотно-временных карт и свёрточной нейронной сети приводило к повышению точности классификации до 98% в первом случае и до 96,5% — во втором.
В исследованиях в парадигме вызванных потенциалов (модель «ПОСЛОВИЦЫ») для классификации использовали подход single-trial для трёх состояний: нахождение собственного «нового» окончания общеизвестной пословицы, нахождение смыслового синонима окончания и вспоминание исходного окончания пословицы. Классификацию проводили для каждого участника (15 человек) индивидуально. У всех результаты при помощи линейного дискриминантного анализа были выше порога случайного распознавания (минимум — 37,8%, максимум — 58,5%, в среднем по группе — 46±6%).
Так как в модели «ПОСЛОВИЦЫ» каждое задание содержало не более 100 проб, возможность получить достаточную выборку образцов частотно-временных карт для обучения свёрточной нейронной сети отсутствовала, была предпринята попытка формирования обучающей выборки с использованием образцов изображений всех испытуемых (922 образца для нахождения собственного варианта ответа, 1102 — для нахождения синонима и 1180 — для вспоминания окончания). В этом случае, классификация общей по группе выборки образцов не превышала случайного порога (36%), что, по всей видимости, связано с межсубъектной вариабельностью данных.
На данный момент использование свёрточных нейронные сетей показало сравнительно лучший результат для классификации «непрерывных», длительных состояний творческой деятельности, в то время как оценка быстрых «переходных» процессов более эффективна при классификации «временных рядов».
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Источник финансирования. Работа поддержана Российского научного фонда 22-28-02073.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Об авторах
Н. В. Шемякина
Институт эволюционной физиологии и биохимии им. И.М. Сеченова Российской академии наук
Автор, ответственный за переписку.
Email: shemyakina_n@mail.ru
Россия, Санкт-Петербург
Ж. В. Нагорнова
Институт эволюционной физиологии и биохимии им. И.М. Сеченова Российской академии наук
Email: shemyakina_n@mail.ru
Россия, Санкт-Петербург
Список литературы
- Bechtereva N.P., Danko S.G., Medvedev S.V. Current methodology and methods in psychophysiological studies of creative thinking // Methods. 2007. Vol. 42, N 1. P. 100–108. doi: 10.1016/j.ymeth.2007.01.009
- Shemyakina N.V., Danko S.G., Nagornova Zh.V., et al. Changes in the power and coherence spectra of the eeg rhythmic components during solution of a verbal creative task of overcoming a stereotype // Fiziol Cheloveka. 2007;33(5):14–21.
- Shemyakina N.V., Nagornova Z.V. Does the instruction “Be original and create” actually affect the eeg correlates of performing creative tasks? // Hum Physiol. 2020. Vol. 46. P. 587–596. doi: 10.1134/S0362119720060092
- Shemyakina N.V., Nagornova Zh.V. EEG “signs” of verbal creative task fulfillment with and without overcoming self-induced stereotypes // Behav Sci (Basel). 2019. Vol. 10, N 1. P. 17. doi: 10.3390/bs10010017
- Shemyakina N.V., Potapov Y.G., Nagornova Zh.V. Dynamics of the EEG frequency structure during sketching in ecological conditions and non-verbal tasks fulfillment by a professional artist: case study // Human Physiology. 2022. Vol. 48. P. 506–515. doi: 10.1134/S0362119722700050
Дополнительные файлы
