Квазидвижения и попытки движения – возможная альтернатива моторному воображению в нейрореабилитации на основе интерфейсов мозг-компьютер
- Авторы: Шишкин С.Л.1, Бердышев Д.А.1,2, Яшин А.С.1,3, Заболотный А.Ю.4, Осадчий А.Е.1,4, Васильев А.Н.1,3
-
Учреждения:
- Московский государственный психолого-педагогический университет
- Московский физико-технический институт
- Московский государственный университет им. М.В. Ломоносова
- Национальный исследовательский университет «Высшая школа экономики»
- Выпуск: Том 18, № 4 (2023)
- Страницы: 687-690
- Раздел: Материалы конференции
- Статья получена: 15.11.2023
- Статья одобрена: 18.11.2023
- Статья опубликована: 15.12.2023
- URL: https://genescells.ru/2313-1829/article/view/623412
- DOI: https://doi.org/10.17816/gc623412
- ID: 623412
Цитировать
Полный текст
Открытый доступ
Доступ предоставлен
Доступ платный или только для подписчиков
Аннотация
Моторное воображение (МВ) является одним из самых популярных «ментальных триггеров» для неинвазивных интерфейсов мозг-компьютер (ИМК). В частности, неоднократно предпринимались попытки продемонстрировать полезность МВ-ИМК в постинсультной реабилитации. Однако результаты таких испытаний остаются неоднозначными. Одним из возможных факторов, препятствующих эффективности этого подхода, может быть противоречие между характерной для МВ направленностью умственной деятельности исключительно вовнутрь (где она сосредоточивается на моделировании реальности) и предполагаемой важностью сенсорной обратной связи с реальным, физическим окружением в контексте терапии с использованием ИМК. Необходимость распределять ресурсы внимания между внутренними действиями и их последствиями во внешнем мире, кроме того, может являться причиной низкой точности классификаторов МВ-ИМК у большинства пользователей. Внутренний фокус внимания в МВ также может объяснить, по крайней мере частично, почему попытки объединить МВ-ИМК с технологиями взаимодействия на основе айтрекинга всегда были крайне неудачными, так как управление взглядом требует внешнего фокуса внимания.
Перспективной альтернативой моторному воображению в ИМК являются попытки движения (ПД), которые, как неоднократно демонстрировалось, лучше декодируются классификаторами ИМК, чем МВ (например, [1]). ПД — это попытки совершить реальные движения, для которых было сформировано намерение их совершить, но они не были совершены из-за паралича или ампутации. До сих пор исследованиям ПД уделялось очень мало внимания, возможно, из-за сложности их моделирования у здоровых участников экспериментов, а также из-за большой популярности МВ-ИМК. Подход к их моделированию у здоровых существует: это использование квазидвижений (КД), то есть волевых движений, которые минимизируются испытуемым до такой степени, что они в итоге становятся необнаруживаемыми объективными измерениями [2]. Однако КД с момента их открытия В.В. Никулиным и коллегами [2] изучались ещё меньше, чем ПД — возможно, из-за недостаточного понимания их отличия от МВ.
Недавно мы показали, что связанная с событиями десинхронизация сенсомоторного ритма в КД не зависит от остаточной электромиограммы (ЭМГ), поэтому, вопреки ранее существовавшим представлениям, методика КМ, по-видимому, может реализовываться без тщательного отслеживания ЭМГ, которое нередко невозможно [3]. Это открывает возможность более широкого использования КД в качестве альтернативы МВ в ИМК [3]. Кроме того, мы подтвердили и развили предыдущие наблюдения [2], показывающие близкое сходство КД с реальными движениями [4]. В настоящем сообщении мы рассказываем о наших первых результатах асинхронной классификации КД, которые могут стать основой для КД-ИМК, работающего в реальном времени.
Мы использовали ЭЭГ, записанную в исследовании [3] у 23 участников, которые выполняли КД и МВ синхронно с ритмичными звуковыми триплетами. Высоко интерпретируемая сверточная нейронная сеть SimpleNet [5] была обучена на подмножестве индивидуальных данных отдельно для КД и МВ, каждый раз в паре с референтной, немоторной задачей. Она была применена в оффлайн-режиме, без использования информации о времени подачи звука, к отдельному набору данных в окне 1,5 с с шагом 0,1 с. КД/МВ детектировались, если тест был положительным в 4 последовательных окнах, с рефрактерным периодом 3 с.
Учитывая высокую вариабельность показателей МВ-ИМК у необученных людей, мы оценивали работу классификатора только у участников, показавших TPR (частоту правильных срабатываний) >0,5. Мы обнаружили 7 таких участников при классификации КД и 5 при классификации МВ. КД имел тенденцию давать лучшее определение намерения, чем МИ: M±SD в КД и МВ, соответственно, составили 0,81±0,12 и 0,77±0,12 для TPR, 0,03±0,02 и 0,04±0,03 для частоты ложных тревог (с–1), 2,81±0,06 и 2,86±0,10 для времени ответа (с); различия между КД и МВ, согласно тесту Манна–Уитни, не были значимыми.
Наши начальные результаты по моделированию асинхронных ИМК согласуются с предыдущими исследованиями, которые показали, что в синхронных парадигмах КД классифицируется лучше, чем МВ [2]. Отметим, что мы лишь слегка оптимизировали гиперпараметры SimpleNet, так что дальнейшее улучшение классификации представляется вполне достижимым. Учитывая лучшую классификацию ПД по сравнению с МВ [1] и предварительные результаты, представленные здесь, использование ПД конечными пользователями представляется многообещающим, и, вероятно, эту технологию можно будет развивать далее на основе использования КД в исследованиях, моделирующих ПД. Более того, сходство между КД, ПД и явными движениями указывает на возможность использования КД и ПД для передачи намерения в интерфейсах, управляемых взглядом, где явное моторное подтверждение работает отлично, но применение МВ-ИМК крайне неэффективно.
Полный текст
Моторное воображение (МВ) является одним из самых популярных «ментальных триггеров» для неинвазивных интерфейсов мозг-компьютер (ИМК). В частности, неоднократно предпринимались попытки продемонстрировать полезность МВ-ИМК в постинсультной реабилитации. Однако результаты таких испытаний остаются неоднозначными. Одним из возможных факторов, препятствующих эффективности этого подхода, может быть противоречие между характерной для МВ направленностью умственной деятельности исключительно вовнутрь (где она сосредоточивается на моделировании реальности) и предполагаемой важностью сенсорной обратной связи с реальным, физическим окружением в контексте терапии с использованием ИМК. Необходимость распределять ресурсы внимания между внутренними действиями и их последствиями во внешнем мире, кроме того, может являться причиной низкой точности классификаторов МВ-ИМК у большинства пользователей. Внутренний фокус внимания в МВ также может объяснить, по крайней мере частично, почему попытки объединить МВ-ИМК с технологиями взаимодействия на основе айтрекинга всегда были крайне неудачными, так как управление взглядом требует внешнего фокуса внимания.
Перспективной альтернативой моторному воображению в ИМК являются попытки движения (ПД), которые, как неоднократно демонстрировалось, лучше декодируются классификаторами ИМК, чем МВ (например, [1]). ПД — это попытки совершить реальные движения, для которых было сформировано намерение их совершить, но они не были совершены из-за паралича или ампутации. До сих пор исследованиям ПД уделялось очень мало внимания, возможно, из-за сложности их моделирования у здоровых участников экспериментов, а также из-за большой популярности МВ-ИМК. Подход к их моделированию у здоровых существует: это использование квазидвижений (КД), то есть волевых движений, которые минимизируются испытуемым до такой степени, что они в итоге становятся необнаруживаемыми объективными измерениями [2]. Однако КД с момента их открытия В.В. Никулиным и коллегами [2] изучались ещё меньше, чем ПД — возможно, из-за недостаточного понимания их отличия от МВ.
Недавно мы показали, что связанная с событиями десинхронизация сенсомоторного ритма в КД не зависит от остаточной электромиограммы (ЭМГ), поэтому, вопреки ранее существовавшим представлениям, методика КМ, по-видимому, может реализовываться без тщательного отслеживания ЭМГ, которое нередко невозможно [3]. Это открывает возможность более широкого использования КД в качестве альтернативы МВ в ИМК [3]. Кроме того, мы подтвердили и развили предыдущие наблюдения [2], показывающие близкое сходство КД с реальными движениями [4]. В настоящем сообщении мы рассказываем о наших первых результатах асинхронной классификации КД, которые могут стать основой для КД-ИМК, работающего в реальном времени.
Мы использовали ЭЭГ, записанную в исследовании [3] у 23 участников, которые выполняли КД и МВ синхронно с ритмичными звуковыми триплетами. Высоко интерпретируемая сверточная нейронная сеть SimpleNet [5] была обучена на подмножестве индивидуальных данных отдельно для КД и МВ, каждый раз в паре с референтной, немоторной задачей. Она была применена в оффлайн-режиме, без использования информации о времени подачи звука, к отдельному набору данных в окне 1,5 с с шагом 0,1 с. КД/МВ детектировались, если тест был положительным в 4 последовательных окнах, с рефрактерным периодом 3 с.
Учитывая высокую вариабельность показателей МВ-ИМК у необученных людей, мы оценивали работу классификатора только у участников, показавших TPR (частоту правильных срабатываний) >0,5. Мы обнаружили 7 таких участников при классификации КД и 5 при классификации МВ. КД имел тенденцию давать лучшее определение намерения, чем МИ: M±SD в КД и МВ, соответственно, составили 0,81±0,12 и 0,77±0,12 для TPR, 0,03±0,02 и 0,04±0,03 для частоты ложных тревог (с–1), 2,81±0,06 и 2,86±0,10 для времени ответа (с); различия между КД и МВ, согласно тесту Манна–Уитни, не были значимыми.
Наши начальные результаты по моделированию асинхронных ИМК согласуются с предыдущими исследованиями, которые показали, что в синхронных парадигмах КД классифицируется лучше, чем МВ [2]. Отметим, что мы лишь слегка оптимизировали гиперпараметры SimpleNet, так что дальнейшее улучшение классификации представляется вполне достижимым. Учитывая лучшую классификацию ПД по сравнению с МВ [1] и предварительные результаты, представленные здесь, использование ПД конечными пользователями представляется многообещающим, и, вероятно, эту технологию можно будет развивать далее на основе использования КД в исследованиях, моделирующих ПД. Более того, сходство между КД, ПД и явными движениями указывает на возможность использования КД и ПД для передачи намерения в интерфейсах, управляемых взглядом, где явное моторное подтверждение работает отлично, но применение МВ-ИМК крайне неэффективно.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Источник финансирования. Исследование поддержано Российским научным фондом, грант № 22-19-00528.
Об авторах
С. Л. Шишкин
Московский государственный психолого-педагогический университет
Автор, ответственный за переписку.
Email: sergshishkin@mail.ru
Россия, Москва
Д. А. Бердышев
Московский государственный психолого-педагогический университет; Московский физико-технический институт
Email: sergshishkin@mail.ru
Россия, Москва; Москва
А. С. Яшин
Московский государственный психолого-педагогический университет; Московский государственный университет им. М.В. Ломоносова
Email: sergshishkin@mail.ru
Россия, Москва; Москва
А. Ю. Заболотный
Национальный исследовательский университет «Высшая школа экономики»
Email: sergshishkin@mail.ru
Россия, Москва
А. Е. Осадчий
Московский государственный психолого-педагогический университет; Национальный исследовательский университет «Высшая школа экономики»
Email: sergshishkin@mail.ru
Россия, Москва; Москва
А. Н. Васильев
Московский государственный психолого-педагогический университет; Московский государственный университет им. М.В. Ломоносова
Email: sergshishkin@mail.ru
Россия, Москва; Москва
Список литературы
- Chen S., Shu X., Wang H., et al. The differences between motor attempt and motor imagery in brain-computer interface accuracy and event-related desynchronization of patients with with hemiplegia // Frontiers in Neurorobotics. 2021. Vol. 15. P. 706630. doi: 10.3389/fnbot.2021.706630
- Nikulin V.V., Hohlefeld F.U., Jacobs A.M., Curio G. Quasi-movements: A novel motor-cognitive phenomenon // Neuropsychologia. 2008. Vol. 46, N 2. P. 727–742. doi: 10.1016/j.neuropsychologia.2007.10.008
- Vasilyev A.N., Yashin A.S., Shishkin S.L. Quasi-movements and “quasi-quasi-movements”: Does residual muscle activation matter? // Life. 2023. Vol. 13, N 2. P. 303. doi: 10.3390/life13020303
- Yashin A.S., Shishkin S.L., Vasilyev A.N. Is there a continuum of agentive awareness across physical and mental actions? The case of quasi-movements (submitted) // Consciousness and Cognition. 2023. Vol. 112. P. 103531. doi: 10.1016/j.concog.2023.103531
- Petrosyan A., Voskoboinikov A., Sukhinin D., et al. decoding from a small set of spatially segregated minimally invasive intracranial EEG electrodes with a compact and interpretable neural network // Journal of Neural Engineering. 2022. Vol. 19, N 6. doi: 10.1088/1741-2552/aca1e1
Дополнительные файлы
