Доклады Российской академии наук. Науки о жизни, 2022, T. 507, № 1, стр. 493-498

ЗАВИСИМОСТЬ ОБУЧЕНИЯ УПРАВЛЕНИЮ МОЗГ-КОМПЬЮТЕРНЫМ ИНТЕРФЕЙСОМ ОТ ЛИЧНОСТНЫХ ХАРАКТЕРИСТИК

Е. В. Боброва 1, В. В. Решетникова 1, Е. А. Вершинина 1, А. А. Гришин 1*, М. Р. Исаев 23, П. Д. Бобров 23, член-корреспондент РАН Ю. П. Герасименко 1

1 ФГБУН Институт физиологии Российской академии наук им. И.П. Павлова
Санкт-Петербург, Россия

2 ФГБУН Институт высшей нервной деятельности и нейрофизиологии Российской академии наук
Москва, Россия

3 Институт трансляционной медицины ГБОУ ВПО Российского национального исследовательского медицинского университета им. Н.И. Пирогова
Москва, Россия

* E-mail: agrishin@infran.ru

Поступила в редакцию 17.05.2022
После доработки 11.08.2022
Принята к публикации 11.08.2022

Полный текст (PDF)

Аннотация

Личностные характеристики (ЛХ) являются предикторами успешности управления интерфейсами “мозг-компьютер” (ИМК), однако неизвестно, как ЛХ, оптимальные для управления ИМК, изменяются при обучении. В работе впервые проведен анализ связей ЛХ и точности классификации состояний мозга (ТК) при воображении движений кистей, стоп и локомоции при 10-дневном обучении 10 волонтеров управлению ИМК. В первые три дня обучения ТК выше у более напряженных и тревожных волонтеров, в последние дни – у более спокойных. В середине периода обучения ТК выше при низкой демонстративности, в большей степени при воображении движений стоп. Корреляции низкой демонстративности, а также предусмотрительности и самоконтроля с ТК при воображении движений стоп выявлены значимо чаще, чем при воображении кистей и локомоции. Практически во всем периоде обучения ТК при воображении локомоции выше у индивидуалистов. Результаты дают возможность предложить индивидуально-ориентированные рекомендации по использованию для реабилитации пациентов с двигательными нарушениями ИМК, основанном на воображении движений.

Ключевые слова: мозг-компьютерные интерфейсы, личностные характеристики, обучение воображению движений, воображение раскрытия кисти, воображение сгибания стопы, воображение локомоции

ВВЕДЕНИЕ

Известно, что ЛХ пользователя могут быть предикторами успешности управления ИМК, и около 30% людей не могут управлять ИМК [1]. В различных исследованиях выявлены такие предикторы, как способность к концентрации внимания [2], способность к кинестетическому воображению движений [3], уровень напряженности, уверенность в себе, мечтательность, способность к ментальному вращению фигур [4], пространственные способности, зрительно-пространственная память, независимость мышления [5], ясность зрительного воображения [5, 6], эмоциональная стабильность, аккуратность [6], настроение и мотивация [4, 7], убеждение в способности контролировать технологии [8], терпеливость и настойчивость [9], параметры ЭЭГ [1012], возраст [6]. В наших экспериментах выявлена зависимость предикторов от того, осуществляется воображение движений правой или левой руки [1315], а также от скрытой леворукости [14]. Отсутствие способности к управлению ИМК может быть особенно важно при использовании ИМК в нейрореабилитации, когда использование этой методики для пациента, проявившего неспособность работать с ИМК, может быть приостановлено. Вместе с тем можно предположить, что разным людям требуется разное время для освоения работы с ИМК. В литературе, однако, нет сведений о том, как связь ЛХ с успешностью управления ИМК меняется в ходе обучения, а также как это зависит от типа воображаемого движения. В данной работе проводится анализ динамики обучения управлению ИМК при воображении нескольких типов движений (кистей, стоп или локомоции) и изучаются связи ЛХ с ТК при управлении ИМК в ходе обучения.

МАТЕРИАЛЫ И МЕТОДЫ

В экспериментах принимали участие 10 здоровых волонтеров (5 мужчин и 5 женщин) в возрасте 21–35 лет. Каждый волонтер участвовал в 10 сессиях, по одной в день. В каждой сессии было три сеанса управления ИМК, основанном на кинестетическом воображении движений: 1) раскрытие правой или левой кисти, 2) тыльное сгибание правой или левой стопы, 3) локомоция, начинающаяся с правой или левой ноги.

На экране монитора в случайном порядке возникали команды испытуемому – треугольники, направленные вправо, влево или вверх, согласно которым испытуемые должны были, соответственно, воображать движения или пребывать в состоянии покоя. Первые 117 с происходило обучение классификатора для распознавания ЭЭГ при этих трех командах. После обучения классификатора испытуемый получал обратную связь в виде зеленого круга в центре монитора, радиус которого увеличивался при успешном воображении движения, а при неуспешном – уменьшался. Длительность одного сеанса (включая обучение классификатора) составляла 390 с.

ЭЭГ регистрировалась 32-канальным энцефалографом SmartBCI. Для выделения из сигнала ЭЭГ значимых для классификации признаков применялся метод Common Spatial Patterns [16]. Полученные признаки использовались для обучения и тестирования с помощью квадратичного дискриминантного анализа. ТК, характеризующая успешность управления ИМК, оценивалась при помощи средней вероятности правильного распознавания [17].

Все испытуемые однократно проходили тестирование по тесту Айзенка на темперамент, 16-факторному личностному опроснику Кеттелла, тесту Спилбергера-Ханина на определение личностной и ситуативной тревожности и 5-факторному опроснику личности, т.н. “большая пятерка” (БП).

Статистический анализ включал определение значимости корреляционных связей между численными оценками каждой ЛХ и величинами ТК, полученными в каждой из 10 экспериментальных сессий. Для описания особенностей ЛХ, выявивших значимые связи с ТК, введено понятие частоты встречаемости ЛХ, оценивающее степень ее связи с ТК, – число случаев на протяжении всех 10 сессий, когда имеет место значимая корреляция данной ЛХ с ТК. Частоты встречаемости оценивали для каждого из условий воображения движения (кистей, стоп или локомоции). Оценку значимости различий между частотами встречаемости данной ЛХ в зависимости от условия воображения движения проводили, используя сравнение частот по критерию Хи-квадрат. Расчеты проводились с использованием программного комплекса SPSS Inc.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Результаты анализа ЭЭГ показали, что при воображении движений кистей и стоп ТК меняется на протяжении периода обучения, значимо увеличиваясь к 3-му дню обучения. От 3-го к 5-му дню ТК при воображении движений кистей значимо уменьшается и вновь увеличивается к 8-му дню. Колебания ТК для стоп не так очевидны, однако в 4-й и 10-й день она значимо меньше, чем в 5-й и 7-й день, а в 6-й – чем в 7-й. При воображении локомоции значимых изменений ТК не выявлено.

Анализ корреляционных связей ТК и ЛХ выявил значимые связи, отличающиеся в зависимости от дня обучения и от типа воображаемого движения. ЛХ, выявившие значимые связи с ТК, были сгруппированы в 7 основных групп, связь ТК и ЛХ для этих групп иллюстрируется рядом примеров на рис. 1.

Рис. 1.

Коэффициенты корреляции личностных характеристик (а – экспрессивности, б – привязанности, в – напряженности, г – тревожности, д – самоконтроля поведения, е – экстраверсии) и точности классификации сигналов мозга при воображении движений кистей (белый), стоп (серый) и локомоции (черный) с 1-го по 10-й дни обучения управлению ИМК. * – значимость р < 0.05, ** – значимость p < 0.01.

Группа 1. Низкая демонстративность. К этой группе отнесены следующие факторы, отрицательно коррелирующие с ТК (здесь и ниже в скобках указана частота встречаемости данного фактора по всем экспериментальным условиям, т.е. во все дни и для всех типов воображаемых движений, знак коэффициента корреляции (+ или –) и, после запятой через дефис, отдельно для условий воображения движений кистей, стоп и локомоции соответственно): любознательность (10–, 4–5–1), артистичность (8–, 3–6–1), любопытство (7–, 2–5–0), экспрессивность БП (6–, 2–4–0, рис. 1 а), доминирование (4–, 1–3–0), общительность БП (3–, 0–3–0), привлечение внимания (2, 1–1–0). Общая частота встречаемости факторов этой группы 42, она максимальна для стоп (27), меньше для кистей (13) и локомоции (2). Сравнение частот по критерию Хи-квадрат показало, что все три частоты (стоп, кистей и локомоции) в совокупности значимо отличаются друг от друга (р < 0.01), при этом корреляции при воображении движений стоп выявлены значимо чаще, чем кистей (р = 0.027) и локомоции (р < < 0.001), для кистей чаще, чем для локомоции (р = 0.005). Для стоп больше всего значимых корреляций факторов этой группы с ТК в 4–7 и в 10 сессии, для кистей в 5 сессии.

Группа 2. Индивидуализм (замкнутость, отстраненность, эмоциональная холодность). К этой группе отнесены следующие факторы, отрицательно коррелирующие с ТК: привязанность (9–, 2–3–4, рис. 1 б), сотрудничество (8–, 1–2–5), теплота (7–, 3–1–3), уважение других (7–, 2–2–3), понимание (7–, 1–4–2), ответственность (3–, 1–1–1), пластичность (2–, 1–1–0). Общая частота встречаемости этих факторов 43, она максимальна для локомоции (18), меньше для стоп (14) и кистей (11). Для кистей и стоп больше этих признаков в 3 и 8 дни обучения (что соответствует дням с увеличенной ТК), для локомоции более равномерно.

Группа 3. Напряженность и тревожность. К этой группе отнесены следующие факторы, как положительно, так и отрицательно коррелирующие с ТК: напряженность (9+, 2–3–4, рис. 1 в), тревожность (5–, 2–1–2, рис. 1 г), высокая тревожность (3+–, 2–1–0), нейротизм (2+, 1–1–0), эмоциональная неустойчивость (2 +–, 2–1–0), эмоциональная стабильность (2–, 0–1–1), эмоциональная лабильность (1–, 1–0–0), ситуативная тревожность (1+, 0–0–1). Общая частота встречаемости этих факторов 25, для кистей, стоп и локомоции 9, 8 и 8 соответственно. В первые 4 дня эксперимента значимые корреляции свидетельствуют о большой напряженности и тревожности у более успешных пользователей (14+, 5–6–3), а в последние 3 дня – о меньшей тревожности у более успешных пользователей (8–, 4–1–2). Это означает, что первые 4 дня эксперимента ТК выше у напряженных субъектов, в последние 3 дня – у более спокойных.

Группа 4. Предусмотрительность и самоконтроль. К этой группе отнесены следующие факторы, положительно коррелирующие с ТК: предусмотрительность (7+, 3–3–1), самоконтроль поведения (4+, 0–4–0, рис. 1 д), самоконтроль (1+, 0–1–0), аккуратность (1+, 0–1–0). Общая частота встречаемости этих факторов 13; для кистей, стоп и локомоции 3, 9 и 1 соответственно. Сравнение частот по критерию Хи-квадрат показало, что все три частоты в совокупности отличаются друг от друга (р = 0.018), при этом корреляции при воображении движений стоп выявлены значимо чаще, чем локомоции (р = 0.01) и кистей (тенденция р = 0.083), для кистей и локомоции значимых отличий не выявлено.

Группа 5. Экстраверсия и активность. К этой группе отнесены следующие факторы, положительно коррелирующие с ТК: экстраверсия (3+, 0–1–2, рис. 1 е), экспрессивность К (2+, 1–0–1), смелость (2+, 0–1–1), активность (2+, 0–1–1), общительность (1+, 1–0–0). Общая частота встречаемости этих факторов 10; для кистей, стоп и локомоции 2, 3 и 5 соответственно.

Группа 6. Доверчивость. К этой группе отнесены следующие факторы, как положительно, так и отрицательно коррелирующие с ТК: доверчивость (3+, 3–0–0), нонконформизм (3–, 1–1–1), подозрительность (2–, 0–0–2). Общая частота встречаемости этих факторов 8; для кистей, стоп и локомоции 4, 1 и 3 соответственно.

Группа 7. Склонность к логическому мышлению. К этой группе отнесены следующие факторы: высокий интеллект (2+, 2–0–0), мечтательность, т.е. склонность к абстрагированию в противовес конкретности, abstractedness (2+–, 1–0–1). Корреляции с точностью классификации с разным знаком: при воображении движений кистей эти корреляции положительные, а локомоции – отрицательные. Общая частота встречаемости факторов этой группы 4; для кистей, стоп и локомоции 3, 0 и 1 соответственно.

Результаты показывают, что для каждого экспериментального дня и типа воображаемого движения характерен свой набор ЛХ, являющихся предикторами успешности воображения соответствующего движения. Иначе говоря, предикторы успешности управления ИМК изменяются в процессе обучения, эти изменения зависят от того, какое движение воображается. Вследствие относительно небольшого размера группы испытуемых и большого разброса данных, получение значимых корреляций говорит в пользу их надежности, для 29 значимых корреляций р < 0.001, для остальных 116 – р < 0.05. Процесс обучения управлению ИМК со зрительной обратной связью может быть описан так:

1) В 1-й день обучения разжимание кистей успешнее воображают абстрактно-мыслящие холодные конформные субъекты с высоким интеллектом, а движения нижних конечностей напряженные и не склонные к сотрудничеству экстраверты.

2) На 2-й день обучения разжимание кистей успешнее воображают доверчивые люди, а для стоп и локомоции сохраняются приблизительно те же индивидуальные особенности, что и в 1-й день, которые дополняются конформностью.

3) На 3-й день (когда имеет место значимое увеличение ТК при воображении движений и кистей, и стоп) факторы напряженности и индивидуализма становятся важны не только для воображения локомоции и движений стоп, но и кистей. Количество значимых корреляций с факторами группы 2 (Индивидуализм) в этот день увеличено и высоко значимо (восемь ЛХ коррелируют с ТК, по сравнению с двумя и тремя в первые два дня). Кроме того, для воображения стоп становятся важны предусмотрительность (группа 4) и низкая артистичность (группа 1).

4) В следующие 4 дня обучения, с 4-го по 7-й день, успешность ТК при воображении движений стоп определяют факторы группы 4 и, в особенности, группы 1. Частота встречаемости этих факторов максимальна в 7-й день обучения, и в этот день также наблюдается значимое увеличение ТК при воображении движений стоп. Это, по-видимому, означает, что различимость сигналов мозга при воображении движений стоп в 7-й день обучения увеличена благодаря субъектам с низкой демонстративностью и высоким самоконтролем. Для успешности воображения разжимания кистей роль факторов групп 1 и 4 существенно меньше, для локомоции – факторов группы 4 слабо выражена, а группы 1 не выявлена.

5) В 8-й день оптимально работают индивидуалисты, успешность воображения локомоции определяется еще и отрицательной тревожностью.

6) Последние дни обучения характеризуются отрицательными корреляционными связями ТК для всех типов воображаемых движений с тревожностью, т.е. успешнее работают более спокойные индивидуумы. В последний 10-й день только факторы этой группы (3 группа) коррелируют с успешностью воображения разжимания кистей.

Таким образом, динамика изменений ЛХ, оптимальных для управления ИМК, имеет свою специфику для воображения движений разных типов, однако есть и общие основные тенденции: 1) лучшие показатели ТК у более напряженных людей в первые дни обучения и у более спокойных – в конце обучения; 2) оптимальность управления ИМК при воображении кистей и, в особенности стоп (но не локомоции) людьми с низкой демонстративностью в середине 10-дневного периода обучения; 3) важность индивидуализма для успешности воображения локомоции практически во всем периоде обучения.

Полученные результаты об изменении успешности управления ИМК в зависимости от факторов напряженности и тревожности соответствуют данным о том, что тревожность ухудшает обучение движениям [18]. В наших экспериментах в первые дни обучения различимость сигналов мозга при воображении движений всех типов была больше у волонтеров с высокой напряженностью, при воображении движений стоп также с высокой тревожностью и эмоциональной неустойчивостью, однако в последние дни обучения более успешны в воображении движений были более спокойные люди. Можно предположить, задача обучения воображению движений, как и задача обучения реальным движениям сложнее для людей с высокой тревожностью, что отражается в меньшей разделимости сигналов мозга при анализе ЭЭГ для управления ИМК у таких людей на последнем этапе обучения. Сведений о важности низкой демонстративности поведения для обучения как реальным, так и воображаемым движениям кистей и стоп, а также индивидуализма для обучения локомоции, нами в литературе не обнаружено.

Применительно к практическому использованию ИМК в нейрореабилитации данные, по-видимому, могут свидетельствовать о том, что пациенты, неспособные к напряженной работе, нуждаются в большем количестве сеансов обучения, чем те, кто имеет такую способность (поскольку фактор напряженности, способствующий улучшению управления ИМК, согласно нашим данным, теряет свою важность после 3–4 дня обучения (рис. 1 в)), и что по мере обучения более спокойные пациенты будут более успешны в управлении ИМК. Следует учесть, однако, что результаты получены на группе из 10 здоровых волонтеров, и при увеличении выборки, возраста испытуемых, длительности обучения, могут иметь место изменения значимости тех или иных ЛХ в те или иные дни обучения. Тем не менее сам факт изменения ЛХ, оптимальных для управления ИМК, в ходе обучения, может быть использован при разработке индивидуально-ориентированных программ реабилитации движений.

Список литературы

  1. Jeunet C., N’Kaoua B., Subramanian S., et al. Predicting mental imagery-based BCI performance from personality, cognitive profile and neurophysiological patterns // PloS one. 2015. V. 10. № 12. P. e0143962.

  2. Hammer E.M., Kaufmann T., Kleih S.C., et al. Visuo-motor coordination ability predicts performance with brain-computer interfaces controlled by modulation of sensorimotor rhythms (SMR) // Front. Hum. Neurosci. 2014. V. 8. P. 574.

  3. Vuckovic A., Osuagwu B.A. Using a motor imagery questionnaire to estimate the performance of a Brain-Computer Interface based on object-oriented motor imagery // Clin. Neurophysiol. 2013. V. 124. № 8. P. 1586–1595.

  4. Kubler A., Nijboer F., Mellinger J., et al. Patients with ALS can use sensorimotor rhythms to operate a brain-computer interface // Neurol. 2005. V. 64. № 10. P. 1775–1777.

  5. Hagedorn L.J., Leeuwis N., Alimardani M. Prediction of Inefficient BCI Users based on Cognitive Skills and Personality Traits // bioRxiv 2021.09.28.461955.

  6. Leeuwis N., Paas A., Alimardani M. Vividness of visual imagery and personality impact motor-imagery brain computer interfaces // Front. Hum. Neurosci. 2021. V. 15. P. 634748.

  7. Nijboer F., Birbaumer N., Kubler A. The influence of psychological state and motivation on brain–computer interface performance in patients with amyotrophic lateral sclerosis–a longitudinal study // Front. Neurosci. 2010. V. 4. P. 55.

  8. Witte M., Kober S.E., Ninaus M., et al. Control beliefs can predict the ability to up-regulate sensorimotor rhythm during neurofeedback training // Front. Hum. Neurosci. 2013. V. 7. P. 478.

  9. Zapala D., Malkiewicz M., Francuz P., et al. Temperament predictors of motor imagery control in BCI // J. Psychophysiol. 2019. V. 34. № 4. P. 246–254.

  10. Ahn M., Ahn S., Hong J.H., et al. Gamma band activity associated with BCI performance: simultaneous MEG/EEG study // Front. Hum. Neurosci. 2013. V. 7. P. 848.

  11. Bamdadian A., Guan C., Ang K.K., et al. The predictive role of pre-cue EEG rhythms on MI-based BCI classification performance // J. Neurosci. Methods. 2014. V. 235. P. 138–144.

  12. Grosse-Wentrup M., Schölkopf B. High gamma-power predicts performance in sensorimotor-rhythm brain–computer interfaces // J. Neural Eng. 2012. V. 9. № 4. P. 6046001.

  13. Bobrova E.V., Reshetnikova V.V., Vershinina E.A., et al. Interhemispheric Asymmetry and Personality Traits of Brain–Computer Interface Users in Hand Movement Imagination // Doklady Biological Sciences. 2020. V. 495. P. 265–267.

  14. Bobrova E.V., Reshetnikova V.V., Vershinina E.A., et al. Success of hand movement imagination depends on personality traits, brain asymmetry, and degree of handedness // Brain Sci. 2021. V. 11. № 7. P. 853.

  15. Reshetnikova V.V., Bobrova E.V., Vershinina E.A., et al. Relationship between succes in motor imagery of the right and left hands and users’ personality traits // Neurosci. Behav. Physiol. 2022. V. 6. P. 12.

  16. Dornhege G., Blankertz B., Curio G., et al. Increase information transfer rates in BCI by CSP extension to multi-class // NIPS. 2003. P. 733–740.

  17. Frolov A., Husek D., Bobrov P. Comparison of Four Classification Methods for Brain-Computer Interface // Neural Network World. 2011. V. 21. № 2. P. 101–115.

  18. Sporn S., Hein T., Ruiz M.H. Alterations in the amplitude and burst rate of beta oscillations impair reward-dependent motor learning in anxiety // Elife. 2020. V. 9. P. e50654.

Дополнительные материалы отсутствуют.