Сенсорные системы, 2019, T. 33, № 2, стр. 157-165

Переходные процессы зрительных вызванных потенциалов в задачах интерфейсов человек-компьютер

Я. А. Туровский 12*, А. С. Суровцев 1, С. А. Зайцев 1, А. С. Коновской 1

1 Воронежский государственный университет
394051 г. Воронеж, Университетская пл. 1, Россия

2 Институт проблем управлениям им. В.А.Трапезникова РАН
117997 Москва, ул. Профсоюзная, д. 65, Россия

* E-mail: yaroslav_turovsk@mail.ru

Поступила в редакцию 24.06.2018

Полный текст (PDF)

Аннотация

В работе проведен анализ переходных процессов между установившимися состояниями зрительных вызванных потенциалов (SSVEP) в условиях изменения частоты фотостимуляции (ФС), что имитирует работу с синхронным интерфейсом мозг-компьютер. Исследованы зависимости параметров SSVEP от частот ФС. Метод кластерного анализа (К-средних) выявил три кластера данных, различающихся особенностями реакции на ФС и распределения каналов ЭЭГ, ее демонстрирующих. Установлено, что в ряде случаев процент людей, “генерирующих” сигнал требуемой частоты после изменения режима фотостимуляции, был значительно ниже 100%, вплоть до случаев полного отсутствия “детекции сигнала” кем-либо из испытуемых. Латентное время появления выраженных частотных компонент для исследуемых сигналов колебалось от 150 до 420 мс, что позволяет рассматривать это время как перспективу для показателей скорости интерфейсов мозг-компьютер. Высокочастотный компонент при использовании цепочек локальных максимумов матрицы квадратов вейвлет-преобразования вместо вейвлет-фильтрации идентифицировался лучше, чем низкочастотный. При использовании вейвлет-фильтрации выявлена обратная зависимость.

Ключевые слова: SSVEP, синхронные интерфейсы мозг-компьютер, нейрокомпьютерные интерфейсы, вейвлет-преобразование

DOI: 10.1134/S0235009219020100

ВВЕДЕНИЕ

Значительный интерес к интерфейсам мозг-компьютер (нейрокомпьютерным интерфейсам) привел к разработке большого количества устройств, реализующих широкий спектр принципов регистрации и обработки мозговой активности (Blankertz, 2002; Zhu, 2010; Hochberg, 2012). Однако при текущем уровне развития данного направления приходится констатировать, что скорость, точность, эргономичность и в конечном счете эффективность данного класса устройств существенно по всем параметрам уступают не только “классическим” интерфейсам человек-компьютер (клавиатура, джойстик, мышь), но и альтернативным интерфейсам, основанным на движении глаз пользователя (Туровский, 2017), его мышечной активности (Кисть Микеланджело, Ottobock, 2016), изменению дыхательного паттерна. Одним из путей совершенствования интерфейсов мозг-компьютер (ИМК), наряду с поиском новых физиологических феноменов и совершенствования программно-аппаратных решений, является углубление знаний об уже открытых феноменах, лежащих в основе функционирования ИМК. Одним из таких феноменов являются стабильные (устойчивые, установившиеся) зрительные вызванные потенциалы (steady state visually evoked potentials; SSVEP), в свою очередь служащие основой для одного из самых быстрых и точных ИМК. Являясь электрическим колебанием, близким к гармоническoму (Lin, 2007; Garsia, 2008), SSVEP представляет собой сигнал, детектирование которого не вызывает серьезных сложностей в плане цифровой обработки. Традиционно в большинстве публикаций анализируются показатели точности распознавания тех или иных частот фотостимуляции, которые вызывают появление SSVEP соответствующей частоты (Cecotti, 2010). Работа с интерфейсом, основанным на данных вызванных потенциалах, заключается не только в детекции каких-либо отдельно взятых частот, на которых пользователь сосредоточил свое внимание, но и в учете изменения частотно-временных характеристик вызванного потенциала (ВП) при переключении внимания со светодиода, мигающего с одной частотой, на светодиод, работающий на другой частоте. Очевидно, что наличие особенностей перестройки ЭЭГ-активности, возникающих при этом, могут повлиять на успешность распознавания соответствующего стимула, а следовательно, сказаться на функционировании всего комплекса ИМК (рис. 1).

Рис. 1.

Схема времени обработки ЭЭГ для выделения SSVEP. Пояснения в тексте.

Согласно рис. 1, в варианте а, обработка следующего отрезка времени начинается тотчас по генерации команды, сформированной программным комплексом ИМК после обработки предыдущего отрезка. При этом серый прямоугольник соответствует отрезку времени, когда происходит перестройка ЭЭГ-паттернов с одной частоты фотостимуляции (ФС) на другую. Очевидно, что при этом второй отрезок времени будет “зашумлен” переходным процессом в ВП, что не может не сказаться на точности детекции генерируемой пользователем команды. В варианте б, после генерации команды в программно-аппаратной части интерфейса формируется прерывание сбора и/или обработки данных (серый прямоугольник с черной рамкой) на время, достаточное для того, чтобы обеспечить перестройку SSVEP с одной частоты на другую. Подобную перестройку с SSVEP одной частоты на другую в дальнейшем будем называть р-SSVEP. При этом доля времени, содержащая переходный процесс, существенно снижена. Следовательно, информация, содержащая только параметр успешности распознания SSVEP на заданной частоте в фоновой ЭЭГ, является недостаточной. Необходимо оценить переходные процессы, возникающие при перестройке режима фотостимуляции. Подобный подход был использован, например, в работе (Божокин, 2010). Однако авторы используют свой, оригинальный поправочный коэффициент, для характеристики амплитудно-частотных компонентов сигнала, что делает затруднительным сравнительный анализ с работами, где применялись стандартные подходы в вейвлет-преобразовании (Астафьева, 1996). Предпринимались попытки триггерной фотостимуляции в задачах ИМК (Каплан, 2010).

Цель работы – оценка частотно-временных характеристик SSVEP и р-SSVEP в условиях переключения частоты стимуляции.

МАТЕРИАЛЫ И МЕТОДЫ

В исследовании приняли участие 30 человек обоего пола (14 девушек и 16 юношей) в возрасте от 18 до 24 лет. Все испытуемые ранее не имели опыта управления с использованием ИМК. Фотостимуляция осуществлялась шестью диодами белого цвета (0.5 Вт), расположенными на специальной рамке по краям 21// LCD монитора. Испытуемый располагался в кресле, заняв удобную позу перед монитором на удобном для себя расстоянии (не ближе 0.5 м и не дальше 1.5 м), с задачей внимательно смотреть на любой из светодиодов или группу светодиодов в зависимости от удобства. Тем самым имитировали работу с ИМК. Регистрацию проводили во второй половине дня, начиная с 14 ч. Нейрокомпьютерный (мозг-компьютер) интерфейс являлся синхронным и основывался на детекции SSVEP. Регистрация ЭЭГ осуществлялась “Нейрон-Спектр-4 ВП” производства ООО “Нейрософт” со включенным режекторным фильтром и выключенными фильтрами высоких и низких частот. ЭЭГ активность регистрировалась электродами в позициях O1, O2, Oz, P3, P4, Pz; индифферентным электродом служил объединенный ушной электрод. Фотостимуляцию осуществляли на одной частоте П-образными стимулами всеми диодами без сдвига по фазе. С целью снижения утомления испытуемых было выбрано три серии стимуляции: переход с 9.01 на 13.86 Гц и обратно; с 9.01 на 10.10 Гц и обратно; с 13.86 на 12.65 Гц и обратно. Переключение частот осуществляли в отрезок времени, соответствующий выключенному светодиоду так, что следующий период его свечения соответствовал уже другой частоте. Выбор частот был определен несколькими требованиями: наименьшее общее кратное должно быть максимальным, по сравнению с другими наборами частот, во избежание кратковременной синхронизации при фотостимуляции; число осцилляций должно быть максимально приближенное к целому в одну секунду; не иметь частот, кратных 50 Гц. При этом частотный диапазон ФС должен находиться внутри частотного диапазона альфа-ритма, иметь максимально возможные расстояния между частотами фотостимуляции в частотном пространстве, но не затрагивать нижние частоты альфа-ритма, так как использование их снижает скорость работы ИМК. Порядок серий для каждого испытуемого определялся случайным образом. Таким образом, было реализовано переключение с низких частот фотостимуляции на высокие, с высоких на низкие, а так же два варианта работы при частотах, расположенных относительно близко друг к другу. Предварительные исследования, реализованные на семи испытуемых, не вошедших в основную группу, показали, что при используемом числе накоплений, равном 100, проведение четвертой, пятой и более серий вызывает серьезное утомление и снижение концентрации внимания. Полученный в результате накоплений сигнал для каждой из серий представлял собой двухсекундную последовательность (частота дискретизации 1 кГц, разрядность АЦП 16 бит), где первая секунда соответствовала первой частоте в серии, а вторая – второй.

В качестве методов спектральной обработки рассматривались вейвлет- и чирплет-преобразования. Очевидно, что чирплет, являясь линейно-модулированной по частоте функцией, имеет более широкий спектр, чем, например, вейвлет Морлет, что делает затруднительной физиологическую интерпретацию результатов чирплет-преобразования.

Таким образом, в работе в качестве метода спектральной обработки применялся вейвлет анализ, с действительной частью вейвлета Морлет (ω0 = 2π) в качестве базисной функции. На первом этапе исследования вейвлеты использовались как фильтры исходного сигнала. При этом центральная частота каждого вейвлета подбиралась в соответствии с частотой фотостимуляции. Далее по полученным отфильтрованным сигналам для соответствующих частот строилась огибающая по локальным максимумам сигнала. Оценивалось время, в течение которого сигнал одной частоты по амплитуде огибающей превосходил сигнал другой для состояния до изменения и после изменения частоты фотостимуляции.

Полученные в результате непрерывного вейвлет-преобразования коэффициенты (называемые коэффициентами вейвлет-преобразования) возводились в квадрат. Получившаяся поверхность в пространстве масштаб вейвлет-преобразования (величина обратная частоте) – время, содержит цепочки локальных максимумов (ЦЛМ). Это области, где наиболее выражены амплитуды квадратов коэффициентов вейвлет-преобразования (рис. 2) и, следовательно, в исходном сигнале выражен соответствующий пул частот. Исследовался диапазон от 7 до 40 Гц. На рис. 2 представлены локальные максимумы квадратов коэффициентов вейвлет-преобразования, вертикальная линия на 1000 мс разделяет две частоты фотостимуляции (9.01 и 10.10 Гц). Области а и б соответствуют краевым эффектам при вейвлет-преобразовании и не учитываются в дальнейшем анализе. Согласно работе (Туровский, 2014) анализировались параметры цепочек локальных максимумов (ЦЛМ) спектров в W2(a,b): частоты их начала и завершения, суммарная длительность. Выделялись четыре типа ЦЛМ (рис. 2), в пределах которых частота локальных максимумов: монотонно нарастала (область 1 соответствует типу 1); – монотонно убывала (область 2 – типу 2); – сначала нарастала, затем держалась на одном уровне и потом убывала (тип 3); – сначала убывала, затем держалась на одном уровне и потом нарастала (тип 4). В работе были выбраны следующие варианты детекции сигнала: 100, 150, 200 мс эпохи анализа с 80- и 60%-ным “заполнением” для каждой. Иными словами, например, при 200 мс скользящем окне в 80% от времени в означенной временной локализации (160 мс) должен присутствовать частотный пик соответствующего сигнала, сформированный одной или несколькими ЦЛМ.

Рис. 2.

Структура локальных максимумов накопленного SSVEP. Пояснения в тексте.

В статистическом анализе полученных результатов использовались методы дескриптивной статистики, а учитывая, что распределения большинства показателей не являются нормальными, применялись критерии непараметрической статистики: критерии Крускайла-Уоллеса, Манна-Уитни, Фридмана и Вилкоксона для парных случаев (Рунион, 1982; Гланц, 1998), при этом параметр α принимался равным 5%. Для выявления индивидуальных и групповых особенностей исследуемых показателей применялся кластерный анализ (метод К-средних). Учитывался эффект множественных сравнений.

РЕЗУЛЬТАТЫ

Анализ динамики изменения спектральных компонент ВП во временной области

Полученные результаты представлены в табл. 1. Следует обратить внимание, что для оптимизации представления данных для каждого сравнения выбраны показатели только одной частоты. Действительно, если в течение 744 из 1000 мс огибающая сигнала ЭЭГ с частотой А была выше огибающей сигнала с частотой Б, то в оставшееся время имеет место быть обратная ситуация. Следовательно, например, различия по частотам А симметричных отведений означают различия и для частот Б, не указанных в таблице в явном виде.

Таблица 1.

Сравнение амплитуды исследуемых частот фотостимуляции в структуре SSVEP при изменении частоты воздействия (М ± m)

Серии экспериментов и ЭЭГ-отведения Амплитуда огибающей для частоты 9.01 Гц (А) выше амплитуды огибающей для частоты 13.86 Гц (Б) (мс); эксперимент I Амплитуда огибающей для частоты 9.01 Гц (А) выше амплитуды огибающей для частоты 10.10 Гц (Б) (мс); эксперимент II Амплитуда огибающей для частоты 13.86 Гц (А) выше амплитуды огибающей для частоты 12.65 (Б) (мс); эксперимент III
Первая половина сигнала Вторая половина сигнала Первая половина сигнала Вторая половина сигнала Первая половина сигнала Вторая половина сигнала
Серия №1 (переключение с частоты А на частоту Б) O1 774 ± 37*■ 744 ± 42* 701 ± 36* 604 ± 38* 271 ± 33* 325 ± 37*
O2 691 ± 46* 713 ± 53*♦ 663 ± 41* 610 ± 44* 344 ± 42* 365 ± 37*
Oz 704 ± 48* 698 ± 49* 700 ± 44* 552 ± 38*♦♦ 337 ± 46* 375 ± 38*
P3 793 ± 38*■ 765 ± 38* 721 ± 41* 639 ± 39* 303 ± 37* 277 ± 30*
P4 767 ± 39* 785 ± 37* 747 ± 42* 667 ± 42* 308 ± 44* 307 ± 30*
Pz 734 ± 40* 754 ± 37* 717 ± 39* 637 ± 38* 297 ± 36* 312 ± 31*
Серия №2 (Переключение с частоты Б на частоту А) O1 753 ± 44*■ 788 ± 38* 598 ± 39*■ 679 ± 32* 306 ± 36* 318 ± 35*
O2 715 ± 52* 696 ± 46* 589 ± 50* 663 ± 39* 388 ± 39* 362 ± 36*
Oz 658 ± 60* 727 ± 49* 548 ± 46* 686 ± 39*♦ 358 ± 44* 318 ± 42*
P3 767 ± 41* 774 ± 34* 640 ± 40* 723 ± 34* 303 ± 37* 310 ± 40*
P4 745 ± 43* 765 ± 43* 628 ± 40* 711 ± 38* 315 ± 35* 329 ± 42*
Pz 751 ± 44* 740 ± 39* 581 ± 44* 679 ± 39* 357 ± 35* 314 ± 38*

Примечание: * – p < 0.001 при сравнении с другой частотой в этом же отрезке времени. ■ – p < 0.05 при сравнении c симметричным отведением в этом же эксперименте, ♦ – p < 0.05, ♦♦ – p < 0.001 при сравнении между первой и второй половинами зарегистрированного SSVEP.

При переключении частот фотостимуляции с 9.01 на 13.86 Гц и обратно видно, что сигнал на первой из частот значимо выше, чем на второй даже при фотостимуляции на частоте 13.86 Гц. Вероятно, этот эффект связан с тем, что высокая частота фотостимуляции находится на границе α-ритма, что отрицательно сказывается на ее усвоении. Именно для этих частот наиболее выражена асимметрия реакций между соответствующими отведениями: в левом полушарии низкочастотный компонент SSVEP доминировал большее время. При этом различия в амплитуде отфильтрованных сигналов в зависимости от частоты фотостимуляции наблюдались и для частот 9.01 и 10.10 Гц (отведение Oz), в отличие от более высокочастотных компонентов.

Надо учитывать, что полученные результаты усреднены по выборке, однако известно, что успешность освоения интерфейсов мозг-компьютер разная для разных пользователей, следовательно, необходимо выявить типовые реакции для групп пользователей. Для этого воспользуемся кластерным анализом (метод К-средних), объединив данные со всех отведений всех испытуемых. Проведя разделение на два, три, четыре и пять кластеров установлено, что разделение на более чем три кластера лишь детализирует уже полученные в случае трех кластеров закономерности (рис. 3). В эксперименте I, где взаимодействуют ЭЭГ-реакции на низкочастотные и высокочастотные воздействия, выявлена группа, в которой SSVEP на частоте в 9.01 Гц практически не формировался (кластер 1 – 76 наблюдений). Следует отметить, что кластеризация проводилась не по испытуемым, а по каждому из полученных SSVEP и p-SSVEP. Иными словами, с одного человека было получено шесть наблюдений в соответствии с числом каналов регистрации сигнала. Кластер 2 (133 наблюдений) и кластер 3 (139 наблюдений) продемонстрировали доминирование в ВП частоты 9.01 Гц вне зависимости от фотостимуляции (один испытуемый был исключен из рассмотрения по причине наличия “выбросов” данных, формирующих отдельный кластер). В случае высокочастотной фотостимуляции (эксперимент III) сформировался компактный кластер, при этом ФС на частоте в 12.65 Гц вновь выделила кластер 1 в отдельную группу, в которой продемонстрирована чувствительность к отсутствию ФС на исследуемой частоте (и присутствию частоты 13.86 Гц). В эксперименте II (две близко расположенные низкие частоты) каждый из кластеров продемонстрировал свои особенности. Кластер 3 снизил выраженность частоты 9.01 Гц при отсутствии ФС. Реакция кластера 2 обратная – отсутствие ФС приводит к выраженному увеличению амплитуды соответствующей частоты, и наконец, кластер 1 не показал динамики в зависимости от ФС.

Рис. 3.

Результаты кластерного анализа для трех экспериментов с переключением частот фотостимуляции. (ФС) – проводилась фотостимуляция на указанной частоте; (–) – фотостимуляция на указанной частоте не проводилась, осуществлялась фотостимуляция на другой частоте в соответствии с протоколом эксперимента; *** – р < 0.001, ** – p < 0.01.

Кластеризация проходила по всем отведениям, используемым в эксперименте, следовательно, доля тех или иных каналов ЭЭГ-записи, сформировавших кластер, может быть различна. Рассмотрим распределение каналов для каждого из кластеров. Сравнение с использованием критерия χ2 частот встречаемости каждого из каналов в кластерах показало тенденцию к различию (p = = 0.08). Для выявления возможных различий отведения были сгруппированы в “теменные” и “затылочные”. В этом случае различия между частотами встречаемости отведений в кластерах статистически значимы (р < 0.005). При этом кластеры 2 и 3, будучи наиболее многочисленными, продемонстрировали противоположное распределение каналов (рис. 4) в зависимости от серии эксперимента. Кластер 1 в значительной степени сформировал затылочные отведения, что подтверждает гипотезу о плохом усвоении высокочастотного ритма (13.86 Гц) испытуемыми, чьи сигналы сформировали эту группу.

Рис. 4.

Распределение отведений (каналов) по кластерам.

Поскольку кластеризация проходила по показателю времени, в течение которого одна из частот в SSVEP – p-SSVEP превышала другую, то полученные результаты можно интерпретировать как функциональное разделение каналов ЭЭГ по ответу на фотостимуляцию. К примеру, кластер 2 сформирован преимущественно по принципу максимальной реакции в сериях экспериментов, где осуществлялось переключение частот с 13.86 на 9.01 Гц (эксперимент I), с 10.10 на 9.01 Гц (эксперимент II) и с 12.65 на 13.86 Гц (эксперимент III). Обратная ситуация с кластером 1.

Сравнение частотно-временной структуры переходных процессов при изменении частоты фотостимуляции

С практической точки зрения наиболее важным является не только разделение пользователей по реакции на ФС, или же топографическое картирование ответов, но и время, которое занимает перестройка частотно-временного паттерна. Очевидно, что этот показатель является важным лимитирующим значением для скорости работы интерфейса мозг-компьютер. Действительно, если перестройка занимает достаточно большое время, то возможна ситуация, когда интерфейс не сможет работать с требуемой скоростью или же точностью, поскольку в процессе формирования p-SSVEP будут появляться новые частоты, которые могут быть ошибочно интерпретированы программно-аппаратными решениями интерфейса как команды. Рассмотрим рис. 5, где продемонстрирован пример структуры локальных максимумов квадратов вейвлет-коэффициентов, сформированных при изменении частоты фотостимуляции, которой соответствует нулевой отсчет времени. Текущая частота фотостимуляции составила 10.10 Гц, при коридоре поиска частотного пика, отнесенного к данной частоте от 9.7 до 10.6 Гц. Следует обратить внимание, что частоты при вейвлет-преобразовании изменяются нелинейно: лучшее разрешение по частоте находится как раз в области более низких частот. Вертикальный маркер А соответствует выполнению условия, когда в течение 100 мс был детектирован частотный пик в искомом диапазоне на вейвлет-диаграмме. При этом данная последовательность сфoрмирована несколькими ЦЛМ разных типов (в данном случае первого и второго).

Рис. 5.

Выявление частотно-временных областей SSVEP, содержащих частотные пики, порожденные фотостимуляцией. Пояснение в тексте.

Латентное время появления данных выраженных частотных компонент для исследуемых сигналов колебалось от 150 до 420 мс, однако различий по отведениям, частотам и экспериментам выявить не удалось. Также не удалось выявить различий в зависимости от процента “заполнения” сигналом заданного временного отрезка. При этом следует обратить внимание, что искомый сигнал детектировался не у всех 29 испытуемых (табл. 2). В ряде случаев число людей, генерирующих сигнал требуемой частоты после изменения режима фотостимуляции, было значительно ниже. Так, при 80%-ном “заполнении” число пользователей, у которых бы был детектирован сигнал в искомом частотном диапазоне, значимо меньше, чем при 60%-ном заполнении, что является очевидным следствием более низких требований к наличию частотных компонентов в сигнале. В то же время увеличение эпохи анализа приводит к снижению числа наблюдений SSVEP заданной частоты. Данный феномен наблюдался для всех экспериментов и может быть интерпретирован как неустойчивость в частотном пространстве исследуемого паттерна. Из рис. 5 видно, что ЦЛМ 1- и 2-го типов формируются в частотных диапазонах, значительно превышающих диапазон, в котором детектируется сигнал. Это приводит к формированию областей времени, в которых частотный пик отсутствует, что и приводит к снижению числа наблюдений при увеличении эпохи анализа, поскольку требует большего (в абсолютном значении) времени нахождения частотного пика в исследуемом диапазоне. Сравнение двух частот (9.01 и 13.86 Гц) ФС, которые применялись в двух разных экспериментах, показало, что для первой из них различия во встречаемости среди испытуемых отсутствуют. В то же время для второй частоты эти различия были статистически значимыми, но только в случае 80% “заполнения”: частота детекции сигнала при переходе от низкой частоты ФС к высокой была значимо ниже, чем при переключении с относительно высокой частоты (12.65 Гц) на близко расположенную (13.86 Гц). Возможно, здесь имеет место сохранение частотных компонент от сигнала при ФС в 12.65 Гц, которые частично присутствуют в достаточно близком частотном диапазоне. При 60%-ном заполнении установлено, что число сигналов, детектированных для всех эпох анализа в парах частот ФС 9.01–13.86 и 13.86–12.65 Гц, менялось в зависимости от частоты ФС. В обоих случаях высокочастотный компонент идентифицировался лучше, чем низкочастотный. При сравнении с результатами экспериментов, где ФС была представлена частотами 9.01 и 10.10 Гц, видно, что в последнем случае различия касались только эпохи анализа в 100 мс. При больших отрезках различия не наблюдались, что опять же можно объяснить наличием близкорасположенных частот SSVEP, которые могут “маскировать” друг друга при изменении режима ФС, т.е. формировании p-SSVEP. Отсутствие различий в частотах одной серии экспериментов для 80%-ного заполнения может быть объяснено низкой чувствительностью статистических критериев в связи с небольшим числом наблюдений.

Таблица 2.

Число детектированных ЦЛМ в заданных частотных диапазонах при ФС

“Заполнение” 60%
Экспери-мент I O1 O2 Oz P3 P4 Pz O1 O2 Oz P3 P4 Pz
9.01 Гц* 13.86Гц*♦
100● 16 15 11 16 14 10 26 21 23 24 22 26
150● 9 11 6 8 10 7 19 17 17 19 17 19
200● 5 7 3 6 4 5 10 12 15 11 12 12
Экспери- мент II 9.01 Гц * 10.10 Гц *
  100● 11 17 16 14 17 17 22 17 19 20 20 20
150 7 13 11 12 11 10 18 9 13 14 13 12
200 5 8 8 11 8 8 11 6 12 8 9 9
Эксперимент III 13.86 Гц *♦ 12.65* Гц
100● 28 24 24 25 27 26 22 19 22 23 25 23
150● 25 22 20 20 21 21 17 15 17 15 17 16
200● 19 20 16 16 17 14 14 12 15 11 12 11
“Заполнение” 80%
Эксперимент I 9.01 Гц * 13.86 Гц*♦
 100● 13 10 9 8 9 11 5 5 3 5 5 1
150 3 9 7 2 4 4 2 1 1 3 2 1
200 2 5 6 2 2 2 1 0 0 3 1 1
Эксперимент II 9.01 Гц * 10.10 Гц *
100 9 6 9 9 9 8 4 8 6 10 6 8
150 3 2 4 1 4 3 2 4 3 3 2 4
200 1 0 3 0 4 1 0 2 1 3 1 0
Эксперимент III 13.86 Гц* 12.65 Гц *
100 10 10 14 9 13 8 17 15 13 12 14 14
150 8 7 10 4 6 5 6 10 7 6 5 7
200 3 3 4 4 3 3 4 8 6 5 3 4

Примечание: * – р < 0.01 различия в зависимости от эпохи анализа при одной частоте и одном эксперименте; ♦ – р < 0.01 различия по одной и той же частоте в разных экспериментах; ● – р < 0.01 различия по одной и той же эпохе анализа для разных частот ФС.

Сравнивая данные, полученные при вейвлет-фильтрации и при детекции частот на основе ЦЛМ, нетрудно заметить, что в первом случае лучше детектируются низкие частоты, во втором – высокие. Данные различия можно объяснить тем, что в случае вейвлет-фильтрации анализируется только один масштаб вейвлет-преобразования, т.е. одна пиковая частота. В случае оценки на основе ЦЛМ выбирается частотный диапазон, и анализируется представление данной частоты без сравнения с другими частотами. Иными словами, оценивается только факт наличия в данном диапазоне ЦЛМ.

ЗАКЛЮЧЕНИЕ

В работе проведен анализ SSVEP и переходных процессов в условиях изменения частоты фотостимуляции, что имитирует работу с интерфейсом мозг-компьютер. Показано, что в случае переключения частоты фотостимуляции с 9.01 на 13.86 Гц и обратно амплитуда огибающей сигнала после вейвлет-фильтрации на первой из частот значимо выше, чем на второй, даже при фотостимуляции на частоте 13.86 Гц. При этом различия в амплитуде отфильтрованных сигналов в зависимости от частоты фотостимуляции наблюдались для частот 9.01 и 10.10 Гц, в отличие от более высокочастотных компонентов. Метод К-средних выявил три кластера, различающихся особенностями реакции на ФС и распределениями каналов ЭЭГ, ее демонстрирующих.

Установлено, что в ряде случаев число людей, генерирующих сигнал требуемой частоты после изменения режима фотостимуляции, было значительно ниже 100%, вплоть до случаев полного отсутствия детекции сигнала. При этом увеличение эпохи анализа приводит к снижению числа наблюдений SSVEP заданной частоты. Сравнение двух частот (9.01 и 13.86 Гц), участвующих в двух разных экспериментах, показало, что для первой различия во встречаемости среди испытуемых отсутствуют. В то же время для второй частоты эти различия были статистически значимыми: частота детекции сигнала при переходе от ФС с низкой частотой к высокой была значимо ниже, чем при переключении с относительно высокой частоты (12.65 Гц) на близко расположенную (13.86 Гц). Установлено, что число сигналов, детектированных для всех эпох анализа в парах частот ФС 9.01–13.86 и 13.86–12.65 Гц, зависело от частоты ФС. В обоих случаях высокочастотный компонент идентифицировался лучше, чем низкочастотный. При сравнении с результатами, где ФС представлена частотами 9.01 и 10.10 Гц, установлено, что различия касались только эпохи анализа в 100 мс.

Полученные результаты расширяют представление о формировании SSVEP при изменении частот фотостимуляции и могут быть использованы при конструировании синхронных интерфейсов мозг-компьютер, основанных на данном электрофизиологическом феномене.

Работа выполнена при поддержке РФФИ (грант № 16-29-08342-офи_м).

Список литературы

  1. Астафьева Н.М. Вейвлет-анализ: основы теории и примеры применения. Успехи физических наук. 1996. Т. 166. № 11. С. 1145–1170.

  2. Божокин С.В. Вейвлет-анализ динамики усвоения и забывания ритмов фотостимуляции для нестационарной электроэнцефалограммы. Журнал технической физики. 2010. Т. 80. № 9. С. 16–24.

  3. Гланц С. Медико-биологическая статистика. М. Практика, 1998. 459 с.

  4. Каплан А.Я., Жигалов А.Ю. Динамика альфа-активности электроэнцефалографии у человека при триггерной фотостимуляции в контуре интерфейса мозг-компьютер. Бюллетень сибирской медицины. 2010. Т. 9. № 2. С. 7–11.

  5. Кисть Michelangelo. URL: https://www.ottobock.ru/prosthetics/upper-limb-prosthetics/solution-overview/michelangelo-hand/ (дата обращения: 20.06.2018).

  6. Рунион Р. Справочник по непараметрической статистике. Современный подход. М. Финансы и статистика, 1982. 198 с.

  7. Туровский Я.А., Кургалин С.Д., Алексеев А.В. Анализ движения глаз человека при управлении самоходным шасси с использованием системы видеоокулографического интерфейса. Сенсорные системы. 2017. Т. 31. № 1. С. 51–58.

  8. Туровский Я.А., Кургалин С.Д., Семенов А.Г. Динамика цепочек локальных максимумов спектров электроэнцефалограмм человека. Биофизика. 2014. Т. 59. № 1. С. 185–190. https://doi.org/10.1134/S0006350914010242

  9. Blankertz B., Curio G., Müller K.R. Classifying Single Trial EEG: Towards Brain Computer Interfacing. Advances in Neural Inf. Proc. Systems (NIPS 01). 2002. V. 14. P. 157–164.

  10. Cecotti H., Volosyak I., Graser A. Reliable visual stimuli on LCD screens for SSVEP based BCI. 18th European Signal Processing Conference. 2010. P. 919–923.

  11. Garcia G. High frequency SSVEPs for BCI applications. Computer-Human Interaction. Florence. 2008. V. 4.

  12. Hochberg L.R., Bacher D., Jarosiewicz B., Masse N.Y., Simeral J.D., Vogel J., Haddadin S., Liu J., Cash S.S., Smart P., Donoghue J.P. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature. 2012. V. 485. № 7398. P. 372–375.

  13. Lin Z., Zhang C., Wu W., Gao X. Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs. IEEE transactions on biomedical engineering. 2007. V. 53(12). P. 2610–2614.

  14. Zhu D., Bieger J., Molina G.G., Aarts R.M. A Survey of Stimulation Methods Used in SSVEP-Based BCIs. Computational Intelligence and Neuroscience. 2010. P. 1–12. https://doi.org/10.1155/2010/702357

Дополнительные материалы отсутствуют.