Журнал высшей нервной деятельности им. И.П. Павлова, 2023, T. 73, № 6, стр. 764-784
Продление мозговой активации в ответ на стимул как вероятный механизм ассоциативной пластичности при семантическом научении
Б. В. Чернышев 1, 2, *, А. А. Павлова 1, 3, А. М. Рытикова 1, А. В. Буторина 1, 4, Т. А. Строганова 1
1 Центр нейрокогнитивных исследований (МЭГ-центр),
Московский государственный психолого-педагогический университет
Москва, Россия
2 Кафедра высшей нервной деятельности,
Московский государственный университет им. М.В. Ломоносова
Москва, Россия
3 Департамент психологии, Национальный исследовательский университет
Высшая школа экономики
Москва, Россия
4 Центр нейробиологии и нейрореабилитации, Сколковский институт науки и технологий
Москва, Россия
* E-mail: b_chernysh@mail.ru
Поступила в редакцию 23.06.2023
После доработки 28.08.2023
Принята к публикации 31.08.2023
- EDN: BBRFDQ
- DOI: 10.31857/S0044467723060035
Аннотация
Считается, что запоминание смысла новых слов речи происходит благодаря ассоциативному обучению. Например, именно так слова, обозначающие движения, могут сопоставляться с соответствующими моторными актами. Известно, что синаптическая пластичность в мозге развивается при условии совпадения во времени активности клеточных ансамблей, репрезентирующих ассоциируемые события. Однако в реальности при выработке подобных ассоциаций возможен значительный разрыв во времени между ассоциируемыми событиями, нарушающий условия возникновения синаптической пластичности. Мы предположили, что необходимые условия для развития синаптической пластичности в мозге могут создаваться благодаря тому, что активность нейронных репрезентаций продлевается во времени, и тем самым обеспечивается требуемое перекрытие во времени на уровне нейронных ансамблей. Чтобы проверить это предположение, мы регистрировали магнитоэнцефалограмму у добровольных участников во время выработки ассоциаций между псевдословами и движениями четырьмя конечностями. Результаты исследования показывают, что при выработке новых ассоциаций действительно происходит значимое удлинение слухоречевой активации, вызванной стимулом. Таким образом, во время выработки ассоциации в мозге действительно могут создаваться условия для развития Хеббовской пластичности, даже если ассоциируемые события разнесены во времени.
ВВЕДЕНИЕ
В настоящее время предполагается, что запоминание новых слов речи основано на нейробиологических механизмах ассоциативного обучения (Barsalou, 2003; Pulvermüller, 2005, 2018), т.е. при обучении смыслу слов развиваются процессы синаптической пластичности, связывающие две репрезентации. Например, в случае обучения смыслу слов, обозначающих движения, это может быть ассоциирование звучащего слова с выполнением физического движения. Если соответствующие популяции нейронов в слуховой и моторной областях активируются одновременно, то это может приводить к усилению синаптических связей и формированию распределенных клеточных ансамблей (Hebb, 1949). После развития таких пластических перестроек изолированное предъявление слухового стимула начинает активировать обе популяции нейронов.
Косвенным доказательством применимости принципа Хеббовского обучения к человеческой речи послужили результаты нейровизуализации ассоциативной реактивации в слуховых и соматотопически организованных моторных областях коры головного мозга, вызванной слуховыми предъявлениями слов, обозначающих действия (см., например, Shtyrov et al., 2014). Кроме того, реализация данного принципа была подтверждена вычислительным моделированием обучения словам, обозначающим действия (Tomasello et al., 2017). Однако в этих исследованиях использовались реальные слова языка, которые были хорошо знакомы участнику эксперимента, а исследований ассоциативной пластичности, формирующейся непосредственно в ходе эксперимента при установлении новой ассоциации между слуховыми псевдословами и конкретными действиями, в литературе крайне мало (см. обзор Разоренова et al., 2020).
Более того, насколько нам известно, ни в одном из этих исследований не рассматривались изменения в нейронной активности в условиях, когда ассоциируемые события разнесены во времени (например, Naya et al., 2003). Между тем такие исследования могли бы прояснить нерешенные вопросы относительно предполагаемых механизмов ассоциативного обучения словам, которые основываются на временны́х корреляциях между слуховым предъявлением слов и моторными действиями.
Слабым местом упомянутых выше современных представлений об ассоциативной природе механизма установления соответствий между словами и действиями как раз является то допущение, что слуховая активация, вызванная соответствующим словом-действием, и моторные команды в моторной коре происходят практически одновременно (см., например, Pulvermüller, 2018). Однако в естественной среде при подобном обучении слово и ассоциируемое с ним действие могут не совпадать во времени – с расхождением до нескольких секунд или более – что заведомо больше допустимого для формирования Хеббовской пластичности. Таким образом, чтобы объяснить обучение словам, обозначающим действия, через ассоциативную синаптическую пластичность, необходимо понять нейрофизиологические механизмы, которые позволяют синаптической пластичности развиваться несмотря на такое существенное расхождение ассоциируемых событий во времени.
Один из подходов к решению этой проблемы заключается в предположении, что в процессе выработки ассоциации между словом и действием новые слова начинают вызывать более длительные слуховые ответы, позволяющие обеспечить совпадение во времени с моментом инициации соответствующей моторной команды. Со времен идеи Д. Хебба (Hebb, 1949), выдвинутой более 50 лет назад, существует гипотеза, что активность поддерживается за счет синаптической реверберации в рекуррентных цепочках связей между нейронами (Shu et al., 2003).
Эта возможность была подтверждена работами с регистрацией активности одиночных нейронов на обезьянах, в которых действительно удалось продемонстрировать устойчивое возбуждение в нейронах височных областей коры во время выполнения задачи на удержание зрительного образа в кратковременной памяти (Miyashita, Chang, 1988). В этот процесс могут вовлекаться нисходящие пути из лобной коры, которые инициируют ретроспективное удержание сенсорной репрезентации, релевантной в рамках текущей задачи. Роль префронтальной коры в предвосхищении событий и их интеграции во времени хорошо описана в исследованиях на обезьянах (Funahashi et al., 1989; Fuster, Bressler, 2015; Quintana, Fuster, 1999). Это позволяет ожидать, что активность слуховой коры в мозге человека будет возрастать в процессе формирования слухо-моторной ассоциации одновременно с выработкой правила, связывающего предъявляемые слуховые стимулы с соответствующими моторными ответами.
Такая гипотеза ретроспективной активации позволяет предсказать, что длительность нейронного ответа, вызванного предъявлениями нового слова, для которого вырабатывается ассоциация с определенным действием, должна увеличиваться по мере формирования такой ассоциации. Таким образом, можно предположить, что в процессе обучения будет происходить усиление и удлинение слухоречевой активации в височных областях.
В данном исследовании с помощью магнитоэнцефалографии (МЭГ) мы изучили вопрос, ведет ли активное формирование ассоциации между псевдословами и действиями к соответствующим изменениям мозговой активности после предъявления слухового стимула.
Наше недавнее исследование с помощью МЭГ у взрослых людей позволило изучить быстрое формирование ассоциации между псевдословами и действиями, происходящее непосредственно в ходе эксперимента (Razorenova et al., 2020). Мы показали, что пассивное прослушивание псевдослов, ранее ассоциированных с определенными двигательными действиями, вызывает специфическую дифференциальную активацию мозга в слуховых и других речевых областях левого полушария, по сравнению с аналогичными псевдословами, предъявлявшимися такое же количество раз, но без выработки ассоциации с действиями (Razorenova et al., 2020). Возникновение таких различий в нейронном ответе доказывает, что активное обучение ассоциации приводит к развитию быстрой кортикальной пластичности в слуховой коре взрослого человека; данный результат явился необходимой предпосылкой для проведения настоящего исследования.
Настоящая работа направлена на то, чтобы исследовать непосредственно процесс обучения, который может обеспечивать возможность обнаруженной нами пластичности; поэтому в настоящей работе мы анализировали фазы активного обучения и выполнения в том же эксперименте (Razorenova et al., 2020). Участникам экспериментов предъявляли набор из восьми псевдослов, ассоциируемых и не ассоциируемых с действием в ходе эксперимента; связь этих псевдослов с движением различных частей тела или бездействием постепенно устанавливалась участниками путем обучения методом проб и ошибок. Мозговую активность сравнивали между ранней и продвинутой стадиями ассоциативного обучения. Мы ожидали, что будет наблюдаться усиление и продление активации, вызванной слуховым стимулом, на продвинутой стадии обучения по сравнению с ранней стадией.
МЕТОДИКА
Участники эксперимента
Двадцать девять участников, для которых русский язык является родным, правши, добровольно приняли участие в исследовании (средний возраст 24.7 года, диапазон 19–33 года, 18 мужчин). Все участники имели нормальный слух и не страдали от неврологических или психиатрических расстройств. Исследование проводилось в соответствии с этическими принципами проведения экспериментов на человеке (Хельсинкская декларация) и было одобрено Этическим комитетом Московского государственного психолого-педагогического университета. Все участники подписали информированное согласие перед началом эксперимента.
Стимулы и процедура эксперимента
Слуховые стимулы (псевдослова) были разработаны таким образом, чтобы их акустические и фонетические свойства были уравновешены (подробное описание см. в Razorenova et al., 2020). Мы использовали слоги, составленные из одной согласной и одной гласной (CV), и составили из них восемь двуслоговых (C1V1C2V2) бессмысленных псевдослов. Во время процедуры ассоциативного обучения четыре из этих слов-стимулов ассоциировались с уникальным действием, выполняемым одной из четырех конечностей тела (псевдослова, связанные с движением, ДВ) – т.е., собственно, “слова”, приобретавшие смысл), а остальные четыре обозначали отсутствие двигательной реакции (псевдослова, не связанные с движением, НДВ).
В псевдословах, созданных для настоящего эксперимента, первые две фонемы (C1V1) образуют слог “хи” [xʲˈi], который был идентичен для всех использованных псевдослов. Следующие две фонемы (C2 и V2) были сбалансированы между стимулами ДВ и НДВ таким образом, чтобы еспечить полное совпадение акустических и фонетических характеристик между двумя типами стимулов (таблица 1). Третья фонема (C2), согласные “ч” [ t͡ɕ ], “ш” [ʂ], “с” [s̪], “в” [v], встречались как в ДВ, так и в НДВ стимулах и сигнализировали о том, какую конечность испытуемый должен использовать (правую руку, левую руку, правую ногу или левую ногу). Четвертая фонема (V2: гласная “а” [ə] или “у” [ʊ]) была уравновешена между условиями ДВ и НДВ. Таким образом, только четвертая фонема позволяла однозначно распознать все псевдослова. Ее начало в дальнейшем будет называться “точкой дизамбигуации” (рис. 1 (в)).
Таблица 1.
Соответствие между стимулами и поведенческими ответами в экспериментальной ассоциативной задаче Table 1. Correspondence between stimuli and behavioral responses in the experimental associative task
| Псевдослова, ассоциируемые с движением (ДВ) | Псевдослова, не ассоциируемые с движением (НДВ) | ||
|---|---|---|---|
| псевдослово | движение | псевдослово | движение |
| хи́ча | Левой рукой | хи́чу | Без движения |
| хи́шу | Левой ногой | хи́ша | Без движения |
| хи́са | Правой ногой | хи́су | Без движения |
| хи́ву | Правой рукой | хи́ва | Без движения |
Рис. 1.
Процедура эксперимента. (а) – Последовательность экспериментальных блоков. (б) – Временная структура пассивных и активных экспериментальных блоков. (в) – Примеры псевдослов, использовавшихся в качестве стимулов в эксперименте (“хиву” и “хива”, слева и справа соответственно). Нулевое значение на временной шкале и вертикальная сплошная линия обозначают начало четвертой фонемы (точка дизамбигуации псевдослов); вертикальная пунктирная линия обозначает начало третьей фонемы. Fig. 1. Experimental procedure. (а) – Sequence of experimental blocks. (б) –Temporal structure of passive and active experimental blocks. (в) – Examples of pseudoword stimuli used in the experiment (“hivu” and “hiva”, on the left and right, respectively). Zero value on the timeline and a vertical solid line denote the beginning of the fourth phoneme (point of disambiguation of the pseudowords); a vertical dotted line denotes the onset of the third phoneme.
Как видно из табл. 1, фонетический состав стимулов и сопоставление стимула с реакцией соответствовали полному внутрисубъектному плану контрбалансировки в отношении третьей и четвертой фонем, а также в отношении движений левыми/правыми и верхними/нижними конечностями.
Все стимулы были записаны в цифровом формате женским голосом носителем русского языка в звукоизолированной кабине. Все псевдослова произносились с ударением на первый гласный “и”. Амплитуда звукозаписей была выровнена по максимальной мощности. Кросс-склейка и нормализация записанных стимулов проводилась с помощью программы Adobe Audition CS6.5. Средняя продолжительность псевдослова составляла около 530 мс.
В качестве сигналов положительной и отрицательной обратной связи использовали два неречевых звука, длительностью около 400 мс каждый.
Двигательные ответы, выполняемые руками, регистрировали с помощью кнопок (пакет 932, CurrentDesigns, США), на которые участники эксперимента нажимали большими пальцами правой или левой руки, а движения ног регистрировали с помощью педалей, нажимаемых носками правой или левой ноги (табл. 1). Ответы, записанные с педалей и кнопок, автоматически маркировались как “правильные” или “ошибочные” после каждой реализации в соответствии с правилами задачи (см. ниже).
В течение всего эксперимента участники удобно сидели в кресле в аппарате МЭГ в экранированной комнате (см. ниже). Псевдослова предъявляли бинаурально через пластиковые ушные трубки в чередующемся квазислучайном порядке, при уровне громкости 60 дБ УЗД. Эксперимент проводился с использованием программного обеспечения Presentation 14.4 (Neurobehavioral systems, Inc., Albany, CA, США).
Эксперимент состоял из четырех блоков: (1) пассивное прослушивание до обучения, (2) активное обучение, (3) активное выполнение и (4) пассивное прослушивание после обучения (рис. 1 (а)). Весь эксперимент длился около 2 ч. В настоящей работе мы проанализировали данные по двум активным блокам (результаты по пассивным блокам были представлены ранее в Razorenova et al., 2020).
После завершения первого пассивного блока участникам зачитывали инструкцию, что во время следующих активных блоков они должны установить однозначную ассоциацию между каждым из представленных восьми псевдослов и движениями своих собственных рук и ног. Для этого они должны либо ответить на каждое псевдослово, используя одну из четырех конечностей тела, либо воздержаться от двигательного ответа. После этого они прослушивали сигналы положительной и отрицательной обратной связи, сообщавшие им о правильности или ошибочности действия. Данная поведенческая процедура предполагала перебор участниками различных движений и, в конечном итоге, выбор тех, которые приводили к положительному подкреплению, что соответствует оперантному обучению (Neuringer, 2002).
Во время активных блоков участников просили удерживать взгляд на фиксационном кресте в центре экрана, с целью предотвращения артефактов, вызванных движениями глаз. Восемь псевдослов предъявляли в псевдослучайном порядке. Сигнал обратной связи подавали во всех реализациях активных блоков. Положительная обратная связь давалась, если участник выполнял правила задачи, т.е. производил правильное движение на стимул ДВ и не совершал никакого движения на стимул НДВ (табл. 1). Отрицательная обратная связь следовала за тремя видами ошибок: (1) отсутствие ответа на ДВ; (2) двигательный ответ на ДВ, выполненный “неправильной конечностью”; (3) любой ответ на НДВ.
Сигнал обратной связи предъявляли через 2000 мс после окончания псевдослова (рис. 1 (б)). Интервал между реализациями (от окончания стимула обратной связи до начала следующего псевдослова) варьировался случайным образом в пределах от 2000 до 2500 мс.
Количество стимулов в блоке активного обучения зависело от скорости обучения каждого участника: блок заканчивали, если участник достигал критерия обучения или если всего было предъявлено 480 стимулов – в зависимости от того, что наступало раньше. Критерий обучения подразумевал, что участник давал правильные ответы по крайней мере в четырех из пяти последовательных предъявлений каждого из восьми псевдослов. Двое участников не достигли критерия обучения и, таким образом, прошли через все 480 реализаций в блоке обучения. Учитывая, что общий процент правильных ответов во время следующего блока активного выполнения у этих участников был в тех же пределах, что и для остальных, мы не стали исключать их из дальнейшего анализа.
В следующем блоке активного выполнения участникам предлагалось повторить ту же процедуру. Единственное различие между двумя активными блоками заключалось в том, что блок активного выполнения включал фиксированное количество 320 реализаций и длился около 30 мин.
Участникам предлагались короткие перерывы между блоками.
Регистрация магнитоэнцефалографических данных
Эксперименты проводили в электромагнитно и акустически экранированной комнате (AK3b, Vacuumschmelze GmbH, Германия). МЭГ регистрировали с помощью dc-SQUID системы Neuromag VectorView (Elekta-Neuromag, Финляндия), которая имеет 306 каналов МЭГ (204 планарных градиентометра и 102 магнитометра). МЭГ-сигналы записывали с полосовым фильтром 0.1–330 Гц, оцифровывали с частотой 1000 Гц и сохраняли для последующего анализа.
Форму головы участников измеряли с помощью системы 3Space Isotrack II System (Fastrak Polhemus, Colchester, США) путем оцифровки трех анатомических опорных точек (назион, левая и правая преаурикулярные точки) и дополнительных случайно распределенных 60–100 точек на коже головы. Положение и ориентация головы постоянно контролировались во время записи МЭГ с помощью четырех HPI-катушек.
Биологические артефакты и другие источники магнитного поля, возникающие вне головы, удаляли из данных МЭГ с помощью метода временного разделения сигналов и пространства (Temporal Signal-Space Separation Method, tSSS) (Taulu et al., 2005), реализованного в программе MaxFilter (штатное программное обеспечение Elekta Neuromag). Для дальнейшего анализа на уровне сенсоров данные МЭГ преобразовывали в стандартное положение головы (x = 0 мм; y = 0 мм; z = 45 мм).
Коррекцию биологических артефактов (вызванных движениями глаз, морганиями и биениями сердца) проводили на непрерывных данных в программе Brainstorm (Tadel et al., 2011) с использованием алгоритма SSP (Uusitalo, Ilmoniemi, 1997).
Для того чтобы исключить из анализа эпохи (от –500 до 1500 мс относительно начала псевдослова, см. ниже) с мышечными артефактами, мы вычислили средние абсолютные значения сигнала, отфильтрованного выше 60 Гц на каждом канале. Эпохи, в которых максимальные амплитуды на более чем четверти каналов превышали 5 стандартных отклонений от среднего значения по всем каналам, были исключены из анализа.
Поведенческие показатели
Показатели выполнения задачи участниками эксперимента оценивали как (1) среднее количество правильных ответов на четыре псевдослова, ассоциируемые с движениями (ДВ), и четыре псевдослова, которые не были ассоциированы с движениями (НДВ, правильным ответом считалось отсутствие движения), и (2) среднее время реакции при выполнении моторного ответа (ДВ) на псевдослова; оба показателя оценивали отдельно в двух активных блоках, т.е. на ранней и продвинутой стадиях активного обучения (условия РСО и ПСО соответственно) (табл. 2). Для построения кривых обучения мы вычисляли накопленные значения количества правильных ответов в пределах каждого блока как функцию номера реализации в данном блоке (см., например, Gallistel et al., 2004). Наклон такой кривой показывает текущий уровень выполнения задачи. Для визуализации общего хода обучения и асимптотического уровня успеваемости на групповом уровне мы также построили график доли испытуемых, дававших правильные ответы в условиях РСО и ПСО соответственно (рис. 2).
Таблица 2.
Поведенческие показатели выполнения задачи Table 2. Behavioral measures of task performance
| Поведенческие показатели | Активное обучение (активный блок 1)1 | Активное выполнение (активный блок 2)1 | Активное обучение против активного выполнения, тест Стьюдента | |
|---|---|---|---|---|
| T(28) | p | |||
| Правильные ответы на псевдослова, ассоциируемые с движением (%) | 68 ± 9.6 | 95.6 ± 5.4 | –13.2 | <0.0001 |
| Правильные ответы (т.е. отсутствие движения) на псевдослова, не ассоциируемые с движением (%) | 68.1 ± 7.1 | 97.2 ± 4.1 | –20.2 | <0.0001 |
| Правильные ответы в целом (%) | 68 ± 6.2 | 96.4 ± 4 | –22.2 | <0.0001 |
| Ошибки: неверное движение на псевдослова, ассоциируемые с движением (%) | 16.1 ± 5.9 | 1 ± 1.4 | 12.5 | <0.0001 |
| Ошибки: отсутствие движения на псевдослова, ассоциируемые с движением (%) | 15.9 ± 7.1 | 3.4 ± 5.1 | 8.0 | <0.0001 |
| Ошибки: ложные тревоги на псевдослова, не ассоциируемые с движением (%) | 31.9 ± 7.1 | 2.8 ± 4.1 | 20.2 | <0.0001 |
| Время ответа (мс) | 1492.5 ± 101.1 | 1352.9 ± 116.3 | 8.4 | <0.0001 |
Рис. 2.
Выработка ассоциаций между псевдословами и движениями при активном обучении. Верхние панели: кумулятивный уровень выполнения ассоциативной задачи в активном блоке 1, общее среднее (а) и индивидуальные данные каждого из участников эксперимента (б). Здесь и далее на горизонтальной оси отложены номера реализаций (по 40 реализаций от начала активного блока 1 на каждую конечность, и весь активный блок 2). Средние панели: Доля правильных ответов в группе испытуемых, в зависимости от номера реализации в активном блоке 1 (в) и в активном блоке 2 (г). Нижняя панель (д): Диаграмма рассеяния времени реакции в зависимости от номера реализации в активном блоке 2 (каждая точка представляет собой среднее значение времени реакции по 4 последовательным реализациям). Сплошная и пунктирная линии представляют линейную регрессию (R2 = –0.26; p < 0.001) и 95-процентный доверительный интервал соответственно. Fig. 2. Acquisition of the rules for pseudoword-movement association via active learning. Top panels: cumulative performance accuracy in active block 1, grand average (а) and individual data for all participants in the experiment (б). Here and hereafter, the horizontal axis represents trial numbers (40 trials starting from the beginning of the active block 1, for each extremity, and the whole active block 2). Middle panels: Proportion of subjects who made the correct response, as a function of trial number, in active block 1 (в) and in active block 2 (г). Bottom panel (д): Scatterplot of response times as a function of trial number in active block 2 (each dot represents the average of response times across four consecutive trials). Solid and dashed lines represent linear regression (R2 = –0.26; p < 0.001) and 95% confidence interval, respectively.
Выбор эпох для анализа
Наша цель состояла в том, чтобы проверить возможность увеличения и продления поздней слуховой активности в ходе активного обучения, и соответственно мы были заинтересованы в сравнении ранних и продвинутых стадий ассоциативного обучения (РСО и ПСО соответственно). Мы извлекали наиболее ранние реализации из активного блока 1 (условие “ранняя стадия обучения”, РСО) и наиболее поздние реализации из активного блока 2 (условие “продвинутая стадия обучения”, ПСО), и делали это отдельно для двух типов реализаций: с моторным ответом (ДВ) и без моторного ответа (НДВ). Для каждого условия мы стремились извлечь до 80 реализаций, если количество свободных от артефактов реализаций было достаточным для этого. Если набиралось менее 40 реализаций хотя бы в одном из условий, то соответствующих участников полностью исключали из дальнейшего анализа; таким образом, данные МЭГ были проанализированы на выборке из 24 участников.
Далее мы выделяли эпохи от –500 до 1500 мс относительно начала псевдослова. Для корректировки базовой линии использовали предстимульный интервал от –500 до –50 мс до начала предъявления стимула.
Анализ на уровне сенсоров
Чтобы снизить размер массива данных и объем множественных сравнений, мы вычисляли среднеквадратичные значения вызванных полей (ВП) отдельно для каждой пары градиентометров (далее – комбинированные градиентометры). После такого преобразования анализ на уровне сенсоров мы проводили на 102 каналах. Для анализа и иллюстрации динамики ВП во времени мы вычисляли среднеквадратичные значения ВП между всеми градиентометрами, получая глобальные среднеквадратичные значения ВП (аналог глобальной мощности поля в ЭЭГ).
Среднеквадратичные значения ВП мы вычисляли по следующей формуле:
(1)
$RMS = {\text{\;}}\sqrt {\frac{{\left( {ch\_1_{{planar1}}^{2} + {\text{\;}}ch\_1_{{planar2}}^{2}} \right) + {\text{\;}} \ldots {\text{\;}} + \left( {ch\_n_{{planar1}}^{2} + {\text{\;}}ch\_n_{{planar2}}^{2}} \right)}}{{{{N}_{{ch}}}}}} ,$Среднеквадратичные значения вычисляли последовательно в каждой временной точке, полученную временную динамику представляли на соответствующих графиках. Глобальные среднеквадратичные ВП (т.е. усреднение по всем градиентометрам) строили для всех условий в активных блоках вместе, для каждого условия в активных блоках отдельно, а также дополнительно для первого пассивного блока. Значимость различий между условиями оценивали с помощью двустороннего парного t-теста с поправкой FDR для множественных сравнений на число временных точек.
Для проверки гипотезы об усилении и удлинении активности, связанной со стимулом, на продвинутой стадии обучения, мы искали различия между условиями РСО и ПСО. Мы ожидали, что изменения, вызванные обучением, могут привести к увеличению длительности вызванной стимулом нейронной активации как для ДВ-, так и для НДВ-реализаций, но наиболее сильное продление дифференциального нейронного ответа должно было наблюдаться для недавно выученных псевдослов, ассоциированных с действием (ДВ).
Чтобы избежать предвзятости, мы выбирали временные интервалы и сенсоры интереса для последующих анализов, не выдвигая никаких априорных предположений, а ориентируясь непосредственно на данные (с учетом необходимых поправок на множественные сравнения), и последовательно выполняли следующие шаги. Сначала мы определили время максимума ВП в ответ на псевдослова независимо от условия: для этого мы усредняли среднеквадратичные значения ВП между всеми комбинированными градиентометрами по всем четырем условиям активных блоков, последовательно в каждой временной точке. Для дальнейшего анализа мы выбрали временной интервал длиной 100 мс, центрированный на выявленном пике ответа – и применяли его для анализа всех условий в активных блоках.
Затем мы искали те комбинированные градиентометры, сигнал от которых, усредненный по описанному выше временному интервалу максимального ответа, был достоверно подвержен влиянию обучения. На всех 102 каналах, отдельно в ДВ- и НДВ-реализациях, мы провели статистическое сравнение между РСО и ПСО. Достоверными считались сенсоры, в которых уровень значимости был ниже 0.05 (с учетом поправки FDR на 102 комбинированных градиентометра). Пространственные кластеры значимых сенсоров определялись как совокупность достоверных сенсоров, расположенных на топографической карте в непосредственной близости друг от друга, и достоверных одновременно как для ДВ-, так и для НДВ-реализаций. Проведенный анализ позволил выделить два кластера комбинированных градиентометров – левый височный и срединный (см. Результаты исследования).
Для дальнейшего пространственно-временного анализа по каждому кластеру мы усредняли среднеквадратичные значения ВП по всем трем комбинированным градиентометрам в пределах каждого кластера. Затем строили графики полученных среднеквадратичных значений ВП и сравнивали их значения в условиях ПСО и РСО между реализациями, включающими моторные ответы на предъявленные псевдослова (ДВ), и реализациями, которые не сопровождались действиями конечностей (НДВ).
Для визуализации временной динамики на уровне сенсоров были построены топографические карты по 102 комбинированным градиентометрам в реализациях ДВ и НДВ, для ранней и продвинутой стадии обучения, а также топографические карты дифференциальной реакции на обучение для каждого типа реализаций (ПСО ДВ против РСО ДВ; ПСО НДВ против РСО НДВ).
Для статистического анализа ожидаемого дифференциального продления мозгового ответа на выученные псевдослова ДВ по сравнению с псевдословами НДВ использовали дисперсионный анализ с повторными измерениями. Для этого временной интервал, соответствующий постепенному спаду глобального среднеквадратичного ВП, был разделен на четыре последовательных сегмента (850–1000, 1000–1150, 1150–1300 и 1300–1450 мс после начала стимула). Среднеквадратичные значения ВП, усредненные по каждому временному сегменту для каждого из кластеров, служили зависимой переменной. Факторами анализа были Стадия обучения (РСО и ПСО), Тип реализации (ДВ и НДВ), Топография (левые височные и срединные кластеры) и Время (850–1000, 1000–1150, 1150–1300 и 1300–1450 мс после начала стимула). Число степеней свободы корректировали с помощью поправки Гринхауса-Гейссера. Для оценки различий между ДВ-ответами (ПСО минус РСО) и НДВ-ответами (ПСО минус РСО) использовали плановые апостериорные сравнения; уровень значимости для каждого планового сравнения корректировали с помощью поправки Бонферрони на четыре сравнения, и считали достоверными при p < 0.01.
Анализ на уровне источников
Участники эксперимента прошли МРТ-сканирование на 1.5Т-системе Philips Intera. Индивидуальные структурные МРТ использовались для построения однослойных гранично-элементных моделей серого вещества коры головного мозга с помощью алгоритма сегментации водораздела (программное обеспечение FreeSurfer 4.3; Martinos Center for Biomedical Imaging, США). Индивидуальные анатомические модели были корегистрированы с использованием фидуциальных точек и около 60 дополнительных точек поверхности головы. Для размещения диполей на поверхности модели мозга использовалась сетка с шагом 5 мм, что позволило получить 10 242 вертекса на каждое полушарие. Для локализации источников использовались данные и аксиальных магнитометров, и планарных градиентометров. Локализация источников была выполнена с использованием кортикальной поверхностно-ограниченной оценки минимальной нормы на основе L2-нормы (без знака), реализованной в программном комплексе MNE-Python (Gramfort et al., 2013).
Матрица ковариации шума вычислялась для каждого испытуемого в интервале от –500 мс до –50 мс до предъявления стимула в каждой реализации. Матрица ковариации шума и прямой оператор были объединены в линейный обратный оператор с использованием оценки минимальной нормы на основе L2-нормы, ограниченной поверхностью коры (без знака), реализованной в программном комплексе MNE. Оценки источников были морфированы на стандартный мозг MNI с помощью процедуры нормализации на основе поверхности MNE. Для анализа временных рядов активации в пространстве источников данные были прорежены до 200 отсчетов в секунду.
Сначала для каждого анализируемого временного окна мы определили области коры, опосредующие эффект обучения. Парные t-тесты для контраста РСО против ПСО проводились для активации, усредненной по всем отсчетам анализируемого временного окна, в каждом вертексе отдельно. Для внесения поправки на множественные сравнения мы использовали ту же статистическую процедуру, что и на уровне сенсоров, но для всего набора вертексов поверхности коры вместо каналов МЭГ. Кортикальные области интереса определялись как кластеры смежных достоверных вертексов. Учитывались только кластеры, содержащие не менее 30 кортикальных вертексов. Результаты представлены с пороговым значением по вертексам без поправки (p < 0.05) (Gross et al., 2013), а также с FDR-коррекцией на число вертексов.
Затем мы использовали эти области коры для анализа временной динамики активации для условий РСО и ПСО. Временные ряды активации были построены для каждого вертекса независимо, а затем усреднены по соседним вертексам в пределах каждой области интереса. Чтобы оценить задержку и продолжительность эффекта обучения на активацию соответствующих областей коры, оценивали различия между условиями РСО и ПСО с помощью t-теста, с поправкой FDR для множественных сравнений на число временных точек.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ
Поведенческие показатели
В ходе активного оперантного обучения участники эксперимента успешно научились выполнять задачу, связывающую восемь псевдослов с движениями определенных конечностей тела или отказом от движения. Уже в активном блоке 1 (блоке активного обучения) средний процент правильных ответов испытуемых совокупно составил 68.0 ± 6.2% (табл. 2), что значимо отличалось от случайного уровня (p = 0.02). Вероятность правильного ответа значительно увеличивалась на протяжении обучения в пределах данного блока. На рис. 2 представлено число правильных ответов в зависимости от номера реализации на ранней стадии обучения РСО на уровне группы (рис. 2 (а, в)) и для отдельных участников (рис. 2 (б)). На графиках хорошо видна общая тенденция к постоянному улучшению выполнения задачи. Количество реализаций, необходимых для достижения критерия обучения, варьировалось у разных участников от 74 до 480, что соответствовало продолжительности активного обучения от 6 до 40 мин.
В активном блоке 2, т.е. на стадии активного выполнения, все участники показали практически максимально возможные результаты выполнения задачи (средний процент правильных ответов составил 96.4 ± ± 4.0%, p < 0.001). Таким образом, видно, что участники успешно усвоили связь между каждым из восьми слуховых сигналов и соответствующим действием или бездействием (рис. 2 (г)).
Не было выявлено статистически значимых различий в точности выполнения задачи между реализациями ДВ и НДВ как на ранней стадии обучения РСО (67. 3 ± 9.8 и 69.5 ± ± 5.5% для ДВ и НДВ соответственно, t(23) = = –0.95, p > 0.05), так и во время продвинутой стадии обучения (96.4 ± 3.6 и 97.2 ± 4.4% для ДВ и НДВ соответственно, t(23) = –1.31, p > 0.05).
Время реакции испытуемых в реализациях ДВ было в среднем больше на ранней стадии обучения по сравнению с продвинутой стадией обучения (РСО: 1492.5 ± 101.1 мс; ПСО: 1352.9 ± 116.3; t(1, 23) = 5.91; p < 0.0001). Таким образом, как и ожидалось, решение о выполнении двигательной реакции в ответ на стимул облегчалось в ходе обучения. Примечательно, что даже и в активном блоке 2, т.е. при активном выполнении, наблюдалось дальнейшее сокращение латентности моторного ответа, что подтверждается значимой отрицательной регрессией между номером реализации и временем реакции (R2 = –0.26; p < 0.001) (рис. 2 (д)). Таким образом, на продвинутой стадии обучения происходило дальнейшее укрепление слухо-моторной ассоциации.
Анализ МЭГ на уровне сенсоров
Эффект задачи. В качестве первого шага мы сравнили вызванные ответы на псевдослова на ранней стадии обучения с пассивным условием, когда участник слушал те же слуховые стимулы без какой-либо конкретной задачи, т.е. во время пассивного блока 1 (рис. 3 (а)). Поскольку в пассивном условии участники не выполняли никаких движений, то для сопоставимости в данный анализ из активного блока были взяты только реализации из условия НДВ.
Рис. 3.
Влияние выполнения ассоциативной задачи и обучения на динамику ВП в ответ на слуховые псевдослова. (а) – Графики среднеквадратичного ВП по каждому сенсору во время пассивного прослушивания до обучения (слева) и на ранней стадии обучения РСО, только НДВ реализации (справа). Каждая линия показывает динамику вызванного поля на отдельном комбинированном градиентометре. (б) – Графики глобального среднеквадратичного ВП во время пассивного прослушивания до обучения и РСО, только НДВ реализации. (в) – Графики глобального среднеквадратичного ВП для ранней и продвинутой стадий обучения задаче (РСО и ПСО соответственно). Отдельно показаны реализации, в которых моторные реакции не выполнялись (НДВ, слева) и те, в которых выполнялись моторные реакции (ДВ, справа). Заливка вдоль каждого графика обозначает соответствующий 95-процентный доверительный интервал. Горизонтальная ось – время в секундах относительно начала стимула; вертикальная ось – амплитуда среднеквадратичного ВП в фТ/см. Под графиками обозначены достоверные различия (двухсторонний t-тест, p < 0.05, как без коррекции, так и с коррекцией FDR на множественные сравнения по всем временным точкам). Вертикальные сплошные линии обозначают время начала редъявления стимула-псевдослова (0 с) и точку дизамбигуации (0.410 с). Серым прямоугольником показан 100-миллисекундный интервал, центрированный на пике вызванного поля (объяснения в тексте). Fig. 3. Effect of the associative task performance and learning on the ERF dynamics in response to auditory pseudowords. (а) – Plots of the grand average RMS ERF for each sensor during passive listening before training (left) and at the early stage of training, only non-motor trials (right). Each line represents ERF dynamics in a single combined gradientometer. (б) – Plots of the grand average global RMS ERF during passive listening before training and at the “early stage of learning”, only non-motor trials. (в) – Plots of the grand average global RMS ERF for the early and advanced stages of task learning (“early stage of learning” and “advanced stage of learning”, respectively). Plots separately represent trials in which no motor responses were performed (left) and those in which motor responses were performed (right). The shading along each graph indicates the corresponding 95% confidence interval. The horizontal axis is the time in seconds relative to the stimulus onset; the vertical axis is the RMS ERF amplitude in fT/cm. Significant differences (two-tailed t-test, p < 0.05, both without correction and with FDR correction for multiple comparisons across all time points) are indicated below the plots. Solid vertical lines indicate pseudoword onset (0 s), and disambiguation point (0.410 s). Gray rectangle shows the 100-millisecond interval centered on the peak of the evoked field (explanation in the text).
Сравнение динамики среднеквадратичных значений ВП между двумя условиями (рис. 3 (б)) показало значительное увеличение ответа при активном обучении, начиная примерно с 500 мс от начала предъявления стимула. Если в пассивном условии ВП уже возвращался к исходному уровню через 1200 мс после начала предъявления стимула, то во время активного обучения подъем сохранялся значительно дольше (не менее чем до 1500 мс после начала стимула).
Наиболее прямым объяснением большей силы и продолжительности слухового нейронного ответа в РСО по сравнению с пассивным состоянием может являться повышенная нагрузка на внимание и память во время выполнения задачи. Если роль внимания заключается в том, чтобы облегчить приобретение и запоминание ассоциаций “стимул–результат”, то логично представить себе, что объем внимания, уделяемого слуховым стимулам, будет наибольшим на раннем этапе обучения (Pearce, Hall, 1980; Pearce, Mackintosh, 2010). Следуя той же логике, можно ожидать, что эффект усиления внимания на вызванный ответ должен начать уменьшаться по мере усвоения правил задачи. В отличие от этого предположения, наша гипотеза о продлении нейронной репрезентации в ходе ассоциативного обучения приводит к противоположному предсказанию. Поэтому, чтобы отделить предполагаемый вклад активного обучения от вклада внимания, мы далее сравнили вызванный ответ между условиями РСО и ПСО.
Эффект обучения. На рис. 3 (в) показана разница между среднеквадратичными значениями ВП для условий РСО и ПСО, для ДВ- и НДВ-реализаций отдельно. Зарегистрированные ответы состояли из нескольких начальных коротких пиков, за которыми следовал большой широкий пик с латентностью около 800 мс от начала стимула. Чтобы оценить, влияет ли процесс обучения на слуховую обработку предъявляемых стимулов, мы сначала исследовали слуховой вызванный ответ в момент его максимальной силы.
Для этого мы усреднили условия РСО и ПСО (включая реализации ДВ и НДВ) и определили, что на объединенных данных слуховой вызванный ответ достигал максимума через 780 ± 53 мс после начала стимула. Учитывая, что точка дизамбигуации составляла 410 мс от начала стимула (см. рис. 1), пиковая латентность слухового вызванного ответа соответствовала семантическому компоненту N400 в ЭЭГ и МЭГ (Kutas, Federmeier, 2011; O’Rourke, Holcomb, 2002).
Далее мы исследовали, как пиковое значение слухового ответа менялось в зависимости от экспериментальных условий. Для этого среднеквадратичные значения ВП были усреднены по 100-миллисекундному интервалу времени с центром на указанном выше максимуме ответа (730–830 мс от начала предъявления стимула). Используя полученные значения, мы выполнили сравнения между условиями РСО и ПСО для типов реализаций ДВ и НДВ отдельно (рис. 4 (а)).
Рис. 4.
Пространственные максимумы и длительность эффекта бучения (контраст ПСО > РСО) глобального среднеквадратичного ВП в реализациях ДВ и НДВ. (а) – Топографические карты глобального среднеквадратичного ВП для реализаций НДВ (верхний ряд) и ДВ (нижний ряд) в условиях РСО и ПСО (левая и средняя панели), а также для разницы между ПСО и РСО (правая панель), усреднение в интервале 730–830 мс от начала предъявления стимула. На правой панели кружками отмечены места расположения комбинированных градиентометров, в которых эффект обучения был достоверен после коррекции FDR на множественные сравнения. (б) – Графики среднеквадратичного ВП для латеральных и медиальных кластеров (показаны на схеме расположения сенсоров МЭГ на врезках слева), для условий РСО и ПСО, отдельно для реализаций НДВ и ДВ (левая и средняя панели), а также разностные значения (ПСО минус РСО) для реализаций НДВ и ДВ. Все остальные обозначения как на рис. 3. Fig. 4. Spatial maxima and duration of the learning effect (“advanced stage of learning” > “early stage of learning” contrast) of the grand average global RMS ERF in motor and non-motor trials. (a) Topographic maps of the global RMS ERF for the non-motor (top row) and motor (bottom row) trials under “early stage of learning” and “advanced stage of learning” conditions (left and middle panels), and for the difference between the two conditions (right panel), averaged over the 730–830 ms interval from the beginning of the stimulus presentation. In the right panel, circles indicate locations of the combined gradientometers where the learning effect was significant after FDR correction for multiple comparisons. (б) – Plots of the grand average RMS ERF for the lateral and medial clusters (shown in the insets on the left), for the “early stage of learning” and “advanced stage of learning” conditions, separately for non-motor and motor trials (left and middle panels), and the difference (“advanced stage of learning” minus “early stage of learning”) for non-motor and motor trials. All other notations as in Fig. 3.
Во время пика слухового ответа топография дифференциального эффекта, вызванного обучением, была сходной для ДВ- и НДВ-реализаций: для обоих типов реализаций выявлены два пространственных кластера, которые располагались примерно над левой височной корой и срединной линией коры (достоверные сенсоры выделены, p < 0.05, FDR-корр.) (рис. 4 (а), правая панель). Как видно на рисунке, усиление в обоих пространственных кластерах было выражено сильнее для псевдослов, которые стали ассоциироваться с движениями (ДВ) по сравнению с теми, которые не приобрели такой ассоциации (НДВ) (рис. 4 (а), правая панель).
Последовательные карты топографии вызванных полей в условиях РСО и ПСО (рис. 5) показывают, что данный эффект не ограничивался временем пика ответа, а скорее представлял собой длительный общий сдвиг в обоих пространственных кластерах, особенно заметный для реализаций ДВ.
Рис. 5.
Серия топографических карт глобального среднеквадратичного ВП для реализаций НДВ и ДВ. Каждая топографическая карта представляет собой относительные значения амплитуды, усредненные по временным точкам в последовательных интервалах, обозначенных под рисунками. Верхняя и нижняя панели соответствуют реализациям НДВ (а) и ДВ (б) соответственно. На каждой панели верхний ряд соответствует РСО, средний ряд – ПСО, а нижний ряд – разнице между условиями ПСО и РСО. Fig. 5. A series of topographic maps of the global RMS ERF for the non-motor and motor trials. Each topographic map represents relative amplitude values averaged over time points in consecutive intervals indicated below the figures. The upper and lower panels correspond to non-motor (а) and motor (б) trials, respectively. In each panel, the upper row corresponds to the “early stage of learning”, the middle row to the “advanced stage of learning”, and the lower row to the difference between these two conditions.
Для статистической проверки достоверности видимого изменения в сторону длительного устойчивого нейронного ответа на псевдослова после приобретения ими значения слов действия мы построили графики временной динамики сигналов градиентометров, усредненных по сенсорам левого височного кластера и срединного кластера (рис. 4 (б)). Действительно, статистическая разница между ВП между условиями РСО и ПСО продолжалась по времени существенно правее пика.
Затем для каждого кластера мы вычислили среднеквадратичные значения ВП в четырех последовательных 150-миллисекундных временных интервалах после пика, для каждого типа реализаций и условия отдельно. Результаты были подвергнуты дисперсионному анализу с повторными измерениями, с факторами Стадия обучения (РСО и ПСО), Тип реализации (ДВ и НДВ), Топография (левые височные и срединные кластеры) и Время (850–1000, 1000–1150, 1150–1300 и 1300–1450 мс после начала стимула).
Значимое взаимодействие Стадия обучения*Тип реализации (F(1, 23) = 23.39; p < < 0.0001; частичное η2 = 0.5) показало увеличение общей силы устойчивой активации, вызванной обучением, в ДВ по сравнению с НДВ во всем временном окне от пика и правее. Независимо от типа реализации эффект обучения ослабевал со временем, т.е. становился менее выраженным в более отдаленных интервалах нейронного ответа (Стадия обучения*Время (F(3, 69) = 20.22; p < 0.0001; частичное η2 = 0.47).
Что особенно важно для проверяемой гипотезы, значимый эффект обучения (контраст РСО против ПСО) все еще присутствовал в реализациях ДВ для двух последних временных интервалов, предшествующих моторному действию (3-й интервал: F(1, 23) = 24.84; p < 0.0001; 4-й интервал: F(1, 23) = 14.54; p < 0.01 с поправкой Бонферрони). Эффект обучения не отличался значимо от нуля в двух последних временных интервалах в реализациях НДВ (3-й интервал: F(1, 23) = 1.25; p = 0.27 без коррекции; 4-й интервал: F(1, 23) = 0.15; p = 0.70 без коррекции). Дополнительный дисперсионный анализ, проведенный для последнего 4-го временного интервала, подтвердил значимое преобладание реализаций ДВ над реализациями НДВ в продолжительности эффекта обучения (взаимодействие факторов Стадия обучения*Тип реализации F(1, 23) = = 14.67; p = 0.0009; частичное η2 = 0.39).
Таким образом, как на максимуме ответа, так и после него слуховой ответ был значительно увеличен после обучения – особенно в тех реализациях, в которых участники совершали движение в ответ на псевдослово.
Анализ МЭГ на уровне источников
Чтобы оценить мозговую локализацию эффектов обучения, которые мы статистически продемонстрировали в пространстве сенсоров, мы далее провели анализ локализации источников. Мы взяли в анализ только ДВ-реализации, в которых совершалось движение, и которые, соответственно, были в фокусе настоящего исследования. Локализацию кортикальных источников производили во временном интервале между 800 и 900 мс после начала стимула, где на уровне сенсоров мы наблюдали наибольший эффект обучения в реализациях ДВ (рис. 4). В подтверждение анализа топографии на сенсорах анализ на уровне источников показал, что обучение преимущественно модулировало области левой и правой височных долей на их латеральной и медиальной поверхности, а также заднюю часть медиальных лобных областей и прилегающую поясную борозду (рис. 6).
Рис. 6.
Локализация источников эффекта обучения для вызванного нейромагнитного ответа, в реализациях ДВ. На центральной панели показаны кортикальные источники, демонстрирующие значительный эффект обучения (ПСО > РСО) во временном окне 800–900 мс после начала стимула, в том числе без коррекции и с коррекцией FDR на количество вертексов (q < 0.05). Вышеуказанные области рассматривались как области интереса для дальнейшего анализа. Для наглядности также показаны области, проявившие аналогичный эффект при уровне значимости p < 0.05 (без коррекции). На соседних панелях изображены графики динамики среднего тока в источниках (без знака) из пяти областей интереса, для условий РСО и ПСО. Значимые различия ПСО > РСО на графиках (p < 0.05, без коррекции) отмечены, если они появляются не менее чем в 20 последовательных временных точках. Fig. 6. Source localization of the learning effect for the evoked neuromagnetic response, in motor trials. The central panel shows cortical sources revealing significant learning effects (“advanced stage of learning” > “early stage of learning”) in the 800–900 ms time window after stimulus onset, including uncorrected statistics and statistics with FDR correction for the number of vertices (q < 0.05). The aforementioned areas were considered as regions of interest for further analysis. For illustrative purposes, the areas that showed a similar effect at a significance level of p < 0.05 (without correction) are also shown. The adjacent panels show plots of the dynamics of the average current in the sources (unsigned) from the five regions of interest, for the “early stage of learning” and “advanced stage of learning” conditions. Significant differences between time courses (“advanced stage of learning” > “early stage of learning”) at the p < 0.05 level (without correction) are marked if they appear in at least at 20 consecutive time points.
Контраст условий РСО – ПСО позволил выявить несколько достоверных кластеров кортикальных источников (p < 0.05, с поправкой FDR), с локализацией пиковых различий в левой и правой верхней височной борозде, левой супрамаргинальной извилине, левой и правой нижней височной извилине, левой и правой фузиформной/парагиппокампальной борозде и задней части левой поясной борозды/средней верхней лобной извилины. Эффект обучения проявлялся в обоих полушариях, но более выраженным он был в левом полушарии, что также согласуется с результатами анализа топографии на уровне сенсоров (рис. 4). Вклад височных и теменных долей в активацию, вызванную обучением, соответствовал классической карте областей мозга, вовлеченных в понимание речи в целом (Friederici et al., 2017) и в семантический эффект N400 в частности (Van Petten, Luka, 2006). Однако наши данные также свидетельствуют о вовлечении довольно широкой области медиально-фронтального неокортекса.
Чтобы получить дальнейшее представление о временном ходе различий между РСО и ПСО в реализациях ДВ, мы проанализировали динамику изменения активации, вызванной обучением, на протяжении постстимульного интервала для следующих кластеров кортикальных источников в обоих полушариях: латеральных височных областей (верхняя височная борозда и верхняя височная извилина, STS/STG), дополнительных и пред-дополнительных моторных областей (SMA и pre-SMA) и фузиформной/парагиппокампальной извилин (FFG/PHG) (рис. 6). Мы извлекли временные ряды силы тока источников, усреднили их по всем вертексам каждого кортикального кластера отдельно, а затем провели сравнение между условиями РСО и ПСО с помощью t-теста в каждой временной точке на постстимульном интервале (с поправкой FDR на количество временных точек).
Полученные результаты на уровне источников в целом схожи с теми, которые были получены на уровне сенсоров, но выявили более подробную информацию о начале и смещении активности, вызванной обучением, в интересующих нас кортикальных областях. Графики динамики активации для ПСО начинали значительно отличаться от таковых для РСО сначала в левых областях коры (STS и SMA/preSMA), а затем в симметричных им областях правого полушария и в медиальной височной области (FFG/ PHG). Для областей SMA/preSMA эффект обучения в основном совпадал с максимумом ответа (от 500–700 до 1200 мс после начала стимула). Напротив, на латеральной и медиальной поверхности височных долей (STS билатерально, FFG/PHG слева) активация, вызванная обучением, сохранялась дольше, примерно до среднего времени начала движения (т.е. до 1400–1450 мс после начала стимула).
В итоге полученные нами результаты свидетельствуют о том, что, когда слуховые псевдослова приобретали ассоциации с определенным движением посредством активного обучения, они стали вызывать более сильный и длительный вызванный ответ на стимул. Этот эффект обучения был сильнее и продолжительнее для слуховых стимулов, которые предписывали совершать движение конечностью тела, по сравнению с теми, которые предписывали воздерживаться от движения. Кортикальными областями, максимально затронутыми обучением в ДВ-реализациях, были верхняя височная (STS) и фузиформная/парагиппокампальная извилины (FFG/PHG) левой и, в меньшей степени, правой височной доли, а также области медиальных лобных структур. В височных областях обоих полушарий модуляции, связанные с обучением, сохранялись до конца периода задержки между стимулом и началом движения.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Цель данного исследования состояла в том, чтобы выявить эффект усиления и продления активации височной коры при выработке ассоциации между слухоречевыми стимулами и движением. Мы действительно обнаружили такой эффект.
Уже на ранней стадии обучения слуховым псевдословам – по сравнению с их пассивным прослушиванием – наблюдалось усиление и пролонгация лексико-семантического компонента N400m, с максимальным эффектом примерно через 400–450 мс после точки дизамбигуации псевдослов.
Возможным объяснением выявленного нами эффекта удлинения слухоречевой активации могло бы быть то, что испытуемые вследствие усталости или иных причин к концу эксперимента начинали тратить больше времени на распознавание стимулов. Однако такому объяснению противоречит сокращение времени реакции – как между активными блоками, так и внутри каждого блока, а также возрастание доли правильных ответов.
Волна N400, длящаяся еще достаточно долго после пика – подобная той, что наблюдалась в нашем исследовании, – была ранее зарегистрирована как для вербальных, так и невербальных стимулов в зрительной модальности (Deacon, Shelley-Tremblay, 2000; Erlbeck et al., 2014; Kutas, Federmeier, 2011), особенно для задач, подразумевающих активное удержание репрезентации стимула в кратковременной памяти – например, задача на отсроченное сопоставление с образцом (Pinal et al., 2014) или задача на кодирование букв в азбуке Морзе (Lang et al., 1987).
При исследовании задачи на отсроченное сопоставление с образцом у обезьян наблюдалось устойчивое возбуждение нейронов нижней височной коры в период задержки между целевым зрительным стимулом и хорошо выученной поведенческой реакцией. Оно, как оказалось, отражало активное поддержание внутренних репрезентаций стимула, необходимых для предстоящего поведения (Takeda et al., 2005). Учитывая данные литературы, мы предположили, что удлинение N400m на слуховые псевдослова на ранней стадии обучения является результатом усиления нагрузки на рабочую память – намеренного удержания репрезентации псевдослова в кратковременной памяти.
Однако такой интерпретации недостаточно для объяснения изменения ВП, которое мы наблюдали в процессе обучения. В течение всего периода обучения задачи на ассоциацию псевдослова и действия требовалось как сфокусированное внимание, так и удержание стимулов в памяти. Однако по мере обучения соотнесение стимула с движением становится все более автоматическим, и нагрузка на рабочую память и внимание снижалась (Pearce, Mackintosh, 2010), что, в свою очередь, должно было снизить нейронную активацию, связанную с рабочей памятью/вниманием (см., например, Jensen, Tesche, 2002). Таким образом, эти процессы сами по себе вряд ли могли бы обеспечить выявленное нами увеличение и продление устойчивой нейронной активации, особенно выраженное на продвинутой стадии обучения – когда ошибки практически исчезли, время реакции существенно снизилось, что явно свидетельствует о значительной степени автоматизации реакций на стимулы.
Напротив, вышеупомянутый результат хорошо согласуется с гипотезой ретроспективной активации. Действительно, только когда опыт предшествующего обучения мог быть интегрирован, мы наблюдали, что нейронный ответ на вновь приобретенные псевдослова действия (которые были последовательно и уникально сопряжены с движениями определенной части тела) сохранялся до начала ожидаемого движения (рис. 4 (б), 5 и 6). Учитывая, что эффект обучения для псевдослов, которые не ассоциировались с движением (НДВ), резко снижался после максимума слухового ответа и полностью исчезал в поздней части нейронного ответа (рис. 4), мы делаем вывод, что удлинение волны N400 было характерно именно для тех псевдослов, которые стали предсказуемыми сигналами для выбора, подготовки и выполнения движения. Появляясь в преддверии моторного действия, которое полностью определялось слуховым стимулом, ретроспективное усиление и продление активности могло в основном быть следствием того, что на продвинутой стадии обучения (ПСО), в отличие от ранней стадии обучения (РСО), участники уже установили для себя соответствие между стимулами и ответами, и выполнявшиеся действия оценивались участниками как “правильные” уже на стадии инициации и выполнения движения. Аналогичное увеличение устойчивой активности нейронов наблюдалось в префронтальной коре приматов, когда обезьяны путем проб и ошибок обучались произвольным ассоциациям между каждой из двух картинок и движением глаз влево или вправо (Histed et al., 2009).
Однако, что очень важно для гипотезы ретроспективной активации, в нашем исследовании вызванная обучением устойчивая активность наблюдалась в классических “речевых областях” левой и, в меньшей степени, правой височных долей (рис. 6), вовлеченных в фонологическую и лексико-семантическую обработку реальных слов (Kutas, Federmeier, 2011; McCarthy et al., 1995; Smith et al., 1986; Travis et al., 2012). Это позволяет предположить, что ресурсы обработки речи мобилизуются в период задержки до начала движения, в основном для тех псевдослов, которые временно приобрели значение слов, связанных с действиями. Учитывая, что префронтальная кора содержит нейронные популяции, которые кодируют сенсорные репрезентации, моторные репрезентации и репрезентации вознаграждения (см. в Histed et al., 2009), она, через нисходящие проекции, может играть ключевую роль в этом общем механизме активного обучения произвольной сенсорно-моторной ассоциации.
Однако выявленный нами эффект не ограничивался только слухоречевыми репрезентациями. Помимо височной слухо-речевой коры, дополнительная моторная и пред-дополнительная моторная кора, а также моторные зоны поясной коры, – т.е. области, обычно вовлеченные в моторное программирование (Picard, Strick, 2001), – также проявили усиление нейронного ответа на псевдослова на продвинутом этапе обучения (рис. 6). Интересно, что в фМРТ-исследовании Н. Постле и др. (Postle et al., 2008) было выявлено, что именно активация пред-дополнительной моторной коры была значительно выше во время понимания смысла слов, специфически соотносимых с конкретными действиями – по сравнению с прочими словами; согласно мнению авторов, эта активация может отражать ассоциацию между словами и инициацией программы движения.
Важно отметить, что наблюдавшаяся нами активация дополнительной и пред-дополнительной моторной коры в ответ на стимул была недостаточно длительной, чтобы являться причиной инициации соответствующего движения как такового (рис. 6). Вместо этого, появление активации моторной коры в классическом окне N400m (400 мс после точки дизамбигуации), предполагает, что она может участвовать в лексико-семантическом извлечении/кодировании слуховых псевдослов действия как нейронного представления только что выученных моторных ассоциаций. При этом отсутствие активации SMA во время пассивного прослушивания того же самого только что выученного псевдослова действия (Razorenova et al., 2020) предполагает, что после короткого активного обучения такие слухо-моторные ассоциативные соответствия все еще являются хрупкими и требуют распределения ресурсов внимания и рабочей памяти, чтобы быть обнаруженными в нейронном МЭГ-сигнале в ответ на стимул.
В целом, наши результаты показывают, что после приобретения ассоциации между слуховым псевдословом и предсказанным действием извлечение лексико-семантических знаний, хранящихся в височной коре, запускается предъявленным псевдословом.
В настоящей работе мы имели возможность исследовать динамику вызванных мозговых ответов лишь в пределах длительности эксперимента, т.е. порядка полутора-двух часов. Реальная длительность выявленного эффекта остается неизвестной, и выяснение ответов на этот вопрос может явиться перспективным направлением дальнейших исследований.
ЗАКЛЮЧЕНИЕ
Полученные нами результаты дают первое доказательство того, что мозг взрослого человека для установления новой ассоциации полагается на механизм, который позволяет ему заполнять временной разрыв между звучащим словом и ассоциируемым действием. Это обеспечивается путем удлинения мозговой слухоречевой активации, вызванной стимулом. Таким образом создаются условия для реализации Хеббовской пластичности, то есть долговременных синаптических перестроек в нейронных ансамблях, которая основана на совпадении активности во времени.
Список литературы
Разоренова А.М., Скавронская В.В., Тюленев Н.Б., Рытикова А.М., Чернышев Б.В. Может ли научение новым словам в слуховой модальности вести к быстрому формированию пластических перестроек в коре больших полушарий у взрослых? Современная зарубежная психология. 2020. 9 (2): 46–56.
Barsalou L. Situated simulation in the human conceptual system. Language and Cognitive Processes. 2003. 18 (5–6): 513–562.
Deacon D., Shelley-Tremblay J. How automatically is meaning accessed: a review of the effects of attention on semantic processing. Frontiers in Bioscience-Landmark. 2000. 5 (4): 82–94.
Erlbeck H., Kübler A., Kotchoubey B., Veser S. Task instructions modulate the attentional mode affecting the auditory MMN and the semantic N400. Frontiers in Human Neuroscience. 2014. V. 8. P. 654.
Friederici A.D., Chomsky N., Berwick R.C., Moro A., Bolhuis J.J. Language, mind and brain. Nature Human Behaviour. 2017. 1 (100): 713–722.
Funahashi S., Bruce C.J., Goldman-Rakic P.S. Mnemonic coding of visual space in the monkey’s dorsolateral prefrontal cortex. Journal of Neurophysiology. 1989. 61 (2): 331–349.
Fuster J.M., Bressler S.L. Past Makes Future: Role of pFC in Prediction. Journal of Cognitive Neuroscience. 2015. 27 (4): 639–654.
Gallistel C.R., Fairhurst S., Balsam P. The learning curve: implications of a quantitative analysis. Proceedings of the National Academy of Sciences. 2004. 101 (36): 13124–13131.
Gramfort A., Luessi M., Larson E., Engemann D.A., Strohmeier D., Brodbeck C., Goj R., Jas M., Brooks T., Parkkonen L. MEG and EEG data analysis with MNE-Python. Frontiers in Neuroscience. 2013. P. 267.
Gross J., Baillet S., Barnes G.R., Henson R.N., Hillebrand A., Jensen O., Jerbi K., Litvak V., Maess B., Oostenveld R., Parkkonen L., Taylor J.R., van Wassenhove V., Wibral M., Schoffelen J.M. Good practice for conducting and reporting MEG research. Neuroimage. 2013. V. 65. P. 349–363.
Hebb D.O. The organization of behavior : a neuropsychological theory. New York: John Wiley and Sons, Inc., 1949. 335 c.
Histed M.H., Pasupathy A., Miller E.K. Learning Substrates in the Primate Prefrontal Cortex and Striatum: Sustained Activity Related to Successful Actions. Neuron. 2009. 63 (2): 244–253.
Jensen O., Tesche C.D. Frontal theta activity in humans increases with memory load in a working memory task. Eur.J.Neurosci. 2002. 15 (8): 1395–1399.
Kutas M., Federmeier K.D. Thirty Years and Counting: Finding Meaning in the N400 Component of the Event-Related Brain Potential (ERP). Annual Review of Psychology, Vol. 62 / Fiske S. T. et al. Palo Alto: Annual Reviews, 2011. C. 621–647.
Lang M., Lang W., Uhl F., Kornhuber A., Deecke L., Kornhuber H.H. Slow negative potential shifts indicating verbal cognitive learning in a concept formation task. Human Neurobiology. 1987. 6: 183–190.
McCarthy G., Nobre A., Bentin S., Spencer D. Language-related field potentials in the anterior-medial temporal lobe: I. Intracranial distribution and neural generators. The Journal of Neuroscience. 1995. 15 (2): 1080–1089.
Miyashita Y., Chang H.S. Neuronal correlate of pictorial short-term memory in the primate temporal cortex. Nature. 1988. V. 331. № 6151. P. 68–70.
Naya Y., Yoshida M., Takeda M., Fujimichi R., Miyashita Y. Delay-period activities in two subdivisions of monkey inferotemporal cortex during pair association memory task. European Journal of Neuroscience. 2003. 18 (10): 2915–2918.
Neuringer A. Operant variability: Evidence, functions, and theory. Psychonomic Bulletin & Review. 2002. 9 (4): 672–705.
O’Rourke T.B., Holcomb P.J. Electrophysiological evidence for the efficiency of spoken word processing. Biological Psychology. 2002. 60 (2–3): 121–150.
Pearce J.M., Hall G. A model for Pavlovian learning: variations in the effectiveness of conditioned but not of unconditioned stimuli. Psychol.Rev. 1980. 87 (6): 532–552.
Pearce J.M., Mackintosh N.J. Two theories of attention: A review and a possible integration. Attention and associative learning: From brain to behaviour. 2010. P. 11–39.
Picard N., Strick P.L. Imaging the premotor areas. Current Opinion in Neurobiology. 2001. 11 (6): 663–672.
Pinal D., Zurrón M., Díaz F. Effects of load and maintenance duration on the time course of information encoding and retrieval in working memory: from perceptual analysis to post-categorization processes. Frontiers in Human Neuroscience. 2014. V. 8. P. 165.
Postle N., McMahon K.L., Ashton R., Meredith M., de Zubicaray G.I. Action word meaning representations in cytoarchitectonically defined primary and premotor cortices. Neuroimage. 2008. 43 (3): 634–644.
Pulvermüller F. Brain mechanisms linking language and action. Nature Reviews Neuroscience. 2005. 6 (7): 576–582.
Pulvermüller F. Neural reuse of action perception circuits for language, concepts and communication. Progress in Neurobiology. 2018. 160: 1–44.
Quintana J., Fuster J.M. From Perception to Action: Temporal Integrative Functions of Prefrontal and Parietal Neurons. Cerebral Cortex. 1999. V. 9. № 3. P. 213–221.
Razorenova A.M., Chernyshev B.V., Nikolaeva A.Y., Butorina A.V., Prokofyev A.O., Tyulenev N.B., Stroganova T.A. Rapid Cortical Plasticity Induced by Active Associative Learning of Novel Words in Human Adults. Frontiers in Neuroscience. 2020. V. 14. P. 895.
Shtyrov Y., Butorina A., Nikolaeva A., Stroganova T. Automatic ultrarapid activation and inhibition of cortical motor systems in spoken word comprehension. Proceedings of the National Academy of Sciences of the United States of America. 2014. 111 (18): E1918–E1923.
Shu Y., Hasenstaub A., McCormick D.A. Turning on and off recurrent balanced cortical activity. Nature. 2003. 423 (6937): 288–293.
Smith M.E., Stapleton J.M., Halgren E. Human medial temporal lobe potentials evoked in memory and language tasks. Electroencephalography and Clinical Neurophysiology. 1986. 63 (2): 145–159.
Tadel F., Baillet S., Mosher J.C., Pantazis D., Leahy R.M. Brainstorm: a user-friendly application for MEG/EEG analysis. Computational intelligence and neuroscience. 2011. V. 2011. P. 879716.
Takeda M., Naya Y., Fujimichi R., Takeuchi D., Miyashita Y. Active Maintenance of Associative Mnemonic Signal in Monkey Inferior Temporal Cortex. Neuron. 2005. 48 (5): 839–848.
Taulu S., Simola J., Kajola M. Applications of the signal space separation method. IEEE Transactions on Signal Processing. 2005. 53 (9): 3359–3372.
Tomasello R., Garagnani M., Wennekers T., Pulvermuller F. Brain connections of words, perceptions and actions: A neurobiological model of spatio-temporal semantic activation in the human cortex. Neuropsychologia. 2017. V. 98. P. 111–129.
Travis K.E., Leonard M.K., Chan A.M., Torres C., Sizemore M.L., Qu Z., Eskandar E., Dale A.M., Elman J.L., Cash S.S., Halgren E. Independence of Early Speech Processing from Word Meaning. Cerebral Cortex. 2012. V. 23. № 10. P. 2370–2379.
Uusitalo M.A., Ilmoniemi R.J. Signal-space projection method for separating MEG or EEG into components. Medical and Biological Engineering and Computing. 1997. 35 (2): 135–140.
Van Petten C., Luka B.J. Neural localization of semantic context effects in electromagnetic and hemodynamic studies. Brain and Language. 2006. 97 (3): 279–293.
Дополнительные материалы отсутствуют.
Инструменты
Журнал высшей нервной деятельности им. И.П. Павлова
Пн.-пт.: 10.00-19.00