Физиология человека, 2020, T. 46, № 3, стр. 123-131

Новые представления об осуществлении моторных и когнитивных функций головным мозгом: факты и гипотезы

А. М. Бадаква 1*, Н. В. Миллер 1**, Л. Н. Зобова 1

1 ФГБУН ГНЦ РФ – Институт медико-биологических проблем РАН
Москва, Россия

* E-mail: ambadakva@mail.ru
** E-mail: nvmiller@mail.ru

Поступила в редакцию 20.09.2019
После доработки 11.11.2019
Принята к публикации 24.12.2019

Полный текст (PDF)

Аннотация

Быстрое развитие нейронаук за последние два десятилетия привело к появлению новых экспериментально обоснованных фактов и увеличило количество гипотез осуществления моторных и когнитивных функций головного мозга. Целью данного обзора является изложение наиболее важной части этого нового материала, которую необходимо учитывать при планировании и проведении как фундаментальных, так и прикладных исследований функций головного мозга.

Ключевые слова: моторные и когнитивные функции мозга, париетальная кора, премоторная кора, макака резус, интракортикальная микростимуляция, мозжечок, базальные ядра, интегрированная система кора-мозжечок-базальные ганглии, гипотеза “суперобучения”.

Постериорная париетальная кора содержит моторную область с кортикоспинальными нейронами

Планирование, выполнение и управление движением достижения рукой визуальных целей осуществляется париетальной, дорзальной премоторной (PMd) и моторной корой, которые формируют рекуррентную сеть [1]. Это представление связано с классическим взглядом на центральную борозду как функциональную границу, разделяющую моторную и сенсорную кору. Согласно этому взгляду кортикальные области, расположенные антериорно по отношению к центральной борозде, вовлекаются в генерацию движения и являются основным источником нисходящих моторных команд к спинному мозгу, a кортикальные области, расположенные постериорно, вовлекаются в обработку сенсорной информации и являются мишенью восходящих сигналов, появляющихся на периферии. Проекции от постериорной париетальной коры (PPC) к моторным областям опосредуют исполняемые париетальные команды к спинному мозгу. Однако этот распространенный взгляд не соответствует полностью имеющимся экспериментальным данным.

В 1955 г. было показано [2], что моторные ответы, вызванные электрической стимуляцией PPС, продолжают существовать после удаления моторной коры. В 1975 г. V.B. Mountcastle et al. предположили [3], что PPC содержит командный аппарат для оперирования конечностями, руками и глазами в ближайшем экстраперсональном пространстве. Эта гипотеза была основана на наблюдении за поведением некоторых нейронов в областях 5 и 7 PPC, которые активировались не сенсорными стимулами, а в связи с достигающим движением животного к желаемому объекту или манипулированием с ним. “Командная” гипотеза была новой во взгляде на PPC, так как она включала в PPC механизм для создания и выдачи моторных командных сигналов, обеспечивающих движения к объектам интереса в ближайшем экстраперсональном пространстве.

В 2017 г. были опубликованы убедительные экспериментальные аргументы [4, 5], свидетельствующие о том, что область 5 в PPC содержит моторную подобласть с кортикоспинальными нейронами, которые могут функционировать как командный аппарат для операций кистью руки. В исследованиях, проведенных на одиннадцати обезьянах Macaca mulatta с использованием электрической микростимуляции для картирования латерального участка области 5 PPC перед инъекцией конвенционального анатомического трейсера (CTb), а также инъекции вируса бешенства в одиночную мышцу верхней конечности, было получено три линии конвергирующих свидетельств того, что латеральный участок области 5 имеет кортикоспинальные нейроны, которые прямо связаны с управлением движений кисти руки. Во-первых, электрическая стимуляция латерального участка области 5 вызывает движения пальца и запястья руки. Во-вторых, кортикоспинальные нейроны того же участка области 5 заканчиваются в местоположении спинного мозга, которое содержит интернейроны последнего порядка, иннервирующие мотонейроны кисти. В-третьих, латеральный участок области 5 содержит много нейронов, которые образуют дисинаптические связи с мотонейронами кисти. Дисинаптический вход к мотонейронам из области 5 является настолько же прямым и заметным, как из любой премоторной области фронтальной доли мозга. Эти результаты доказывают, что латеральный участок области 5 содержит моторную область с кортикоспинальными нейронами, которая может функционировать как командный аппарат для операций кистью руки.

Ввод управляющей информации в премоторную кору с помощью низкоамплитудной интракортикальной микростимуляции

Парадоксальный факт существования моторной области в PPC, связанной с кортикоспинальными нейронами, не является единственным отклонением от классического взгляда на центральную борозду как функциональную границу, разделяющую моторную и сенсорную кору. Еще более удивительным является исследование K.A. Mazurek и M.H. Schieber [6], в котором на обезьянах резусах было показано, что управляющую информацию можно вводить с помощью интракортикальной микростимуляции (ICMS) в PMd, являющуюся, как подчеркивают в комментариях M.A. Lebedev и A. Ossadtchi [7], моторной областью высокого порядка, связанной с подготовкой движения, визуомоторной трансформацией и нестандартным сенсомоторным картированием, а не первичной обработкой движений или ощущений.

Две обезьяны макаки резус выполняли задачу “достижения–схватывания–манипулирования”. Обезьяны начинали каждую попытку, схватывая кистью главную ручку, которая была окружена четырьмя ручками-мишенями разной формы. Далее направление движения руки определялось включением индикатора, представляющего собой светодиоды в основании ручек-мишеней и/или воздействием ICMS низкой амплитуды, исключающей стимуляцию сокращения мышц, на различные участки PMd. Обезьяны отвечали на инструкцию, отпуская главную ручку и хватая ручку-мишень. Их обучали отвечать правильно на инструкции светодиодов и ICMS с очень высокой степенью успешности (96–99%). Авторы обнаружили, что, когда визуальные команды постепенно тускнели, обезьяны научились связывать даже краткие, низкочастотные ICMS–инструкции в PMd с конкретными действиями. Более того, после того, как назначения точек в PMd для инструктажа конкретных движений были перетасованы, обезьяны заново изучили перетасованные назначения. Это означало, что произвольные ассоциации были выучены, а не зафиксированы. Эти результаты показывают, что ICMS в разных местах PMd можно различать и научиться использовать в качестве инструкций для выполнения произвольных движений.

Искусственная электростимуляция мышц на основе информации, декодированной с M1, уже разрабатывается для преодоления повреждений спинного мозга с помощью кортико-мышечных нейропротезных устройств, тем самым восстанавливая утраченные двигательные возможности [8, 9]. Способность произвольно вводить интерпретируемую информацию в области коры головного мозга может позволить разработать кортико-кортикальные нейропротезные устройства, которые дадут возможность обойти поврежденную область коры мозга, участвующую в управлении движением, путем декодирования нейронных сигналов из области, расположенной выше поврежденной, и их введения в область, расположенную ниже поврежденной по пути распространения нейронных сигналов.

Взаимосвязь мозжечка и базальных ядер на субкортикальном уровне

Мозжечок и базальные ганглии являются основными подкорковыми ядрами, которые во взаимодействии с корой головного мозга осуществляют моторные и когнитивные функции мозга [10]. Реципрокные связи как мозжечка, так и базальных ганглиев с многочисленными областями коры структурированы в виде дискретных цепей или “петель”, вовлекаемых в различные функции мозга. До настоящего времени предполагали, что взаимодействие между этими петлями происходит лишь на уровне коры головного мозга.

Однако недавние достижения в анатомическом определении нервных цепей с помощью нейротропных вирусов [11], позволили с помощью штамма N2c вируса бешенства в экспериментах на обезьянах изменить традиционное представление о взаимосвязи мозжечка и базальных ганглиев. Особенностью использованного вируса является его распространение исключительно в ретроградном направлении, зависящим от времени способом [12]. Кроме того, вирус распространяется между нейронами исключительно через синапсы и не распространяется по проходящим мимо нервным волокнам. 40 ч достаточно для поглощения и ретроградного транспорта штамма N2c вируса бешенства через синапсы нейронов первого порядка, которые проецируются к месту инъекции, и затем ретроградно транспортируются от этих нейронов первого порядка к нейронам второго порядка, которые иннервируют их [13, 14]. Периода времени длительностью 50 ч достаточно для следующей стадии ретроградного транснейронального транспорта от нейронов второго порядка к нейронам третьего порядка, которые проецируются к ним [13].

Для решения вопроса о проекциях мозжечка в базальные ганглии двум обезьянам был инъецирован штамм N2c вируса бешенства в ограниченную область скорлупы [14]. Время исследования было достаточным для осуществления двух стадий транспорта вируса. Наблюдали ретроградный транспорт вируса от места инъекции до нейронов первого порядка в таламусе, а затем – от этих нейронов первого порядка до нейронов второго порядка в глубоких ядрах мозжечка, главным образом, в зубчатом ядре. Таким образом, выходная ступень мозжечковой обработки, зубчатое ядро, проецируется через таламус на входную ступень обработки в базальных ганглиях – скорлупу.

Другим двум обезьянам инъецировали тот же штамм вируса во внешний сегмент бледного шара (globus pallidus external, GPe). У этих животных время исследования было достаточным для трех стадий транспорта вируса бешенства. Были определены: ретроградный транспорт вируса от места инъекции к нейронам первого порядка в полосатом теле, ретроградный транснейрональный транспорт от этих нейронов первого порядка к нейронам второго порядка в таламусе и ретроградный транснейрональный транспорт от нейронов второго порядка в таламусе к нейронам третьего порядка в глубоких ядрах мозжечка, причем снова большинство меченых нейронов было найдено в зубчатом ядре. Таким образом, выход мозжечка оказывает воздействие на нейроны полосатого тела, в том числе и на нейроны полосатого тела, проецирующиеся на GPe.

Инъекции вируса бешенства в GPe задействуют различные области зубчатого ядра. У одной обезьяны вирус метил нейроны в вентральной и каудальной областях ядра. Место инъекции в GPe у другого животного было смещено на 1 мм каудальнее, и меченые нейроны наблюдались в дорсальных областях ядра. Эти результаты позволяют предполагать, что проекции от зубчатого ядра к базальным ганглиям организованы топографически.

Зубчатое ядро является основным источником проекций мозжечка к моторным, премоторным, префронтальным и париетальным областям коры. В соответствии с этими проекциями зубчатое ядро делят на моторный и немоторный домены [15]. Проекции от зубчатого ядра к первичной моторной и премоторным областям идут от моторного домена, тогда как проекции к префронтальным и париетальным областям происходят из немоторного домена. В описанном эксперименте транспорт вируса из базальных ганглиев метил нейроны в обоих доменах зубчатого ядра. Можно предполагать, что проекции мозжечка к входной ступени обработки в базальных ганглиях влияют на моторный и немоторный аспекты функции базальных ганглиев.

Для решения вопроса о проекциях базальных ганглиев на мозжечок трем обезьянам инъецировали штамм N2c вируса бешенства в 2 подразделения дольки VII мозжечка: нижнюю полулунную дольку мозжечка (Crus II) и дольку VIIB. Время исследования было достаточным для осуществления двух стадий транспорта вируса. Наблюдали ретроградный транспорт вируса от места инъекции до нейронов первого порядка в ядрах моста, а затем – от этих нейронов первого порядка до нейронов второго порядка в субталамическом ядре (subthalamic nucleus, STN) базальных ганглиев.

STN можно подразделить на 3 региона [16]: сенсомоторный, получающий входы от первичной моторной и премоторных областей коры головного мозга, ассоциативный, получающий входы от фронтальных зрительных полей и областей префронтальной коры, и лимбический. Результаты инъекции вируса показали, что проекции от STN к коре мозжечка идут от всех трех регионов. Однако большинство нейронов STN, которые проецируются к Crus II, были найдены в ассоциативном регионе, тогда как большинство проецирующихся к VIIB нейронов были расположены в сенсомоторном регионе. Таким образом, анатомический субстрат для влияния обработки информации в базальных ганглиях на мозжечок существует как для моторных, так и не моторных функций мозга, в которых участвует мозжечок.

В целом, представленные данные позволяют предполагать, что базальные ганглии, мозжечок и кора мозга образуют единую интегрированную систему, осуществляющую как моторные, так и когнитивные функции мозга [17]. Подобные данные были получены и у людей [18] на основе магнитно-резонансного изображения, получаемого с помощью диффузионного спектра [19].

Мозжечок, базальные ганглии и кора головного мозга как интегрированная система

Данные о тесном взаимодействии между базальными ганглиями, мозжечком и корой мозга, подкрепленные доказательством взаимосвязи между мозжечком и базальными ганглиями на подкорковом уровне, вызвали появление разнообразных представлений о реализации функций и процессов обучения в интегрированной системе, которые могли приводить к радикально отличающимся выводам. Во многом такая ситуация связана с тем, что данные о взаимодействии трех структур головного мозга получены учеными разных научных дисциплин и, соответственно, разными методологическими подходами. Для преодоления этой проблемы междисциплинарным сообществом ученых, активно занимающихся исследованиями мозжечка, была опубликована согласованная статья [20], целью которой было обсуждение представлений о фундаментальных взаимодействиях между функциональными и пластическими процессами мозжечка, коры и базальных ганглиев, понимаемых как формирующих интегральную систему, лежащую в основе многих моторных и когнитивных функций.

Статья состоит из введения, девяти вложенных мини-статей [21-29], написанных учеными, представляющими различные научные дисциплины, включая нейрофизиологию, теоретическую нейронауку и нейропсихологию.

В первой мини-статье A.C. Bostan и P.L. Strick [21] представлены обзоры недавних нейрофизиологических и нейроанатомических свидетельств связей мозжечка с корой головного мозга и базальными ганглиями. В следующих двух статьях P.F.M.J. Verschure et al. и H. Jörntell [22, 23] развивают системный взгляд на взаимосвязи мозжечка, частично опираясь на анализ A.C. Bostan и P.L. Strick, P.F.M.J. Verschure et al. рассматривают интересное предположение о том, что нуклео-оливарный путь, осуществляющий двустороннюю связь межу верхней оливой и фастигиальным ядром мозжечка, балансирует вклад обратной связи (опосредуемый ядрами ствола мозга) и фид-форвардные (мозжечковые) способы моторного контроля. H. Jörntell представляет обзор спинальных входов в мозжечок, анализируя, как эти входы позволяют мозжечку быть информированным о степени возбуждения нижнего уровня моторных функций. Он также предположил, что важной ролью мозжечка является способность организации связи многих спинальных входов друг с другом в специфических условиях внешнего окружения.

Работа J. Houk [24] обеспечивает теоретический системный взгляд на взаимодействие петель мозжечок–кора и базальные ганглии–кора в воздействии на процессы обучения и управления. В подобном направлении K. Doya [25] подробно развивает предложенную им раньше теорию моторного контроля и обучения, основанную на идее использования отличающихся алгоритмов обучения в различных структурах мозга, с учетом недавних данных о нейрональных цепях связи между мозжечком и базальными ганглиями, обсуждаемыми A.C. Bostan и P.L. Strick [21].

Опираясь на недавние экспериментальные данные, R.C. Miall [26] предполагает, что мозжечок может обеспечивать одиночную операцию, действующую как краткосрочный предиктор в системе мозжечок–базальные ганглии–кора. Он также обсуждает данные о среднесрочных эффектах консолидации памяти после обучения в этой системе. A. Largo-Rodriguez и J.M. Galea [27] подчеркивают важность использования в изучении роли мозжечка в моторном контроле и его взаимодействии с другими областями мозга неинвазивной техники (такой, как транскраниальная магнитная стимуляция или транскраниальная стимуляция постоянным током).

В статьях [28, 29] приводятся несколько примеров последствия ненормальных взаимодействий между мозжечком, базальными ганглиями и корой. T. Popa и A. Kishore [28] обсуждают данные о том, как влияют нарушения механизмов пластичности мозжечка на развитие болезни Паркинсона и дискинезии. В мини-статье D. Calgiore et al. [29] обсуждаютcя недавние данные, подтверждающие участие мозжечка в механизме болезни Паркинсона, и некоторые кортикально-субкортикальные нейрональные цепи в системе мозжечок–базальные ганглии–кора, которые могли быть вовлечены в существование тремора Паркинсона в покое.

Как сама согласованная статья, так и в большей степени заключительная дискуссия междисциплинарного коллектива ее авторов показали, что интегративный характер динамики системы мозжечок-базальные ганглии-таламус-кора головного мозга является яркой и относительно новой темой, которая уже способствует развитию практических исследований, компьютерных экспериментов и теоретических гипотез. И хотя определенные согласованные заключения о том, как мозжечок работает в синергии с базальными ганглиями и областями коры, еще не достигнуты, все авторы согласованной статьи осознают главенствующую важность изучения функции мозжечка на основании широкой, системного уровня точки зрения, которая полностью признает постоянное тесное взаимодействие этой функции с различными областями мозга.

В статье рассматривается широкий спектр тем, некоторые из которых взаимосвязаны, тогда как другие являются новыми и даже спекулятивными, следовательно, требующими будущих исследований. Комбинация и разработка приведенных в статье идей являются первым шагом к новому согласованию представлений о функции мозжечка в более обширных сетях головного мозга и, по мнению авторов, будут способствовать появлению радикально различных гипотез функционирования и процессов обучения в мозжечке, базальных ганглиях и коре мозга.

Интеграция процессов обучения в системе кора головного мозга–мозжечок–базальные ганглии

Несмотря на большое количество данных, свидетельствующих об анатомической и функциональной взаимосвязи между корой, мозжечком и базальными ганглиями [20], различные процессы обучения, используемые в этих структурах мозга, как правило, изучаются изолированно, игнорируя механизмы, участвующие в динамическом взаимодействии взаимосвязанных структур во время выработки и адаптации различных двигательных навыков. Предложена гипотеза “суперобучения”, основанная на существовании высоко интегрированной системы, объединяющей различные механизмы обучения в эффективный суперобучающий процесс, который обеспечивает гибкое моторное поведение [30]. Термин “суперобучение” не относится к новой парадигме обучения. Правильнее, он обозначает стимулирование обучения при совместной работе различных механизмов обучения во многих отделах мозга.

В основе такого подхода к обучению в рассматриваемых структурах головного мозга лежит гипотеза структурной специализации обучения, сформулированная K. Doya [31, 32]. В своей гипотезе K. Doya использует понятия трех видов (алгоритмов) обучения: неуправляемое обучение, управляемое обучение и обучение с подкреплением, которые, соответственно, он привязывает к коре головного мозга, мозжечку и базальным ганглиям.

Неуправляемое обучение используется в мозге для картирования воспринимаемого окружения благодаря выделению коррелированных событий на входе и может, например, объяснить такие процессы развития, как формирование рецептивных полей [33]. Неуправляемое обучение может осуществляться с помощью механизмов Хебба таким образом, что коррелированные сенсорные и двигательные события станут связанными. Различные варианты обучения по Хеббу реализуют непрерывное усиление одних синапсов и одновременное ослабление других в связи с недавними паттернами совместной активности нейронов. Например, усиление синаптической передачи произойдет, если постсинаптический нейрон разрядится сразу же после пресинаптического. Такой процесс вызовет усиление постсинаптических возбудительных потенциалов, которое длится минуты или часы (длительная потенциация, LTP). Если события развиваются в обратном порядке так, что пресинаптический нейрон разряжается после постсинаптического, происходит длительное ослабление синаптической передачи (длительная депрессия, LTD). Существует широкий класс вариантов обучения по Хеббу, каждый из которых способен вызывать LTP и LTD и, тем самым, формировать сложные сети нейронов [34].

При управляемом обучении некоторый внутренний нейрональный компонент или внешний фактор обуславливает желаемый выходной паттерн (например, желаемый план действия), который нервная сеть должна выдать в ответ на определенный входной паттерн. Основываясь на ошибке между желаемым паттерном и текущим выходом сети, эта управляемая сеть учится вырабатывать желаемый выход [35]. Процесс обучения основан на минимизации ошибки, которая обеспечивает такую динамику ошибки во времени, которая уменьшает ее среднее значение за сеанс тренировки. Важным различием между управляемым и неуправляемым видами обучения является то, что в первом случае прочность соединения зависит лишь от разницы между активностью постсинаптических нейронов и обучающим сигналом вне зависимости от уровня обоих. Модифицируемые синапсы, которые активны одновременно с обучающими сигналами, усиливаются, длительно потенцируются или ослабляются и длительно подавляются, в зависимости от того, что уменьшает текущее различие между активностью нейронов и управляющим сигналом. Преобразование, передаваемое обучающим сигналом, может быть заучено так, что однажды установившееся, оно будет сохраняться нервной сетью в отсутствие активности обучающего сигнала.

Целью обучения с подкреплением является максимизация величины полезности будущего действия выбора. Результат каждого действия оценивается на основе вознаграждения (или штрафа), которое это действие впоследствии вызывает. Выбор системой различных действий, следовательно, модифицируется в зависимости от получаемого вознаграждения [36].

В последние годы тщательный анализ трех видов обучения и попытки связать их использование с различными структурами головного мозга составляла важную задачу исследований различных нейронаук [37]. Несмотря на большое количество данных, свидетельствующих об анатомических и функциональных связях между корой, мозжечком и базальными ганглиями, образовании ими единой интегрированной системы [17, 18], различные виды обучения, реализуемые в этих структурах головного мозга, изучаются, как правило, изолированно. При этом игнорируются механизмы их динамического взаимодействия во время приобретения двигательных навыков [20]. Раздельные исследования неуправляемого, управляемого видов обучения и обучения с подкреплением требуют изоляции от окружающей среды тренировочной информации, используемой для одного вида обучения (например, регулярность воспринимаемой среды при неуправляемом обучении или характер и величина вознаграждения при обучении с подкреплением). Такие исследования также исключают понимание того, как мозг справляется с обилием тренировочной информации в реальных задачах обучения, когда комбинации всех трех механизмов обучения являются скорее правилом, чем исключением.

В гипотезе “суперобучения” [30] предполагается, что интегральный способ функционирования коры, мозжечка и базальных ганглиев основан на тесном взаимодействии между процессами неуправляемого обучения, управляемого обучения и обучения с подкреплением. Предполагается также, что ключевые особенности этих видов обучения взаимодействуют различными путями в соответствии со спецификой задачи обучения, запуская, таким образом, процесс суперобучения, вовлекающий всю систему кора–мозжечок–базальные ганглии. Этот процесс имеет две критические особенности: 1) кортико-субкортикальную иерархическую организацию выбора нейронального паттерна, действующего при различных уровнях пространственной и временнóй детализации; 2) комбинированное действие различных нейромодуляторов, которые управляют совместным использованием видов обучения в трех структурах мозга.

Авторы обсуждают, как гипотеза может объяснить кажущееся избыточным существование системы кора–мозжечок–базальные ганглии для решения проблем моторного обучения. Сначала они обсуждают анатомо-физиологические особенности, лежащие в основе вычислительных процессов, которые способствуют синергичному взаимодействию между неуправляемым обучением, управляемым обучением и обучением с подкреплением. Кроме того, они обосновывают более глубокий анализ процессов суперобучения, описывая общую анатомическую архитектуру двух основных иерархических структур мозга, в которых осуществляется суперобучение: формируемую корковыми путями, а также вовлекающую петли базальные ганглии–таламус–кора и мозжечково-таламо-кортикальные петли.

Интеграция процессов трех видов обучения может осуществляться различными путями, которые могут быть сгруппированы в 3 различных общих класса.

В первый класс процессов, с помощью которых различные механизмы обучения могут взаимодействовать, входят процессы, осуществляющие содействие сигналов и трех видов обучения в одних и тех же нейрональных структурах. Например, кроме участия в обучении с подкреплением, сигналы, связанные с получением вознаграждения, могут также модулировать эффективность управляемого обучения [38], или процесс неуправляемого обучения может максимизировать передачу информации во время процессов управляемого обучения [39]. Влияние друг на друга взаимодействующих сигналов обучения в коре, базальных ганглиях и мозжечке может регулироваться диффузным действием нейромодуляторов, главным образом, допамином, норадреналином, серотонином и ацетилхолином. Например, допамин и серотонин важны при управлении обучением с подкреплением [40], но также при регуляции взаимодействия между процессами управляемого обучения и обучения с подкреплением [41]. Норадреналин далее поддерживает это взаимодействие, регулируя исследование/использование компоненты поведения методом проб и ошибок [38], тогда как ацетилхолин способствует консолидации взаимодействия между процессами неуправляемого обучения и обучения с подкреплением [42].

Ко второму классу механизмов, поддерживающих суперобучение, относятся механизмы с “конвейерной” организацией различных систем мозга, претерпевающих процессы неуправляемого, управляемого обучения и обучения с подкреплением. Порядок расположения обучающих механизмов в конвейерной последовательности зависит как от информации контекста (например, задачи для руки), так и состояния всего тела (например, текущих доминирующих потребностей и мотиваций). Кортико-субкортикальная иерархическая организация выбора нейронального паттерна, действующая при различных уровнях пространственной и временнóй детализации, поддерживает конвейерную организацию различных процессов обучения. В такой организации кора (например, париетальные ассоциативные области) может использовать механизмы неуправляемого обучения для извлечения подходящей информации из систем восприятия и передачи в базальные ганглии, которые затем используют обучение с подкреплением, чтобы получить возможность необходимых действий на уровне моторной коры [43].

Третий класс механизмов, поддерживающих суперобучение, вовлекает реципрокные влияния различных компонентов мозга (например, базальные ганглии и мозжечок), используя различные механизмы обучения путем взаимодействия их выходов. В частности, это происходит, когда выходная часть определенной сети активируется выходом второй сети, а это влияет на обучающие процессы первого компонента. Это влияние осуществляется благодаря тому факту, что выход нейрональной структуры критически важен для управления их обучающих процессов путем как обучения с подкреплением, так и управляемого обучения. Реципрокное влияние двух нейрональных сетей может происходить потому, что или два компонента делят общий выходной участок, или выходной участок одной сети достигает выходного участка другого с помощью подходящих нейрональных связей. И в этом случае, какая сеть является обучающей, а какая обучаемой, может зависеть как от контекстной информации, так и от текущих мотиваций. Так, в случае моторной адаптации, когда существующий моторный навык должен быть скорректирован при изменении внешних условий, в которых он вырабатывался, обучение с подкреплением, вовлекающее базальные ганглии, может быть критичным для быстрой выработки полного решения проблемы, улучшая исполнение, но, не достигая фонового уровня. Затем процесс управляемого обучения, возможно, с вовлечением мозжечка, может усовершенствовать начальное решение, постепенно восстанавливая фоновый уровень исполнения [44].

Авторы гипотезы суперобучения [30] в первую очередь рассматривают ее использование при анализе моторной адаптации, так как она включает в себя обучение основных блоков поведения, моторных актов, и, в то же время, существует необходимое количество экспериментальных данных об этом. Моторная адаптация отличается от обучения новому навыку. Она заключается в коррекции существующего моторного навыка, когда изменяются условия, в которых он формировался. Моторная адаптация вовлекает процессы обучения, ведомые ошибкой сенсорного предсказания, основанной на ожидании сенсорной активности во время выполнения навыка.

Предполагается, что в начальный период моторной адаптации базальные ганглии выделяют в моторной коре грубый моторный паттерн, который представляет собой быстрое, но приблизительное решение в новых условиях. Это может осуществляться как методом проб и ошибок в изменении поведения, так и с помощью когнитивных стратегий, которые могут направлять поиск решения. Активность мозжечка и нескольких кортикальных областей, относящихся к дорсальному пути, критична для сигнала, который необходим для процесса адаптации. Мозжечок корректирует перцептуальные предсказания о сенсорных последовательностях своей собственной активности. Эта функция осуществляется сравнением внутренних предсказаний о сенсорных последовательностях, вызванных собственной активностью, с реальной афферентацией, кодируемой соматосенсорной корой, тем самым выделяя афферентную компоненту, связанную с внешним воздействием. Внутреннее предсказание основано на связанных с движениями сигналах, включая эфферентную копию моторной команды и сенсорную информацию о состоянии тела [45]. В случае соответствия между внутренними предсказаниями последствий собственных действий и афферентацией, последняя может интерпретироваться как результат собственных действий (реафферентация). В случае несовпадения между внутренними предсказаниями о сенсорных последствиях собственных действий и афферентацией различие соответствует внешнему сенсорному событию, вызванному, например, возмущением движения. Таким образом, это различие может служить пусковым сигналом, информирующим систему базальные ганглии–кора о необходимости начала процесса адаптации.

Благодаря своей способности реагировать на получаемую обратную связь базальные ганглии могут генерировать конечное положение (например, путем выбора моторной программы в премоторных областях коры) и грубую траекторию, возвращающую исполнение к фоновому уровню [46]. Мозжечок может получить это решение путем управляемого обучения, используя выход базальных ганглиев в качестве желаемого плана действия. Для передачи информации об этом плане могут быть полезными таламо-кортико-мозжечковые цепи и недавно открытая связь базальных ганглиев с мозжечком [12]. Далее мозжечок может уточнить движение, основываясь на коррекции обратная связь-ошибка. В дополнение нейрональный шум может поддерживать нахождение более тонкого решения путем изучения нескольких подобных нейрональных паттернов, близких к грубому паттерну, выбранному базальными ганглиями [47]. Таким образом, исполнение может быть полностью восстановлено до фонового уровня.

Существование этих нейрональных механизмов поддерживается весомыми экспериментальными данными. Предполагаемое ранее участие базальных ганглиев, за которым следует вовлечение мозжечка, согласуется с данными, показывающими, что во время моторной адаптации происходит ранняя активация областей полосатого тела с последующей активацией областей мозжечка [44]. Аналогичным образом фМРТ-исследования зрительно-моторной адаптации показали активацию в базальных ганглиях и нескольких корковых областях на ранних стадиях адаптации [48] с последующей активацией в мозжечке, наблюдаемой во время обучения. Позитронно-эмиссионная томография исследования адаптации к изменениям силового поля обнаружили билатеральную активацию в дорсолатеральной префронтальной коре и париетальных областях на ранних этапах обучения, тогда как позднее активация, связанная с обучением, сдвигалась к левым премоторным и правым мозжечковым областям [49].

Недавние исследования M.W. Mathis et al. продемонстрировали, что торможение соматосенсорной коры после частичной адаптации блокировало дальнейшую адаптацию, подтверждая критическое значение вовлечения этой области коры в сенсомоторную адаптацию [50]. К тому же, существуют данные, предполагающие, что допаминэргические сигналы, связанные с получением вознаграждения, которые могли бы отмечать грубые нейрональные паттерны (представляющие, например, конечную цель движения) в базальных ганглиях, в то же время обеспечивают сигнал обучения к мозжечку [41]. Сигнал обучения, используемый механизмом управляемого обучения, действующим в мозжечке, мог бы задаваться комбинацией шума моторного сигнала [47] и допаминового сигнала (например, сигнала подкрепления). Этот сигнал обучения мог бы передаваться субталамо-понтинно-мозжечковой связью и модулировать чувствительность мозжечка к входящим сигналам ошибки. Таким путем базальные ганглии и допаминэргическая система могут управлять коррекцией форвардных (и, возможно, инверсных) моделей мозжечка, основанных на предсказании вознаграждения или штрафа. Эта точка зрения поддерживается недавними данными, показывающими, что гранулярные клетки мозжечка кодируют ожидаемое подкрепление [51] и что подкрепление и штраф различно влияют на моторную адаптацию [52].

Скорость обучения мозжечка может модулироваться ожидаемой пользой действий. Поэтому быстрое освоение нового окружения или новых действий в существующем, ведомое действием отбора в базальных ганглиях, может потенциально разрушить модели в системе, сформированной мозжечком, корой и базальными ганглиями. Скорость обучения должна быть уменьшена, чтобы защитить существующие моторные навыки. Однако, если новые действия ассоциируются с более высоким вознаграждением (или штрафом), то обучение мозжечка могло бы активизироваться, чтобы оптимизировать выполнение этих действий. Другими словами, базальные ганглии могли бы быть первичными в коррекции форвардных моделей мозжечка, основанных на предсказании вознаграждения или штрафа [37].

ЗАКЛЮЧЕНИЕ

В последнее время в исследованиях моторных и когнитивных функций головного мозга животных и человека обнаружен ряд новых экспериментально обоснованных фактов. Часть из них явно противоречит традиционным представлениям о работе головного мозга, другая часть является экспериментальным подтверждением ранее высказанных гипотез или обоснованием новых, откровенно спекулятивных. Тем не менее, для адекватного анализа результатов, получаемых в области нейронаук и в клинических исследованиях, необходимо учитывать эти новые факты и гипотезы, изложение наиболее важных из которых являлось целью настоящего обзора. Наиболее перспективным является новое представление о том, как взаимодействие между корой, мозжечком и базальными ганглиями могло бы порождать механизм суперобучения, который путем интеграции механизмов неуправляемого обучения, управляемого обучения и обучения с подкреплением обеспечивает гибкое моторное поведение. Оно содержит описание предполагаемых специфических механизмов, связанных с динамическим взаимодействием между этими тремя формами обучения во время последовательного моторного обучения и моторной адаптации. Следует отметить особую актуальность исследования закономерностей моторной адаптации, связанную с увеличением в наше время объема деятельности человека в непривычных условиях, например, в условиях микрогравитации.

Финансирование работы. Работа выполнена в рамках базовой темы РАН № 63.1.

Список литературы

  1. Marconi B., Genovesio A., Battaglia-Mayer A. et al. Eye–hand coordination during reaching. I. Anatomical relationships between parietal and frontal cortex // Cereb. Cortex. 2001. V. 11. № 6. P. 513.

  2. Fleming J.F., Crosby E.C. The parietal lobe as an additional motor area; the motoreffects of electrical stimulation and ablation of cortical areas 5 and 7 in monkeys // J. Comp. Neurol. 1955. V. 103. № 3. P. 485.

  3. Mountcastle V.B., Lynch J.C., Georgopoulos A. et al. Posterior parietal association cortex of the monkey: command functions for operations within extrapersonal space // J. Neurophysiol. 1975. V. 38. № 4. P. 871.

  4. Rathelot J.A., Dum R.P., Strick P.L. Posterior parietal cortex contains a command apparatus for hand movements // PNAS. 2017. V. 114. № 16. P. 4255.

  5. Gardner E.P. Neural pathways for cognitive command and control of hand movements // PNAS. 2017. V. 114. № 16. P. 4048.

  6. Mazurek K.A., Schieber M.H. Injecting instructions into premotor cortex // Neuron. 2017. V. 96. № 6. P. 1282.

  7. Lebedev M.A., Ossadtchi A. Commentary: injecting instructions into premotor cortex // Front. Cell. Neurosci. 2018. V. 12. P. 65.

  8. Bouton C.E., Shaikhouni A., Annetta N.V. et al. Restoring cortical control of functional movement in a human with quadriplegia // Nature. 2016. V. 533. № 7602. P. 247.

  9. Capogrosso M., Milekovic T., Borton D. et al. A brain-spine interface alleviating gait deficits after spinal cord injury in primates // Nature. 2016. V. 539. № 7628. P. 284.

  10. Middleton F.A., Strick P.L. Basal ganglia and cerebellar loops: motor and cognitive circuits // Brain Res. Rev. 2000. V. 31. № 2–3. P. 236.

  11. Dum R.P., Strick P.L. Transneuronal tracing with neurotropic viruses reveals network macroarchitecture // Cur. Opin. Neurobiol. 2013. V. 23. № 2. P. 245.

  12. Bostan A.C., Dum R.P., Strick P.L. The basal ganglia communicate with the cerebellum // PNAS. 2010. V. 107. № 18. P. 8452.

  13. Hoshi E., Tremblay L., Féger J. et al. The cerebellum communicates with the basal ganglia // Nat. Neurosci. 2005. V. 8. № 11. P. 1491.

  14. Bostan A.C., Strick P.L. The cerebellum and basal ganglia are interconnected // Neuropsychol. Rev. 2010. V. 20. № 3. P. 261.

  15. Strick P.L., Dum R.P., Fiez J.A. Cerebellum and nonmotor function // Ann. Rev. Neurosci. 2009. V. 32. P. 413.

  16. Hamani C., Saint-Cyr J.A., Fraser J. et al. The subthalamic nucleus in the context of movement disorders // Brain. 2004. V. 127. № 1. P. 4.

  17. Bostan A.C., Strick P.L. The basal ganglia and the cerebellum: nodes in an integrated network // Nature Rev. Neurosci. 2018. V. 19. № 6. P. 338.

  18. Pelzer E.A., Hintzen A., Goldau M. et al. Cerebellar networks with basal ganglia: feasibility for tracking cerebello-pallidal and subthalamo-cerebellar projections in the human brain // Eur. J. Neurosci. 2013. V. 38. № 8. P. 3106.

  19. Wedeen V.J., Hagmann P., Tseng W. et al. Mapping complex tissue architecture with diffusion spectrum magnetic resonance imaging // Magn. Reson. Med. 2005. V. 54. № 6. P. 1377.

  20. Caligiore D., Pezzulo G., Baldassarre G. et al. Consensus paper: towards a systems-level view of cerebellar function: the interplay between cerebellum, basal ganglia, and cortex // Cerebellum. 2017. V. 16. № 1. P. 203.

  21. Bostan A.C., Strick P.L. Cerebellar connections with the cerebral cortex and the basal ganglia. In: Caligiore D., Pezzulo G., Baldassarre G. et al. Consensus paper: towards a systems-level view of cerebellar function: the interplay between cerebellum, basal ganglia, and cortex // Cerebellum. 2017. V. 16. № 1. P. 205.

  22. Verschure P.F.M.J., Zucca R., Herreros I. Regulating the recruitment of the cerebellum via the nucleo-olivary inhibition // In: Ibid. P. 207.

  23. Jörntell H. Spinocerebellar circuitry–consequences for the organization of neocortical motor control // In: Ibid. P. 209.

  24. Houk J. The DPM architecture for learning and control // In: Ibid. P. 210.

  25. Doya K. Cerebellum and basal ganglia work together for model-based actions // In: Ibid. P. 212.

  26. Miall R.C. A systems-level view of cerebellar motor and cognitive function // In: Ibid. P. 214.

  27. Lago-Rodriguez A., Galea J.M. What have we learnt from non-invasive brain stimulation studies regarding the role of the cerebellum and its interactions with other brain regions in motor control and learning? // In: Ibid. P. 215.

  28. Popa T., Kishore A. Cerebellar modulation of cortical plasticity in basal ganglia-related movement disorders // In: Ibid. P. 216.

  29. Caligiore D., Helmich R.C., Dirkx M., Baldassarre G. The basal ganglia-cortical-cerebellar network in Parkinson’s resting tremor // In: Ibid. P. 219.

  30. Caligiore D., Arbib M.A., Miall R.C., Baldassarre G. The super-learning hypothesis: integrating learning processes across cortex, cerebellum and basal ganglia // Neurosci. Biobehav. Rev. 2019. V. 100. P. 19.

  31. Doya K. What are the computations of the cerebellum, the basal ganglia and the cerebral cortex? // Neural Netw. 1999. V. 12. № 7–8. P. 961.

  32. Doya K. Complementary roles of basal ganglia and cerebellum in learning and motor control // Cur. Opin. Neurobiol. 2000. V. 10. № 6. P. 732.

  33. Brito C.S.N., Gerstner W. Nonlinear Hebbian learning as a unifying principle in receptive field formation // PLoS Comput. Biol. 2016. V. 12. № 9. P. e1005070.

  34. Ngezahayo A., Schachner M., Artola A. Synaptic activity modulates the induction of bidirectional synaptic changes in adult mouse hippocampus // J. Neurosci. 2000. V. 20. № 7. P. 2451.

  35. Knudsen E.I. Supervised learning in the brain // J. Neurosci. 1994. V. 14. № 7. P. 3985.

  36. Niv Y. Reinforcement learning in the brain // J. Mathemat. Psychol. 2009. V. 53. № 3. P. 139.

  37. Miall R.C., Galea J. Cerebellar damage limits reinforcement learning // Brain. 2016. V. 139. № 1. P. 4.

  38. Doya K. Metalearning and neuromodulation // Neural Netw. 2002. V. 15. № 4–6. P. 495.

  39. Schweighofer N., Doya K., Layc F. Unsupervised learning of granule cell sparse codes enhances cerebellar adaptive control // Neurosci. 2001. V. 103. № 1. P. 35.

  40. Fischer A.G., Ullsperger M. An update on the role of serotonin and its interplay with dopamine for reward // Front. Hum. Neurosci. 2017. V. 11. P. 484.

  41. Schweighofer N., Doya K., Kuroda S. Cerebellar aminergic neuromodulation: towards a functional understanding // Brain Res. Rev. 2004. V. 44. № 2–3. P. 103.

  42. Fonollosa J., Neftci E., Rabinovich M. Learning of chunking sequences in cognition and behavior // PLoS Comput. Biol. 2015. V. 11. № 11. P. e1004592.

  43. Gurney K., Prescott T.J., Redgrave P. A computational model of action selection in the basal ganglia. I. A new functional anatomy // Biol. Cybern. 2001. V. 84. № 6. P. 401.

  44. Doyon J., Penhune V., Ungerleider L.G. Distinct contribution of the cortico-striatal and cortico-cerebellar systems to motor skill learning // Neuropsychologia. 2003. V. 41. № 3. P. 252.

  45. Wolpert D.M., Diedrichsen J., Flanagan J.R. Principles of sensorimotor learning // Nat. Rev. Neurosci. 2011. V. 12. № 12. P. 739.

  46. Dudman J.T., Krakauer J.W. The basal ganglia: from motor commands to the control of vigor // Cur. Opin. Neurobiol. 2016. V. 37. P. 158.

  47. Thorp E.B., Kording K.P., Mussa-Ivaldi F.A. Using noise to shape motor learning // J. Neurophysiol. 2017. V. 117. № 2. P. 728.

  48. Seidler R.D., Noll D.C., Chintalapati P. Bilateral basal ganglia activation associated with sensorimotor adaptation // Exp. Brain Res. 2006. V. 175. № 3. P. 544.

  49. Shadmehr R., Holcomb H.H. Neural correlates of motor memory consolidation // Science. 1997. V. 277. № 5327. P. 821.

  50. Mathis M.W., Mathis A., Uchida N. Somatosensory cortex plays an essential role in forelimb motor adaptation in mice // Neuron. 2017. V. 93. № 6. P. 1493.

  51. Wagner M.J., Kim T.H., Savall J. et al. Cerebellar granule cells encode the expectation of reward // Nature. 2017. V. 544. № 7648. P. 96.

  52. Galea J.M., Mallia E., Rothwell J., Diedrichsen J. The dissociable effects of punishment and reward on motor learning // Nat. Neurosci. 2015. V. 18. № 4. 597.

Дополнительные материалы отсутствуют.