1. На главную
  2. Электронные версии
  3. Российский физиологический журнал им. И.М. Сеченова
  4. T. 106, № 4, 2020

Российский физиологический журнал им. И.М. Сеченова, 2020, T. 106, № 4, стр. 504-520

Перестройка активности нейронных сетей головного мозга человека при достижении порога распознавании фрагментированных изображений

К. Ю. Шелепин 1, Ю. Е. Шелепин 1, *

1 Институт физиологии им. И.П. Павлова РАН
Санкт-Петербург, Россия

* E-mail: yshelepin@yandex.ru

Поступила в редакцию 29.01.2020
После доработки 14.02.2020
Принята к публикации 23.02.2020

Полный текст (PDF)

Аннотация

Установлены общие закономерности перестройки нейронных сетей всего головного мозга человека при достижении порога распознавания изображений в условиях неопределенности. Этот результат достигнут с помощью сочетания цифрового синтеза динамических изображений и метода картирования активности головного мозга по BOLD (Blood-Oxygen-Level Dependent)-сигналу функциональной магнитно-резонансной томографии. Показано, что при достижении порога распознавания изображений объектов человеком в одних зонах головного мозга происходит увеличение BOLD сигнала, а в других зонах мозга – снижении активности нейронных сетей. Описаны зоны мозга, активность которых максимальна во время, соответствующее порогу распознавания, решения задачи, а также показано, что эта активность меньше при подпороговых и даже надпороговых условиях наблюдения динамических изображений. Выявлены зоны, где эта активность минимальна. Интерпретация данных проведена в рамках многоканальной и многоуровневой модели системы принятия решений о зрительных сигналах.

Ключевые слова: зрение, распознавание зрительных образов, неполное изображение, порог, принятие решения, цитоархитектоника мозга, визуализация активности мозга

В данной работе мы исследовали нейронные структуры головного мозга человека, которые участвуют в решении задач распознавания и классификации. Возможность решения этих задач относится к обширной области междисциплинарных исследований, направленных на решение гносеологических проблем построения зрительной картины мира и которые имеют практическую направленность как база создания новых технологий, востребованных практически во всех областях деятельности человека.

Уже более ста лет интенсивное изучение локализации механизмов, обеспечивающих процесс построения целостного зрительного образа, позволил установить в самых общих чертах организацию нейронных сетей, осуществляющих распознавание. К середине 20 века было выявлено, что локальные разрушения коры головного мозга приводят к самым разным нарушениям зрительного восприятия [1]. К концу 20 века интенсивные нейрофизиологические исследования зрительной коры позволили представить в самых общих чертах нейрофизиологические механизмы, обеспечивающие распознавание зрительных образов [2].

Существует огромное число моделей этого процесса, однако общим является то, что уже на первом этапе оптическое изображение запускает процесс адаптации и кодирования зрительной информации в рецептивных полях сетчатки. Выходы рецептивных полей ганглиозных клеток сетчатки с разными пространственно-временными характеристиками – это входы разнообразных каналов зрительной системы [3]. В рецептивных полях сетчатки происходит декорреляция статистических связей в изображениях [4].

Нейронные сети головного мозга обеспечивают восприятие и распознавание изображений, определяют глобальные статистические свойства изображений, выделяют локальные информативные признаки. Проблема заключается в том, при решении каких задач какой из этих механизмов доминирует. Психофизические и нейрофизиологические исследования как локального, так и глобального анализа в зрительной системе могут быть разделены на две группы: изучение пространственных механизмов и изучение временных характеристик этого процесса [5–13].

Исследование механизмов и алгоритмов реконструкции целостного объекта из фрагментированного является многообещающим в решении проблемы распознавания зрительных образов. Наш подход построен на основе представлений о выделении сигнала из шума в каналах первичной фильтрации, построения и распознавания образа согласованной фильтрации, воспринимаемого сигнала и инвариантного описания, извлекаемого из памяти [14, 15]. В последние годы согласованная фильтрация реализована в многоуровневых сверточных нейронных сетях глубокого обучения [16–18].

Исследование механизмов связывания фрагментов в единое целое позволяет установить: как осуществляется переход от оптического описания изображений к представлению этих объектов в зрительной системе; как зрительная система распознает целостный объект при наблюдении его фрагментов; как зрительная система выделяет физические свойства фрагментов; какие нейрофизиологические механизмы в зрительной системе обеспечивают сравнение фрагментов и объединение их в целостный образ.

Итак, мы рассматриваем два подхода к описанию восприятия неполных изображений: локальный – на основе локальных признаков, и глобальный – на основе статистических характеристик целостного изображения.

Изображение наблюдаемого объекта представлено в мозгу системой параллельных каналов – рецептивных информационных полей. Для выделения объекта и описания целостного образа-гештальта отклики этих полей должны быть связаны. В первичной зрительной коре эта взаимосвязь наиболее выражена между нейронами, выделяющими элементы контура с одной ориентацией. Изменение ориентации непрерывного контура и разрывы контура усложняют задачу [8, 9].

Для исследования порогов восприятия фрагментированных фигур мы применяем различные методы, и первым среди них является Голлин-тест [19, 20]. Голлин-тест заключается в предъявлении контурных изображений различной степени фрагментации и измерении порогового значения фрагментации, при котором происходит распознавание формы тестовой фигуры. На рис. 1 показан принцип формирования фрагментированных изображений в современной версии Голлин-теста [21–23].

Рис. 1.

Динамические тестовые изображения с уменьшением уровня незавершенности формирования контура. На картинке изображены только три уровня заполнения контура изображения тестового объекта. Вверху над 10% контуром даны возможные варианты мысленного завершения контура. Fig. 1. Dynamic test images with a decrease in the level of incomplete formation of the contour. The picture shows only three levels of filling the contour of the image of the test object. Above 10% of the contour are possible options for the mental completion of the contour.

Особый интерес представляет решение задачи определения локализации нейронной сети, резко изменяющей свою активность в момент достижения порога, соответствующего моменту формирования целостного образа. Этот момент достижения порога распознавания (в условиях неопределенности) может быть отождествлен с возникновением инсайта, “внезапного озарения”, обеспечивающего узнавание объекта в разрозненных фрагментах [22, 23]. Процесс достижения инсайта протекает неосознанно. Наблюдатель, видящий фрагменты, ожидает увидеть объект, но не знает какой. Знать пороги распознавания фрагментированных изображений важно, но не менее важно знать где, в каких нейронных сетях происходит связывание фрагментов в целостный образ.

Цель данной работы ‒ с помощью метода визуализации работы головного мозга изучить распределение активности крупномасштабных нейронных сетей головного мозга человека в процессе восприятия, а именно, перераспределение их активности до, при и после достижения порога распознавания неполных фрагментированных изображений тестовых объектов.

МЕТОДЫ ИССЛЕДОВАНИЯ

Дизайн исследования состоял из разработки системы тестов, динамического синтеза тестовых изображений, согласованных с методами визуализации динамики активности по Blood-Oxygen-Level Dependent (BOLD)-сигналу функциональной магнитно-резонансной томографии (фМРТ).

Система тестов и психофизические исследования

Проведенные исследования следуют принципам Хельсинской декларации, и одобрены Этическим комитетом СПБГУ.

В качестве динамических изображений выбран компьютеризированный Голлин-тест, запуск которого приводит к постепенно нарастающему контуру из случайно возникающих фрагментов [20–22]. Мы выбрали этот метод определения порога узнавания неполных фрагментированных изображений – компьютерный метод Голлин теста в последней версии, разработанной С.В. Прониным в Институте физиологии им. И.П. Павлова Российской академии наук (рис. 1). Программу читатель может скачать с сайта Оптического журнала [22]. Компьютерный метод Голлин-тест содержит набор (алфавит) из 72 контурных стилизованных изображений, объектов, знакомых каждому из повседневной жизни. Изображение каждого объекта стандартизировано по толщине контура и равно 8 пикселам экрана. Длина контура несколько варьировала от изображения одного объекта до другого. Так как стимулы имели одинаковые размеры, то длина контура изменяла сложность изображений. Применение изображений 72 объектов в наборе нивелировало эти различия. Задача испытуемого была распознать объект в одной серии исследований мысленно, назвать его, и классифицировать на объекты живой и неживой природы в другой. Для этого надо было нажать соответствующую левую или правую кнопку пульта испытуемого в момент классификации [22, 23]. Многолетняя работа позволяет утверждать, что Голлин-тест – это один из наиболее эффективных методов тестирования мозга. Этот метод является удобным и надежным. Ранее нами было показано, что порог распознавания в среднем при первом предъявлении равен 20%, но меняется и зависит от сложности рисунка, знакомства испытуемого с данным рисунком, с набором и с числом рисунков в наборе (размером алфавита стимулов), с методом исследования, техникой предъявления стимулов. Пороги зависят и от состояния испытуемого, от его возраста.

На рис. 1 показано изменение во времени тестового сигнала. Изображение 10% незавершенности вызывает состояние неопределенности, и воображение может создавать самые разнообразные формы. Так, по десяти процентам точек контура изображения, например, медведя можно построить и бублик, и зонтик, и другие объекты. Изображение 20% порогового уровня позволяет большинству людей уверенно распознать предъявляемый объект.

В психофизических исследованиях определяли порог распознавания в зависимости от процента заполнения контура изображений. В фМРТ исследованиях верхняя граница предъявления была ограничена 45% (не 100%, как на рис. 1). Ограничение накладывала необходимость не превышать суммарное время безопасного пребывания испытуемого в магнитном поле. Выбор данного теста – динамический сигнал (постепенное во времени заполнение контура различных контурных изображений живых и неживых объектов) был обусловлен возможностью контролировать условия стимуляции. Этот метод позволил последовательно предъявлять подпороговые, пороговые и надпороговые стимулы. Заполнение контура происходило по случайному закону. Компьютеризированная программа позволяет регулировать скорость нарастания заполнения контура, мы изменяли скорость заполнения контура. Эта возможность позволила нам согласовать скорость заполнения контура со скоростью изменения BOLD сигнала. Естественно, порог распознавания наступал в разное время от начала стимуляции. Была подобрана такая скорость предъявления фрагментов контура, чтобы время развития BOLD-сигнала и величина заполнения контура численно были равны.

Методы визуализации и измерения активности мозга

Методы цифрового синтеза динамических тестов Голлина были использованы для исследования активности крупномасштабных нейронных сетей мозга человека в условиях порогового распознавания. Для измерения активации мозга в момент предъявления стимулов мы проводили функциональную магнитно-резонансную томографию (фМРТ), которая позволяет визуализировать активацию разных областей мозга на основании измерения BOLD-сигнала – изменения локального кровотока. Существует взаимосвязь между кровотоком и активностью нейронов и глии. Метод визуализации активности человеческого мозга, в сочетании с разработанными нами временными и пространственными характеристиками цифрового синтеза тестовых сигналов, позволяет решить поставленную задачу.

Цифровая обработка изображений головного мозга была синхронизирована с разворачиванием поэлементного предъявление тестовых изображений. Синхронизация позволяет выявить активность крупномасштабных нейронных сетей в подпороговых, пороговых и сверхпороговых условиях. Мерой количественной оценки активности зон областей головного мозга, мы выбрали изменение величины BOLD-сигнала, синхронизированной с изменяющимся числом элементов стимулов. Для качественной оценки состояния мозга были построены карты распределенной активности нейронной сети при сигнале и относительно активности состояний, рассматриваемых в рамках базового режима мозга (REST).

Обработка данных фМРТ

Проводили расчет GLM, contrast vectors. Вероятность выбрали на уровне p = 0.01. Использовали универсальный 12-канальный DMX-512 конвертор сигналов (драйвер SPM-12) для обработки виртуальных срезов мозга по данным фМРТ и проводили дополнительную статистическую обработку.

Регистрация психоэмоциональной реакции в период до возникновения порога, в момент порога и после возникновения порога осуществлялась при помощи самотестирования испытуемого, электро-энцефалографии (ЭЭГ) и электромиографии (ЭМГ) лицевых мышц. Также регистрировались изменения диаметра зрачка и микротремор глаз.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

В психофизических исследования при разной скорости предъявления фрагментов была установлена взаимосвязь оптических свойств неполных (фрагментированных) изображений и порогов психофизического распознавания. Предъявление постоянно нарастающего числа элементов контура осуществляли с заполнением контура от 0 до 45%.

На рис. 1 представлены отдельные кадры из серии тестовых изображений теста Голлина. Уровень 10% заполнения контура намного ниже порога распознавания объекта. Представление заполнения контура приблизительно в 10% (от 0 до 15% представления контура) создает для наблюдателя неопределенность. Эта неопределенность, преимущественно в первом исследовании в распознавании и в принятии решений об изображении, позволяет наблюдателю лишь гадать и вообразить любую фигуру. На уровне около 20% заполнения контура при первом наблюдении данного набора стимулов возникает распознавание, т.е. контур, заполненный (в среднем) на 20% снимает неопределенность.

Изменение нарастания процента заполнения контура происходит медленно и согласованно с изменением BOLD-сигнала во времени. Мы подобрали время заполнения контура так, чтобы оно было численно равно проценту заполнения контура, необходимого для распознавания. Порог распознавания мы отождествили с моментом возникновения внезапного озарения – инсайтом, так как этот момент сопровождается всеми характерными для этого состояния реакциями организма. Визуализацию активации нейронных сетей, в ответ на предъявление медленного нарастания заполнения контура, мы провели в исследованиях фМРТ. Последующее наращивание заполнения контура тестового изображения не приводит к наращиванию отклика, а приводит к его постепенному уменьшению [22, 23].

Особенность фМРТ-измерений состоит в том, что интерес представляет не абсолютное значение BOLD-сигнала, а разница между его значением в разных состояниях испытуемого. При выполнении распознавания Голлин-теста исследовали карты распределения мозговой активности по BOLD-сигналу в момент предъявления стимула ‒ динамического изображения относительно распределенной активности нейронной сети базового режима мозга. Мы сравнивали изображения, отражающие активность разных зон мозга (отклик мозга) относительно состояния при отсутствии стимуляции (условного покоя, REST), и как разницу активности в момент достижения порога распознавания (относительно до порогового состояния), и в момент достижения порога распознавания (относительно после порогового состояния мозга). Сравнение “виртуальных срезов мозга” (по данным фМРТ) осуществляли на основании стандартных методов статистической обработки изображений в среде MatLab и SPM12. Мы сравнивали относительные величины откликов.

Были получены статистически достоверные различия максимальной активности мозга в момент достижения порога, т.е. в момент, когда наблюдатель внезапно видит в случайном паттерне точек или фрагментов контура целостный объект.

В момент достижения порога распознавания изображений объектов, на полученных нами с помощью фМРТ “срезах мозга”, активация зон мозга на основании статистического сравнения больше по отношению к покою и к величине активации при сверх-пороговой и пред-пороговой стимуляции. Важно отметить, что в момент достижения порога распознавания, наблюдается максимум общего числа активированных вокселов фМРТ-срезов.

Рассмотрим отклики отдельных областей головного мозга в наших исследованиях. Обычно, инерционность метода не позволяет определять динамику развития BOLD-сигнала как отклика мозга на тестовый сигнал в той или иной области головного мозга человека. Но мы предъявляли отдельные фрагменты со скоростью один фрагмент в секунду, “замедлили время” стимуляции. Этот экспериментальный прием позволил увидеть динамику изменения BOLD-сигнала именно при данных условиях стимуляции.

Реакция различных структур мозга была не однородна. Есть принципиальные отличия в откликах разных структур, и эти отличия развиваются в процессе стимуляции. Наглядно это проявляется при наблюдении динамики изменения BOLD-сигнала во времени.

Рассмотрим представленные на рис. 2 отклики основных областей затылочной коры, в так называемой зрительной коре. Первичная зрительная кора по классификации Бродмана – зона ВА17. Видимый на морфологических срезах коры четвертый слой дал название этой первичной зрительной коры как стриарной (полосатой) области. Следующие за ней зоны ВА18 и ВА19 получили название пара- и пери-стриарной коры соответственно [1].

Рис. 2.

Изменение во времени BOLD-сигнала важнейших областей затылочной доли мозга ВА17, 18 и 19 по Бродману, области ВА37 нижневисочной коры, расположенной на границе с затылочной и медиальной теменной коры. По оси абсцисс ‒ время и одновременно процент заполнения контура, численно равный моменту предъявления. По оси ординат – величина BOLD-сигнала в относительных единицах, называемая как Z-оценка. L – левое полушарие, R – правое полушарие. Fig. 2. The time-dependent change in the BOLD signal of the most important areas of the occipital lobe of the brain BA17, 18, and 19, according to Broadman, the region of VA37 of the inferior temporal cortex, located on the border with the occipital and medial parietal cortex. On the abscissa axis is the time and at the same time the percentage of filling the circuit, numerically equal to the moment of presentation. On the y-axis – the magnitude of the BOLD signal in relative units referred to as Z-score. L is the left hemisphere, R is the right hemisphere.

Мы видим (рис. 1) синхронность изменения BOLD-сигнала после начала предъявления. Сразу после начала предъявлений характерно торможение в первичной зрительной коре в ВА17, ВА18. В зонах ВА19 и ВА37 вначале наблюдается отсутствие реакции, а затем в ВА19 и ВА37 происходит неуклонное нарастание сигнала. В первичных областях зрительной коры ВА17, ВА18, вслед за торможением также происходит нарастание BOLD-сигнала. Но в ВА19 и ВА37 этот рост BOLD-сигнала более значительный.

Максимум ответа наблюдается в зоне ВА37. Важно отметить, что этот максимум совпадает с моментом распознавания, он равен 20% заполнению контура. Таким образом, он соответствует психофизическим данным величины заполнения контура при пороге распознавания в условиях, когда испытуемый впервые видит данный алфавит (набор) стимулов. Это средняя величина для всей группы испытуемых. Время по шкале абсцисс поэлементного вывода фрагментов контура подобрано эмпирически.

Изменение откликов разных зон мозга на изменение во времени входного сигнала отражают работу мозга и многие из них находятся в оппонентных взаимоотношениях. Судя по изменениям BOLD-сигнала, при достижении порога распознавания затылочные структуры увеличивают свою активность, а другие, например, медиальная теменная ВА7М, снижают свою активность. Изменение кровотока во времени в ВА7 (предклинье – precuneus) теменной коры в ВА37 задневисочной коры представлены на рис. 1. Видны выраженные оппонентные взаимоотношения между зонами. Заметим, что справа отклики зоны ВА37 и ВА7 (предклинья) более выражены, чем слева. Иными словами, отклики работы в затылочно-задневисочной коре, называемой еще перистриарной корой, ВА37 ведут себя оппонентно к откликам в теменной коре. Максимум отклика в зонах ВА19 и ВА37, соответствуют моменту распознавания. В этот момент активации ВА37 и ВА19 происходит относительное торможение активности в теменной коре ВА7, преимущественно в ее медиальной части в предклинье.

Ростральнее поля 37 (ВА37) расположены важные зоны слуховой и “ассоциативной” коры – ВА21 и ВА22 (рис. 3). На этом же рисунке представлены отклики задней части лимбической коры ВА23 и ВА38 – полюс височной коры. Область BA21 височной коры головного мозга человека обрабатывает слуховые и речевые сигналы. ВА38 – самая ростральная часть височной коры имеет сложную сеть связей с областями височных долей (BA21 и ВА22), что предполагает и ее участие в сложной речевой функции, согласовании со зрительным описанием. Известны связи данной зоны со зрительными областями с ВА37 и затылочной доли мозга. Область ВА20 у человека в нижней височной извилине коры головного мозга в обработке зрительных сигналов и зрительной памяти в связи со значение распознаваемого объекта для человека. Область ВА21 височной коры играет существенную роль в обработке слуха и речи. Область BA23 (на схеме не видна) расположена медиально, это задней поясной извилины, лимбической коры. Рассмотрим отклики этих зон в наших исследованиях. Ответ этих зон слуховой и “ассоциативной” коры совершенно другой по сравнению с откликами затылочной коры и ВА37, представлены на рис. 3.

Рис. 3.

Изменения BOLD-сигнала в височной доле Бродману ВА21, 22, 38 и задней лимбической коре в ВА23. По оси абсцисс ‒ время от начала предъявления стимула и соответствующей ему численно процент предъявления контура. По оси ординат ‒ значение BOLD-сигнала в относительных единицах Z оценки предъявления. L – левое полушарие, R – правое полушарие. Fig. 3. Changes in the BOLD signal in the temporal lobe according to Broadman VA21, 22, 38 and the posterior limbic cortex in VA23. On the abscissa, the time from the beginning of the presentation of the stimulus and the corresponding percentage of presentation of the contour. On the ordinate axis, the value of the BOLD signal in relative units Z of the presentation estimate. L is the left hemisphere, R is the right hemisphere.

В этих зонах, которые относятся к слуховой, “ассоциативной” части височной и к лимбической коре, отклики мозга, регистрируемые по BOLD-сигналу, развиваются в течение первых 15 с после начала стимуляции, т.е. задолго до порога распознавания, равного 20% контура. Аналогичную форму отклика в первые 15 с имели и области теменной части ВА7, захватывающей медиальную поверхность коры (ответы теменной коры здесь не показаны).

Отклики мозга (по BOLD-сигналу), представленные на рис. 3, имеют общую форму, хотя и несколько варьируют от зоны к зоне. Интересно отметить, что активация наиболее выражена именно на первые, еще случайно разбросанные по экрану точки, – фрагменты будущего контура. Только после 15% контура начинает неясно вырисовываться контур объекта. Первоначальные очертания вызывают у наблюдателя состояние неопределенности в принятии решений. Из рис. 3 видно, что в момент неопределенности (до пороговый), в зонах ВА21, ВА22, ВА23 и ВА38 активность мозга существенно увеличивается. Однако, к моменту достижения порога распознавания и в пост-пороговый период снижается.

Таким образом, отклик на формирование из случайных скоплений точек некоего паттерна, как мы видим, различен в разных областях. В одних он проявляется увеличением активности, как в ВА37, ВА19 (см. рис. 2), а в других – снижением активности, как например, в височной, лимбической и теменной области ВА7, преимущественно в ее медиальной части, в precunius.

Рассмотрим отклики во фронтальной коре. Нейронные сети в лобных долях работают своеобразно. Зона ВА9 и ВА10 демонстрируют слабые отклики, но значимые отличия. Активность зоны BA9 не изменяется, а зона BA10 уменьшает активность. Торможение активности зоны BA10 лобной коры в момент развития достижения порога распознавания значимо сильнее в левом полушарии. Реакции зон лобной коры ВА44 и ВА46 представлены на рис. 4. В зоне ВА46 (справа) развивается выраженная активация во время распознавания зрительного сигнала.

Рис. 4.

Изменение во времени BOLD-сигнала в префронтальной коре ВА44, ВА46 и ВА10, ВА9. По оси абсцисс ‒ время от начала предъявления стимула и соответствующей ему численно процент предъявления контура. По оси ординат ‒ значение BOLD-сигнала в относительных единицах Z оценки предъявления. L – левое полушарие, R – правое полушарие. Fig. 4. The change in time of the BOLD signal in the prefrontal cortex BA44, BA46 and BA10, BA9. The abscissa is the time from the beginning of the presentation of the stimulus and the corresponding percentage of the presentation of the contour. On the ordinate axis, the value of the BOLD signal in relative units Z of the presentation estimate. L is the left hemisphere, R is the right hemisphere.

Изменения BOLD-сигнала в лобных долях отличаются в левом и в правом полушариях. Так, именно в правом полушарии ВА46 активируется значительно сильнее, чем в левом в тот момент, когда достигается порог распознавания. На рис. 4 мы видим, что этот ответ возникает несколько позднее срабатывания крупномасштабной нейронной сети, обеспечивающей распознавание, и включающей ВА37, хотя эта задержка значима, но надо относится с осторожностью, так как сам метод фМРТ и развитие BOLD-сигнала во времени инерционно.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Для решения задачи визуализации процесса распознавания, по изменению активности различных структур головного мозга человека, был разработан новый дизайн исследования. Из-за инерционности метода фМРТ мы разработали метод “растягивания” процесса предъявления зрительного сигнала во времени. В проведенных исследования показана реакция практически всех образований коры головного мозга на перестройку зрительного стимула в соответствии с изменением тестового сигнала во времени. В этих, “замедленных” условиях пошагового изменения стимула, удалось показать целостный процесс восприятия. Этот процесс построения гештальта вовлекает в работу практически все структуры мозга, одни из них активируются, другие тормозятся. Такой режим работы позволяет сохранять почти постоянный суммарный кровоток головного мозга, в результате перераспределения мозгового кровообращения.

По данным изменения BOLD-сигнала мы смогли рассмотреть нейрофизиологические механизмы реакций мозга на изменяющийся сигнал. Мы сравнили величину отклика в момент достижения порога относительно покоя, относительно подпороговой стимуляции и относительно надпороговой стимуляции. Показано, что момент достижения порога распознавания наблюдается максимум активированных вокселов. На этом основании мы допустили, что порогу распознавания соответствует максимум активности, и решили поставленную задачу. Далее мы установили, что этот максимум активности не гомогенно распределен по мозгу, а соответствует областям ВА19, ВА37, разрушение которых приводит к агнозии [1]. Мы определили, что после достижения порога распознавания при дальнейшем наращивании “заполнения” контура в условиях уже надпорогового предъявления стимула происходит спад активности по сравнению с моментом порога распознавания. Это, казалось бы, простое утверждение, явно вытекающее из полученных данных, требует специального обсуждения. Процесс внезапного узнавания достаточно быстрый. Если предъявлять мгновенно появляющийся стимул, то узнавание его произойдет через 100–250 мс после его появления. Если стимулы длятся около одной секунды или дольше мы видим по данным когнитивных вызванных потенциалов, что испытуемый несколько раз перепроверят свой выбор, проявившийся нажатием соответствующей клавиши на пульте, которое обычно происходит через 500–600 мс после появления стимула. Эта перепроверка видна в амплитудных характеристиках поздних компонентов когнитивных вызванных потенциалах [24]. Поэтому, на самом деле мы измеряем не мгновенное срабатывание элементов нейронной сети, которое видим в когнитивных вызванных потенциалах, а разворачивание непрерывной целенаправленной деятельности мозга в процессе решения задачи в условиях замедленного предъявления стимулов. Аналог такой деятельности издревле сопровождает человека в условиях охоты или боевых действий при слежении за движущимися объектами, скрытыми листвой. Голлин-тест в его замедленном варианте идеально имитирует эти условия, определившие сформированную в эволюции конструкцию зрительной системы человека (приматов) и хищников. Это характерно не для любого достижения порога, а только того, при котором наблюдение происходит в условиях неопределенности. Полученный результат позволил момент достижения порога в условиях неопределенности предложить в качестве модели “инсайта” [22, 23].

На основе анализа собственных результатов моделирования горизонтальных взаимодействий в первичной зрительной коре была показана возможность восстановления контура за счет внутрикорковых горизонтальных связей [8, 9]. Однако предложенное объяснение распознавания за счет организации связей коротких межмодульных связей ВА17 вызывает возражения. Горизонтальная активность может развиваться в пределах представительства одного полуполя зрения в стриарной коре ВА17 короткими связями, распространяющимися по коре и имеющими торможение в направлениях, ортогональных к другим ориентациям. Поэтому нужен был другой дизайн исследования, и мы его разработали [22, 23]. В результате проведенной работы удалось показать, что для объединения фрагментов в единое целое в гештальт и его распознавания и классификации, недостаточна работа нейронной сети взаимодействующих модулей первичной зрительной коры. Этим другим механизмом может служить зона, обеспечивающая целостное восприятие в нижневисочной коре ВА37. Что мы и видим в наших исследованиях.

Перистриарная кора (которая включает зоны по Бродману ВА19 и ВА37) является ключевой для формирования целостного образа – гештальта. Последствия разрушения ВА37 соответствуют классическим клиническим представлениям об агнозиях. На основании клинических наблюдений и физиологических исследований [1] предполагали, что именно эти зоны мозга обеспечивают формирование конкретного образного мышления [2]. Установленные нами изменения активности до, во время и после достижения порога распознавания, демонстрирует как взаимодействие ВА17–ВА18 с ВА19–ВА37 и с префронтальной корой ВА46, обеспечивает распознавание и принятие решений (см. рис. 5).

Рис. 5.

Изменение BOLD-сигнала во времени в двух важнейших зонах ВА37, расположенной в височно-затылочной коре и ВА46 префронтальной коры справа [23] и схема цитоархитектонических полей коры головного мозга человека по Бродману. Внизу показан результат исследований по принятию решений и проведение трактографии одного испытуемого [25], демонстрирующей связи префронтальной коры (ВА46) с перистриарной корой (ВА37). Fig. 5. The scheme of cytoarchitectonic fields of the human cerebral cortex according to Brodman and the change in the BOLD signal in time in the two most important zones BA37 of the temporal-occipital cortex and BA46 of the prefrontal cortex on the right [23]. Below is the result of other studies on decision-making and tractography of one subject [25], demonstrating the relationship of the prefrontal cortex (BA46) with the third visual cortex (BA37).

Отклик на зрительный сигнал мы наблюдали во всем мозге, а не только в структурах, связанных со зрительной системой. Его регистрировали и в соматосенсорной, и в двигательной коре. Соматосенсорная кора реагирует активацией в момент распознавания, так как получает сигналы от непроизвольного напряжения мышц, в первую очередь лицевых. Обратим внимание читателя и на некоторые другие “побочные” изменения активности BOLD-сигнала, связанные с процедурой распознавания и исследования с помощью фМРТ. После начала стимуляции, задолго до момента распознавания, в некоторых зонах возникает увеличение BOLD-сигнала с пиком от 3 до 15 секунд от начала предъявления. Наиболее ярко этот пик проявляется в большинстве зон, которые обычно связывают с участием в обеспечении внимания. Мы привели примеры откликов височных зон (ВА20, 21, 22, 36), лимбической коры (ВА23) и медиальной части (ВА7) теменной коры, активированных самим появлением стимула. В это время неопределенности, когда совсем не ясно, какое изображение будет сформировано из отдельных, случайно появляющихся точек по контуру (см. рис. 1), активирована и слуховая кора (ВА22). Человек настораживается. Затем, после 15% контура, в зонах внимания, и в слуховой коре наступает торможение. В это время в зрительных зонах и в височно-затылочной коре (ВА37), и в лобной доле (ВА46) начинается активация (см. рис. 3). Заметим, что общие принципы межсенсорного взаимодействия условно-рефлекторными методами были показаны впервые С.В. Кравковым еще в 30-х годах прошлого века [26].

Перестройка активности нейронной сети обусловлена перераспределением активности оппонентных корковых областей мозга и подкорковых ядер, что было установлено на основании изменения BOLD-сигнала. Этот результат подтверждает результаты других исследователей, показавших, что изменение BOLD-сигнала во времени коррелирует с изменением спектра ЭЭГ – снижением альфа- и повышением гамма-ритма [27].

Таким образом, активность в одних областях уменьшается и увеличивается в других. Эти изменения происходят именно в процессе действия стимула: до порога распознавания активны одни зоны мозга, в момент достижения порога распознавания другие, а затем все затухает. Хотя стимуляция еще продолжается, но неопределенность после достижения порога уже исчезла. Оппонентные взаимодействия, например, BA37 в височно-затылочной и BA7 (ее медиальная часть) в теменной доле, или BA9 и BA10 во фронтальных областях полушарий головного мозга отражают многоуровневый процесс принятия решений по конфликтующим оценкам, существование которых было предсказано ранее [28].

Таким образом, в результате анализа работы всего мозга нами установлен максимум активности одних зон в момент достижения порогового уровня предъявления контура и его снижение после достижения этого уровня. В других зонах момент достижения порога совпадает с абсолютным минимумом активности. Это для условий непрерывной деятельности всего мозга показано впервые. Наличие оппонентных взаимоотношений при выборе появляющихся и исчезающих стимулов между соседними зонами в префронтальной коре было показано ранее, при решении испытуемым задач распознавания улыбки [29]. Теперь удалось показать, что обеспечение баланса критериев при принятии решения осуществляется путем перераспределения активности между всеми областями мозга. Структуры мозга, которые обеспечивают наиболее важные когнитивные функции, и эмоциональные процессы, их сопровождающие, взаимодействуют синхронно, но между ними существуют возбудительные и тормозные взаимодействия. В результате становится возможным реализовать решение по нескольким критериям и противоречивым оценкам события. Именно этот принцип взаимодействия элементов обеспечивает процесс принятия решений. Эти самые общие представления о механизме принятии решений, который обеспечивает целенаправленное, мотивированное поведение. Принятие решений – результат многоуровневого взаимодействия и обучения нейронных сетей, основанный именно на оппонентных взаимодействиях, начиная от сетчатки и заканчивая взаимодействием крупномасштабными нейронных сетей, обеспечивающих планирование и организацию движений, подкрепляемых наказанием или вознаграждением.

ЗАКЛЮЧЕНИЕ

Новые методы позволили показать разворачивание во времени откликов всего мозга на допороговые, пороговые и надпороговые динамические зрительные сигналы. Показаны отклики ряда зон коры по Бродману на зрительные сигналы при переходе от неопределенности к распознаванию. При всех условностях привязки данных фМРТ к цитоархитектоническим областям мозга в зрительных, слуховых, двигательных соматосенсорных и в “ассоциативных”, т.е. практически во всех областях головного мозга человека. Ранее нами впервые показана динамика изменения BOLD-сигнала от подпорогового, до порогового и надпорогового уровня и принятия решений [23]. Обеспечение баланса критериев при принятии решения осуществляется путем перераспределения активности между областями мозга.

Перестройка активности нейронной сети обусловлена перераспределением активности оппонентных корковых областей мозга и подкорковых ядер, что было установлено на основании изменения BOLD-сигнала. Оппонентные изменение BOLD-сигнала в разных зонах во время распознавания коррелирует с оппонентным изменением частотных составляющих ЭЭГ ‒ снижением альфа- и повышением гамма-ритма в процесс решения задач, при переходе от условий неопределенности к моменту решения, а именно в наших исследованиях в момент распознавания [27].

Вероятно, зона BA37 ‒ это область узлового пересечения нескольких нейронных сетей: первой, осуществляющей оценку значения опознанного объекта для наблюдателя и обеспечивающей связь с эмоциональной сферой, которая включает нижневисочную кору, подкорковые ядра, и второй, обеспечивающей переход из зрительного конкретного описания в абстрактное речевое. Эти соображения перекликаются с клиническими данными как уже ставшими классическими [1], так и полученными в последние годы, на основе новых технологий [30–33].

Структуры мозга, обеспечивающие важнейшие когнитивные функции и непременно сопровождающие их эмоциональные процессы, взаимодействуют синхронно, между ними существуют возбудительные и тормозные взаимодействия. Эти процессы определяют состояние мозга до порога, при пороге распознавания и после порога распознавания. Мы отождествили эти состояния с прединсайтом, инсайтом и состоянием после инсайта [23, 34]. С запозданием подобный подход начали развивать и другие исследователи [35]. То же касается начального процесса мыслительной деятельности распознавания зрительного образа, важнейшего процесса зрительного конкретного мышления [2].

Кроме того, известно, что BA37 имеет значимые связи с крупномасшабной нейронной сетью – default mode system, в которую входят области медиальной префронтальной коры, лимбической коры, и медиальной теменной области (precuneus). С default mode system сетью работающей в ждущем режиме рассредоточенного мысленного поиска выхода из неопределенности, что видно из полученных результатов и частично согласуется с представлениям об этой (default mode system) системе, как системе, обеспечивающей общую готовность испытуемого [36, 37].

Распознавание происходит за счет сочетания возможностей архитектуры и возможности обучения крупномасштабных и локальных нейронных (нейрон-глиальных) сетей. Обучение происходит за счет наказаний или наград, например, в суровых условиях при своевременном или при запоздалом распознавании врага от друга.

Список литературы

  1. Duke-Elder S. (Sir Stewart) System of ophthalmology. V. 2. The anatomy of the visual system. London. Henry Kimpton. 1961.

  2. Glezer V.D. Vision and Mind: Modeling Mental Functions. Erlbaum Associates, Inc. New Jersey. 1995.

  3. Glezer V.D., Yakovlev V.V., Gauzelman V.E. Harmonic basis functions for spatial coding in the cat striate cortex. Visual Neurosci. 3: 351–356. 1989.

  4. Глезер В.Д., Цукерман И.И. Информация и зрение. Изд-во АН СССР. М-Л. 1961. [Glezer V.D., Tsukkerman I.I. Information and Vision. NASA Technical Translation (In Russ)].

  5. Giersch A., Humphreys G.W., Boucart M., Kovacs I. The computation of occluded contours in visual agnosia: Evidence for early computation prior to shape binding and figure – ground coding. Cognitive Neuropsychol. 17: 731–759. 2000.

  6. Ginsburg A. Spatial filtering and visual form perception. Handbook of Perception and Human Performance. K. Boff. (Ed.). New York. John Wiley and Sons. 99–109. 1986.

  7. Павлов Н.Н., Коскин С.А., Шелепин Ю.Е. Влияние пространственной дискретизации и фильтрации элементов изображений на возможность объединения их в образ. Сенсорные системы. 3(4): 417–422. 1989. [Pavlov N.N., Koskin S.A., Shelepin Yu.E. Influence of spatial discretization and filtering of image elements on the possibility of combining them into an image. Sensory systems. 3(4): 417–422. 1989. (In Russ)].

  8. Field D.J., Hayes A., Hess R.F. Contour integration by the human visual system: evidence for a local ‘association field. Vis. Res. 33: 173–93. 1993.

  9. Hess R., Field D. Integration of contours: new Insights. Trends in Cognitive Sciences. 3(12): 480–486. 1999.

  10. Шевелев И., Каменкович В., Лазарева Н., Новикова Р., Тихомиров А., Шараев Г. Психофизическое и нейрофизиологическое исследование опознания неполных изображений. Сенсорные системы. 17(4): 339–346. 2003. [Shevelev I., Kamenkovich V., Lazareva N., Novikova R., Tikhomirov A., Sharaev G. Psychophysical and neurophysiological study of recognition of incomplete images. Sensory systems. 17(4): 339–346. 2003. (In Russ)].

  11. Подвигин Н.Ф., Багаева Т.В., Подвигина Д.Н. Селективная самосинхронизация импульсных потоков в нейронных сетях зрительной системы. Докл. АН. 400(1): 1–3. 2005. [Podvigin N.F., Bagaeva T.V., Podvigina D.N. Selective self-synchronization of impulse flows in neural networks of the visual system. Dokl. Akad. Nauk. 400 (1): 1–3. 2005. (In Russ)].

  12. Ghosh A., Petkov N. Robustness of shape descriptors to incomplete contour representations. IEEE Transactions on pattern analysis and machine intelligence (PAMI). 27(11): 1793–1804. 2005.

  13. Шелепин Ю.Е., Чихман В.Н., Фореман Н. Анализ исследований восприятия фрагментированных изображений: целостное восприятие и восприятие по локальным признакам. Рос. Физиол. журн. им. И.М. Сеченова. 94(7): 758–776. 2008. [Shelepin Yu.E., Chikhman V.N., Foreman N. Analysis of studies of the perception of fragmented images: holistic perception and perception according to local signs. Russ. J. Physiol. 94 (7): 758–776. 2008. (In Russ)].

  14. Krasil'nikov N.N., Krasil’nikova O.I., Shelepin Yu.E. A spatiotemporal functional model of the primary links of the visual system. J. Opt. Technol. 71(7): 438–443. 2004.

  15. Krasil'nikov N.N., Shelepin Yu.E., Krasil’nikova O.I. The use of the principles of the optimal observer in modelling the human visual system. J. Opt. Technol. 66(9): 782–787. 1999.

  16. Malashin R.O. The principle of least action in dynamically configured image analysis systems. J. Opt. Technol. 86(11): 778–784. 2019.

  17. Malashin D.O., Malashin R.O. Efficient hardware implementation of neural networks . In: Neural Networks and Neurotechnologies. Y. Shelepin, E. Ogorodnikova. (Eds.). SPb. Publish by VVM. 2019.

  18. Malakhova K. Visualization of information encoded by neurons in the higher – level areas of the visual system. J. Opt. Technol. 85(8): 494–498. 2018.

  19. Gollin E.S. Developmental studies of visual recognition of incomplete objects. Perceptual and Motor Skills. 11: 289–298. 1960.

  20. Foreman N., Hemmings R. The Gollin incomplete figures test: a flexible, computerised version. Perception. 16(4): 543–548. 1987.

  21. Shelepin Y.E., Chikhman V.N., Foreman N. Analysis of the studies of the perception of fragmented images: global description and perception using local features. Neurosci. Behav. Physiol. 39(6): 569–580. 2009. https://doi.org/10.1007/s11055-009-9171-1

  22. Shelepin K.Yu., Pronin S.V., Shelepin Yu.E. Recognizing fragmented images and the appearance of “insight”. J. Opt. Technol. 82(10): 700–706. 2015.

  23. Shelepin K.Yu., Trufanov G.E., Fokin V.A., Vasil’ev P.P.; Sokolov A.V. Digital visualization of the activity of neural networks of the human brain before, during, and after insight when images are being recognized. J. Opt. Technol. 85(8): 468–475. 2018.

  24. Shelepin Yu.E., Kharauzov A.K., Pronin S.V., Vakhrameeva O.A., Fokin V.A., Chikhman V.N., Foreman N. Using neuroimaging methods to localize mechanisms for making decisions concerning the ordering of textures. J. Opt. Technol. 78(12): 808–816. 2011.

  25. Shelepin Yu.E., Fokin V.A., Harauzov A.K., Pronin S.V., Chikhman V.N. Doklady Biological Sciences. 429: 511–513. 2009. Pleiades Publishing, Ltd., 2009. Original Russian Text published in Doklady Akademii Nauk. 429. 2009https://doi.org/10.1134/S001249660906009X

  26. Kravkov S.V. Changes of visual acuity in one eye under the influence of the illumination of the other or of acoustic stimuli. J. Exp. Psychol. 17(6): 805–812. 1934. https://doi.org/10.1037/h0074852

  27. Kounios J., Beeman M. The Cognitive Neuroscience of Insight. Annu. Rev. Psychol. 65: 71–93. 2014.

  28. Saaty T.L. The analytic hierarchy and analytic network measurement processes: Applications to decisions under Risk. Eur. J. Pure Appl. Mathematics, 1(1): 122–196. 2008.

  29. Borachuk O.V., Shelepin Yu.E., Kharauzov A.K., Vasil’ev P.P., Fokin V.A., Sokolov A.V. Study of the influence of the role of the instruction to the observer in tasks of recognizing emotionally colored patterns. J. Opt. Technol. 82(10): 678–684. 2015.

  30. Gomez J., Natu V., Jeska B. Barnett M.,Grill-Spector K. Development differentially sculpts receptive fields across early and high-level human visual cortex. Nat. Communications. 9: 788. 2018. https://doi.org/10.1038/s41467-018-03166-3

  31. Garikoitz Lerma-Usabiaga, Noah Benson, Jonathan Winawer, Brian A. Wandell. A validation framework for neuroimaging software: the case of population receptive fields (Short Title: Validation framework: PRF case) bioRxiv preprint first posted online Jan. 8, 2020; https://doi.org/10.1101/2020.01.07.897991 https://www.biorxiv.org/content/10.1101/2020.01.07.897991v1.full.pdf

  32. Byron Bernal, Iris Broce, Alfredo Ardila Brodmann’s Interactive Connectivity Map. [www.fmriconsulting.com/brodmannconn]

  33. Whitwell R.L., Milner A.D., Cavina-Pratesi C., Barat M., Goodale M.A. Patient DF’s visual brain in action: visual feedforward control in visual form agnosia. Vision Res. 110: 265–276. 2015. https://doi.org/10.1016/j.visres.2014.08.016

  34. Shelepin K.Yu., Sokolov A.V., Fokin V.A., Vasiliev P.P., Pronin S.V. The Insight Phenomenon and the Digital Visualization of the Human Brain Activity. Bull. South Ural State University. Ser. Psychology. 10(4): 47–55. 2017. (In Russ). https://doi.org/10.14529/psy170405

  35. Ogawa T., Aihar, T., Shimokawa T. Large-scale brain network associated with creative insight: combined voxel-based morphometry and resting-state functional connectivity analyses. Sci. Rep. 8. 6477. 2018. https://doi.org/10.1038/s41598-018-24981-0

  36. Raichle M. Neuroscience. The brain’s dark energy. Science 314: 1249–1250. 2016.

  37. Хараузов А.К., Васильев П.П., Шелепин Ю.Е., Соколов А.В., Фокин В.А. Взаимодействие крупномасштабных нейронных сетей при распознавании текстур. В: Нейротехнологии. Под ред. Ю.Е. Шелепина, В.Н. Чихмана. СПб. Изд-во ВВМ. 244–255. 2018. [Kharauzov A.K., Vasiliev P.P., Shelepin Yu.E., Sokolov A.V., Fokin V.A. Interaction of large-scale neural networks in the recognition of textures. In: Neurotechnology. Yu. E. Shelepina, V.N. Chikhman (Eds.) St. Petersburg. VVM Publishing House. 244–255. 2018. (In Russ)].

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Российский физиологический журнал им. И.М. Сеченова

Архивы выпусков Информация о журнале Отправить рукопись в журнал