Вестник Военного инновационного технополиса «ЭРА», 2022, T. 3, № 4, стр. 433-437

РАЗЛИЧИЯ НЕЙРОСЕТЕЙ ОБРАБОТКИ РЕЧИ И ЯЗЫКА: ПЕРВЫЕ РЕЗУЛЬТАТЫ фМРТ-ИССЛЕДОВАНИЯ

И. Г. Маланчук 1*, В. А. Орлов 1, С. И. Карташов 1, Д. Г. Малахов 1

1 Национальный исследовательский центр “Курчатовский институт”
Москва, Россия

* E-mail: cora1@inbox.ru

Поступила в редакцию 03.10.2022
После доработки 03.10.2022
Принята к публикации 03.10.2022

Полный текст (PDF)

Аннотация

Предложена программа нейрофизиологического экспериментального исследования, позволяющего изучать естественные нейросети головного мозга человека при восприятии речевых стимулов без интеграции и с интеграцией в них последовательно усложняющихся языковых конструкций. Впервые представлены результаты фМРТ-эксперимента, направленного на установление различий нейросетей головного мозга человека при обработке в процессе пассивного слушания собственно формы речи и формы речи с интеграцией в нее минимальной языковой структуры.

ВВЕДЕНИЕ

Термин “речь” необходимо понимать в нескольких значениях.

1) Речь как система ранних детских вокализаций, имеющих в своих нативных формах специфическую – экспрессивную – семантику, а также рано приобретающих конвенциональные значения/смыслы в диадических взаимодействиях “ребенок–мать” и аналогичных. Вокальные экспрессии ребенка и вокальные взаимодействия матери и ребенка в российской психофизиологии и нейробиологии в последние 10–15 лет описываются терминами “вокально-речевая функция”, “вокально-речевое взаимодействие” [1, 2]. С точки зрения эволюционно-генетического подхода вокальные системы, предшествующие человеческой, нативные младенческие вокализации и ранние вокальные взаимодействия, а также – в исходном, устном бытовании – системы речи любых человеческих сообществ (групп) за верхней границей младенческо-материнской коммуникации могут быть обобщены как “речевая функция”, “речь”, конечно, при констатации факта выработки людьми специфических вокальных систем с естественным для антропо- и социогенеза речи “приращением” собственно человеческого социального, прагмасемантического содержания. В любом случае термины “речь” и “вокально-речевая функция/вокально-речевое взаимодействие” предполагают до-, вне- и неязыковой аспекты устной коммуникации людей, и если содержательно расширить представление Л.С. Выготского о речи как средстве социальной связи [3, С. 45], можно, акцентируя названные аспекты речи, считать его сущностным и универсальным для ситуаций речевого взаимодействия без использования языка и с интеграцией в речь языковых конструкций.

2) Речь как система вокальных конструкций, упорядоченных в речевых культурах этносов и других социальных групп. Этот аспект речи представлен исследованиями в области интонологии, где интонация, однако, по-прежнему характеризуется то как принадлежащая языку [47], то одновременно с этим как супрасегментное средство – даже при допущении его относительной самостоятельности, автономности [7]. Большинство нейрофизиологических исследований речи определены представлением о существовании и противопоставлении двух типов интонации – эмоциональной и “лингвистической” [8], при этом исследования ведутся на недифференцированном речеязыковом материале, начиная с уровня слогов при актуализации фонемного строя языка [814]. Это, конечно, не отвечает представлениям современной интонологии и психофизиологии речи: во-первых, никакое устное высказывание не свободно от эмоционального состояния человека и, следовательно, эмоционального компонента, поэтому при использовании естественных речевых стимулов в нейрофизиологических исследованиях возможно только минимизировать выраженность эмоционального сигнала – так, чтобы он воспринимался как “нейтральный”; во-вторых, “лингвистическая” (с явным гиперобобщением) и эмоциональная интонация/просодия – разнопорядковые феномены, которые, кроме того, могут быть взаимообусловленными, могут накладываться друг на друга, что важно при анализе коммуникативных, прагматических аспектов высказывания, следовательно, при изучении восприятия/продуцирования естественных речеязыковых конструкций их противопоставление не является правильным исследовательским ходом, поскольку эмоциональный “знак” может быть наложен на лингвистический акцент того или иного содержания. Не отвечает это и процессам фило- и онтогенеза речевой функции, а в онтогенезе человека – гетерохронии процессов речи и освоения языка. Такое состояние дел ограничивает распространение взгляда на системы речи и языка как на различные, имеющие свой собственный генезис, феноменологию и функции [15].

Существенными продвижениями в теории интонации в последние полвека считаем: комбинаторную теорию интонации, понимание того, что имеем дело с несколькими системами просодических средств, с различными целями и на разных уровнях реализующихся в высказывании, и что интонационные средства обладают символическими значениями, связанными с различными характеристиками и состояниями объектов описания [16], попытку в интонационных средствах увидеть “лингвистику речи” [17], что в [16] сделано более определенно в пользу собственно речевой системы. Изучение связи речежанровой проблематики и интонационных структур в XX веке “отменилось” резкой негативной оценкой М.М. Бахтиным идеи А.М. Пешковского (1914) о значении интонации для “сложного целого” (сложного предложения), которое М.М. Бахтин интерпретирует как “речевое целое” [18, С. 245; 19, С. 455–461]. Однако значимое развитие этой проблематики произошло в интонологии последней трети ХХ–начала XXI века при установлении закономерностей интонационного выражения некоторых прагматических смыслов [16, 20, 21]. Так, Е.А. Брызгунова создала типологию интонационных конструкций в связи с основными типами высказываний; С.В. Кодзасов исследовал особенности интонации перформативов и некоторых других жанров речи; Т.Е. Янко установлены соответствия интонационных единиц иллокутивным смыслам в русскоязычной речи и других этнических речекоммуникативных культурах [21]. Иллокутивные смыслы при этом имеют определяющее значение в разработке представлений о системе речевых жанров (в зарубежной прагмалингвистике – речевых актов) [2225], что с очевидностью соотносится с фундаментальными физиологическими представлениями о целеполагании в поведенческих [2628], следовательно, и в речевых актах (речевом поведении).

3) Речь в традиционном ее понимании, связанном с возможностью говорения на языке, использованием языка в речекоммуникативной практике людей, что довольно давно описывается термином “речевая деятельность” [3, 29, 30]. В этом интегративном смысле, не отменяющем представлений о различиях систем речи и функциональной системы языка, речь является самым сложным коммуникативным феноменом, а речевая деятельность – самым сложным психическим (и психо- и нейрофизиологическим) процессом, задающим эту психическую деятельность и интегрирующим в целях реализации речи и прежде всего в задачах психо-социального влияния и управления психической и социальной активностью партнера все результаты необходимой для этого психической деятельности, направленной, в том числе, на “абстрактную” и функциональные языковые системы и внутренний тезаурус.

В развитие разработанной [15] психологической концепции речи как системы, операндами которой являются устойчивые в социально-коммуникативной культуре многопараметрические звукокомплексы, которые имеют собственную семантику – семантику социальных отношений и социального воздействия/управления (прагмасемантику), необходимо было разработать программу нейрофизиологического исследования, которая могла бы подтвердить различие систем речи и языка, обеспечивающих их нейросетей и углубить эти представления о речи.

Разработанная программа нейрофизиологического исследования реализует новый уровень системности изучения естественных нейронных сетей человека при восприятии и продуцировании речи в различных экспериментальных условиях. В данной публикации представлена часть этой программы, касающаяся восприятия устных, естественных для взрослой коммуникации речевых и речеязыковых стимулов с последовательным усложнением стимулов от собственно речевого до речеязыковых, имеющих то же интонационное содержание, но различное языковое наполнение.

ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

Для осуществления фМРТ-эксперимента с целью определения различий нейросетей речи и языка был разработан рандомизированный блочный план (латинский квадрат 4 × 4) – блочная парадигма предъявления собственно речевого устного стимула – вокализации, имеющей определенное прагмасемантическое содержание, и ряда речевых стимулов, в которые интегрированы “простые” языковые конструкции, с тем чтобы нарастание сложности языковой конструкции происходило последовательно (холофраза – простое предложение минимальной языковой структуры N1Vf – простое предложение структуры N1Vf + Obj), и при первом предъявлении данного ряда стимулов они предъявлялись именно в таком порядке. Впоследствии в каждом блоке данные стимулы предъявлялись в указанном рандомизированном порядке, по восемь предъявлений каждого стимула в каждом блоке с интервалом 1 с между стимулами в блоке и интервалом в 15 с между сериями стимулов одного типа в блоке и между блоками. Все стимулы являются естественными речекоммуникативными единицами, длина стимулов варьируется от 400 до 800 мс. Стимулы, согласно экспертным оценкам, не содержат семантически значимо выраженного позитивного либо негативного эмоционального компонента, позитивная эмоция минимизирована; субъективно (по оценке испытуемых в постэкспериментальном опросе) стимулы распознаются как “нейтральные”, не выражающие негативных либо явных позитивных эмоций. Стимулы записаны профессиональным педагогом по речи, женским голосом, в высоком регистре.

Выборка: 15 испытуемых – 8 женщин, 7 мужчин с нормальным слухом и зрением, с их слов – без неврологических нарушений (без обращения к неврологу в течение последних двух лет). Все испытуемые – студенты вузов (уровень бакалавриата либо магистратуры), носители русской речевой городской культуры и русского языка как родного. Средний возраст – 22.4 года.

У всех испытуемых получено информированное согласие на участие в исследовании. Исследование одобрено Локальным этическим комитетом НИЦ “Курчатовский институт”.

Стимулы предъявлялись через амагнитные головные телефоны с функцией шумоподавления на звуковом уровне 80 дБ, бинаурально. Во время записи испытуемые должны были сохранять максимально спокойное расслабленное состояние и смотреть на экран монитора, где с целью организации визуального внимания для фиксации взгляда испытуемого предъявлялся фиксировочный крест.

Сканирование проводилось на магнитно-резонансном томографе Siemens Magnetom Verio 3T (Германия) с 32-канальной головной МР-катушкой. Испытуемый располагался в МРТ-камере в положении лежа, голова закреплялась с помощью уплотняющих модулей. Для каждого испытуемого были записаны анатомические данные с высоким разрешением на основе Т1-взвешенной 3D-последовательности (TR = 2530 мс, TE = 3.31 мс, 176 срезов, размер воксела – 1 × 1 × 1 мм3). Запись функциональных данных осуществлялась на основе мультисрезовой эхо-планарной последовательности EPI: TR = 1110 мс, TE = 24 мс, 51 срез, размер воксела – 2 × 2 × 2 мм3, угол отклонения вектора намагниченности (flip angle) 90°. От каждого испытуемого в эксперименте получено по 8 записей блоков стимулов, по 32 записи каждого стимула.

РЕЗУЛЬТАТЫ

Предобработку данных МРТ проводили на основе свободно распространяемого программного пакета SPM12 и специально разработанных одним из авторов статьи (В.А. Орлов) терминальных скриптов системы MacOS. Структурные и функциональные данные были приведены к центру в передней комиссуре вручную. Проводили расчет и коррекцию артефактов движения. С целью удаления артефактов магнитной восприимчивости на основе записанных во время исследования карт неоднородности магнитного поля выполняли коррекцию функциональных данных. Структурные и функциональные МРТ-объемы были нормализованы на шаблонные изображения в MNI (Montreal Neurological Institute) пространстве. Использование мультисрезовых последовательностей для регистрации фМРТ приводит к появлению физиологических и аппаратных вкладов в шум. Такие вклады приводят к некорректной статистической оценке активации нейронных сетей. Для их детекции и подавления использовали метод независимых компонент. На последнем этапе предобработки данных с целью удаления случайных выбросов к функциональным данным был применен гауссовский фильтр с ядром 6 × 6 × 6 мм3. Для получения результирующих статистических карт использовали классическую обобщенную линейную модель.

Представляем ту часть полученных результатов экспериментального фМРТ-исследования, которая касается различий естественных нейросетей при обработке первых двух стимулов S1 и S2 – собственно речевого (вокализация) и того же вокального сигнала с минимальным языковым наполнением (холофраза) соответственно.

Статистический анализ функциональных данных сканирования при проведении процедуры прямого сравнения выявил следующие области активации головного мозга человека (ГМЧ), значимо различающиеся (p < 0.001) при выполнении задачи пассивного слушания речевого стимула S1 и речеязыкового стимула S2 (S1 > S2): frontal pole (L), middle frontal gyrus (R), postcentral gyrus (L), superior parietal lobule (L), frontal orbital cortex (R), thalamus (L), caudate (L), vermis 6. Повоксельный анализ активаций показал бóльшую активацию в данных областях обработки собственно речевой информации в объеме от 1 до 22 вокселов. Согласно полученным данным общее число вокселов 2 × 2 × 2 мм3, связанных с различием двух обсуждаемых типов нейросетей в пользу “нейросети речи”, при прямом сравнении составляет 41 воксел (328 мм3).

Математико-статистическая процедура обратного сравнения (S2 > S1) позволила установить области ГМЧ, значимо различающиеся (p < 0.001) при восприятии речеязыкового стимула по сравнению с собственно речевым: frontal pole (R), middle frontal gyrus (R), precentral gyrus (L), middle temporal gyrus (posterior division, R), middle temporal gyrus (posterior division, L), lateral occipital cortex (superoir division, L), paracingulate gyrus (L), precuneous cortex, temporal occipital fusiform cortex (R), cerebellum 3 (L), cerebellum 4, 5 (L). Повоксельный анализ активаций показал бóльшую активацию в данных областях при обработке устного вербального сигнала – от 1 до 21 воксела. Общее число вокселов 2 × 2 × 2 мм3, различающих исследуемые два типа нейросетей при обратном сравнении, составляет 62 воксела (496 мм3).

Результаты в отношении сходства нейросетей восприятия речевых и речеязыковых стимулов, а также повоксельный и другие виды анализа в целях качественной интерпретации данных фМРТ-эксперимента будут представлены в следующих публикациях.

ОБСУЖДЕНИЕ И ВЫВОДЫ

Проведенное исследование позволило на выборке взрослых впервые установить существующие различия в нейронных структурах (сетях) обработки минимальных естественных коммуникативных единиц – собственно речевой и речеязыковой в экспериментальных условиях, предполагающих высокий уровень абстрагирования от коммуникативной реальности. Это подтверждает и психологическую концепцию речи как системы, отличной от языка [15]. В связи с полученными данными, задающими принципиально новый уровень сложности в осмыслении и экспериментальных исследованиях речевых процессов, а также в связи с феноменологической спецификой человеческой речи, для которой использование языка является одним из аспектов, требуется интенсификация психо- и нейрофизиологических исследований речеязыковых процессов на новых теоретических основаниях, в том числе с учетом интрапсихических феноменов как результатов обработки социального содержания коммуникативных ситуаций.

Полученные данные вносят вклад в анализ латерализации и межполушарных взаимодействий в процессах декодирования и понимания речи взрослыми. В нейросети, активированной при обработке “чистого” речевого сигнала, обнаружено представительство областей как правого, так и левого полушарий ГМЧ, что в дальнейшем требует уточнения функций этих областей и выработки гипотез о значимом представительстве левосторонних активаций при обработке вокально-речевых сигналов.

По результатам прямого сравнения установлено, что при восприятии взрослыми собственно речевого стимула в сравнении с восприятием речеязыкового стимула с точки зрения активации областей ГМЧ преобладает левополушарная активация, вместе с тем правополушарная активация за счет области middle frontal gyrus (R) имеет существенно более высокий объем активации (повоксельный анализ подробно представим в последующих статьях).

Обратим внимание на участие и различную представленность структур мозжечка – как палео- (vermis 6), так и с левосторонней латерализацией, неоцеребеллума (cerebellum 3, 4, 5 (L)) в процессах восприятия “чистой” речевой формы и речеязыковой конструкции соответственно, что требует подробного изучения его структурно-функциональных связей с другими областями мозга в процессах восприятия и реализации речи, в том числе по сравнению с известными данными [11, 3133], и на основе новых гипотез о мозговых структурах и механизмах восприятия речи и языка [32].

В отношении установления структурно-динамического содержания нейронных процессов, обеспечивающих восприятие и продуцирование как собственно речи, так и интегративных речеязыковых структур, возникает необходимость исследовать области ГМЧ с функциями метапроцессов, обеспечивающих интеграцию процессов и феноменов речи и языка разных типов и уровней, в том числе в онтогенезе человека.

Список литературы

  1. Ляксо Е.Е. // Физиол. журн. 2003. Т. 89. № 2. С. 207.

  2. Фролова О.В. Особенности вокально-речевого развития детей в условиях семьи и дома ребенка. Дис. … канд. биол. наук. СПб.: СПбГУ, 2008.

  3. Выготский Л.С. Мышление и речь. М.; Л.: Гос. соц.-эк. изд-во, 1934. 324 с.

  4. Коваленко Н.А. Системный подход к фразовой просодии слова: автореф. дис. … д-ра филол. наук. М.: ИЯ РАН, 2002. 42 с.

  5. Гаврилина Л.Е. // Филол. науки. Вопр. теории и практ. 2011. № 1 (8). С. 42.

  6. Оде С. // Проблемы фонетики. Вып. 2. М., 1995. С. 200.

  7. Попов М.Б. Фонетика современного русского языка: Учеб. СПб.: СПбГУ, 2014. 303 с.

  8. Paulmann S., Pell M.D., Kotz S.A. // Brain Res. 2008. V. 1217. P. 171.

  9. Thivard L., Belin P., Zilbovicius M. et al. // Neurorep. 2000. V. 11. P. 2969.

  10. Andreatta R.D., Stemple J.C., Joshi A., Jiang Y. // Neurosci. Lett. 2010. V. 484. P. 51.

  11. Mahmoudzadeh M., Dehaene-Lambertz G., Fournier M. et al. // PNAS. 2013. V. 110. № 12. P. 4846.

  12. Dehaene-Lambertz G. // Psychon. Bull. Rev. 2017. V. 24. P. 48.

  13. Хугдал К. // Психология. Журнал ВШЭ. 2006. Т. 3. № 2. С. 102.

  14. Карлов В.А., Шкловский В.М., Коновалов Р.Н. и др. // Неврол., нейропсихиатр., психосом. 2017. № 9 (4). С. 17.

  15. Маланчук И.Г. Речь как психический процесс. Красноярск, 2009. 285 с.

  16. Кодзасов С.В. Исследования в области русской просодии. М.: Языки славянских культур, 2009. 491 с.

  17. Николаева Т.М. // Вопр. языкозн. 2015. № 4. С. 7.

  18. Бахтин М.М. // Проблема речевых жанров. Собр. соч.: в 7-ми т. Т. 5. Работы 1940-х–начала 1960-х гг. М., 1997. С. 207.

  19. Пешковский А.М. Русский синтаксис в научном освещении. 8-е изд., доп. М.: Языки славянской культуры, 2001. 544 с.

  20. Брызгунова Е.А. // Русская грамматика. Т. 1. М.: Наука, 1980. С. 96.

  21. Янко Т.Е. Интонационные стратегии русской речи в сопоставительном аспекте. М.: Языки славянской культуры, 2008.

  22. Серль Дж.Р. // Новое в зарубежной лингвистике. Вып. 17. Теория речевых актов. М., 1986. С. 170.

  23. Остин Дж.Л. // Избранное. М.: Идея-Пресс, Дом интеллектуальной книги, 1999. 332 с.

  24. Арутюнова Н.Д. // Человеческий фактор в языке. Коммуникация, модальность, дейксис. М.: Наука, 1992. С. 49.

  25. Дускаева Л.Р. // Речевые жанры. 2016. № 2. С. 25.

  26. Павлов И.П. // Полное собрание сочинений: в 6‑ти т. Т. 3. Кн. 1. 2-е изд., доп. М.; Л.: АН СССР, 1951. С. 306.

  27. Анохин П.К. // Избр. труды. Философские аспекты теории функциональной системы. М.: Наука, 1978. С. 7.

  28. Анохин П.К. // Избр. труды. Философские аспекты теории функциональной системы. М.: Наука, 1978. С. 292.

  29. Saussure F. de. Cours de linguistique générale. Lausanne; Paris: Payot, 1916. 336 p.

  30. Щерба Л.В. // Изв. Отд. 1931. № 1. С. 113.

  31. Coffman K.A., Dum R.P., Strick P.L. // PNAS. 2011. V. 108 (38). P. 16068.

  32. McLachlan N.M., Wilson S.J. // Front. Psychol. 2017. V. 8. P. 265.

  33. Runnqvist E., Chanoine V., Strijkers K. et al. // bioRxiv. 2020. 11.26.400317.

Дополнительные материалы отсутствуют.