Журнал эволюционной биохимии и физиологии, 2022, T. 58, № 5, стр. 365-379

ВВЕДЕНИЕ

Повседневное общение людей происходит на фоне шумов различной временной и спектральной структуры. Поэтому даже доклинические нарушения слуховой функции могут вызывать затруднения в распознавании речевого сигнала. Значительная потеря слуха приводит, как правило, к невозможности эффективной коммуникации в большинстве общественных мест. Современный уровень слухопротезирования не способен полностью решить задачу выделения целевого сигнала в шуме при общении пациента – пользователя слухового аппарата или кохлеарного импланта. Разработка фундаментальных вопросов о слуховых механизмах распознавания речи и ориентации в пространстве на фоне нестационарной помехи относится к области физиологии слуха, условно обозначаемой как проблема вечеринки (“the cocktail-party problem”). Она является одной из наиболее актуальных проблем как в фундаментальном плане, так и в прикладных разработках по развитию технологий слухопротезирования, распознавания речи диктора в реальной зашумленной среде [1, 2].

Пространственные аспекты проблемы вечеринки подробно рассмотрены нами в обзоре [3], где обсуждаются бинауральные механизмы освобождения от маскировки и роль пространственной избирательности слухового внимания в выделении речевого сигнала на фоне окружающего шума. Изучение бинауральных механизмов в решении задачи пространственной настройки на голос диктора и в пространственном освобождении от маскировки имело существенный практический выход. Оно позволило обосновать необходимость двухстороннего протезирования слуха и разработку слухопротезирующих систем нового поколения, ориентированных на реализацию механизмов бинаурального взаимодействия [4].

Помимо локализации источника речевого сигнала его выделению из шума способствуют спектральные характеристики голоса диктора, такие как основная частота голоса, его тембр, звукопроизношение и другие пара- и экстралингвистические характеристики. Индивидуальные или ситуационные особенности речи диктора в отношении ее темпа и ритмической организации также могут являться признаками, на основе которых происходит выделение и распознавание его речи в шуме. Распознавание речевого сигнала предусматривает его сегментацию и, таким образом, включает аспекты временного слухового анализа в условиях зашумления нестационарным сигналом. На фоне разнообразных шумов особое значение имеют процессы слуховой адаптации, которые приводят к усилению контраста сигнала и фона и, тем самым, способствуют улучшению условий для выделения и распознавания целевых признаков речи. Процессы адаптации широко распространены в слуховой системе и проявляются на разных уровнях обработки акустического сигнала – от волокон слухового нерва до структур коры головного мозга, где они связаны с центральной обработкой характеристик окружающей среды и речевых последовательностей, а также процессами слухового внимания и разделения конкурирующих звуковых потоков [5, 6]. Проявления адаптации в отношении индивидуальных спектрально-временных характеристик речи диктора при анализе сложной сцены будут рассмотрены в данном обзоре.

МАСКИРОВАНИЕ РЕЧЕВОГО СИГНАЛА И СЛУХОВАЯ АДАПТАЦИЯ

При разделении звуковых потоков в ситуации акустической сцены с множеством источников звука определяющее значение имеет способность слушателя выделять индивидуальные характеристики речи диктора [1]. В такой ситуации речь диктора выступает как полезный или целевой сигнал от интересующего нас в данный момент источника звука. Остальные составляющие акустической сцены – как помехи, конкурирующие с ним, и маскеры. Их действие обычно описывают в терминах энергетической и информационной маскировки. Энергетическая маскировка характеризуется спектральным и временным взаимодействием целевого сигнала и маскера [7]. Этот вид маскировки объясняют как результат перекрывания паттернов возбуждения, возникающих в ответ на целевой сигнал и маскер на периферии слуховой системы [8]. В отличие от энергетической информационная маскировка влияет на центральные процессы в слуховой системе, связанные с вниманием и с анализом информации [9, 10]. Заметим, что в ситуации сложной акустической сцены, т.е. на фоне других акустических сигналов, величина информационной маскировки лингвистической информации (смысла речи) и экстралингвистических составляющих целевого речевого сообщения (пол, возраст, эмоциональное состояние диктора) могут быть различными.

При этом первой задачей в условиях сложной сцены оказывается обнаружение целевого сигнала. Обнаружению нового объекта в окружающей среде способствует адаптация слуховой системы к текущей информации. Считают, что адаптация к биологически значимым сигналам, в том числе речевым, в значительной степени обусловлена процессами в соответствующих областях коры больших полушарий головного мозга. В результате адаптации ограниченный диапазон реакции нейронов в процессе кодирования слуховых сигналов сдвигается в направлении расширения динамического диапазона этих реакций [11]. При изменении статистических свойств сигналов слуховая адаптация приводит к улучшению представления их информативных признаков, что позволяет рассматривать адаптационные процессы как эффективную стратегию кодирования [12–14]. Адаптивное кодирование определенных параметров стимулов было показано в нескольких подкорковых областях и областях коры [15, 16]. В частности, было выявлено, что слуховые кортикальные реакции у животных избирательно кодируют особенности вокализации в условиях шумов, имеющих разные спектральные характеристики [15–19].

Свойство слуховой системы обнаруживать новый источник информации (нового диктора) и разделять акустические потоки имеет высокую потенциальную ценность для развития технических систем распознавания речи, голосовых интерфейсов (voice user interface) и устройств голосового управления (voice command device) [20, 21]. Понимание и применение этого физиологического механизма способствуют решению технических вопросов распознавания речи на новом уровне.

СЛУХОВАЯ АДАПТАЦИЯ К ПАРАМЕТРАМ ЗВУКОВОГО СИГНАЛА

Слуховую адаптацию можно наблюдать при длительном предъявлении постоянного или повторяющегося стимула с одинаковыми характеристиками, которое вызывает временное изменение в восприятии последующих стимулов (слуховое последействие). Обычно отмечают негативный эффект слухового последействия, при котором наблюдается смещение перцептивной оценки в противоположном направлении относительно характеристик адаптирующего стимула. В основе механизма адаптации лежит изменение работы нейронных популяций, участвующих в анализе ключевых признаков последовательности сигналов. Одним из первых наблюдений слуховой адаптации является так называемый “тон Цвиккера”. Его появление связано с тем, что после прослушивания широкополосного шума, содержащего спектральную вырезку шириной около одной трети октавы, у слушателя на несколько секунд возникает ощущение звучания тона, соответствующего ее характеристикам [22]. Потенциальные нейрональные корреляты для этой слуховой иллюзии были выявлены на уровне слуховой коры [23, 24]. По-видимому, ее проявление обусловлено временным усилением чувствительности, связанным с освобождением от торможения в центральных слуховых нейронах с частотой настроечной кривой в пределах спектральной вырезки. Эти нейроны были наименее стимулированы во время звучания адаптирующего шума. Тон Цвиккера демонстрирует особенность адаптации, которая отражает настройку анализатора на текущую структуру информационного потока. В результате воздействия сигналов настройка меняется, и адаптация непосредственно оказывает влияние на процесс сегрегации и группировки акустических потоков.

Исследования сегрегации акустических потоков показывают, что она определяется как обработкой сенсорных сигналов (обработка снизу вверх), так и когнитивным состоянием слушателя, например, фокусом внимания (обработка сверху вниз) [6, 25, 26]. Согласно представлению о слуховой адаптации последнее в значительной мере зависит от непосредственно предшествующей (текущей) информации. В ЭЭГ-исследовании [27] было обнаружено, что эффективность разделения потоков при условии фокусировании внимания вне этих потоков обратно пропорциональна сходству между их корковыми представительствами. Этот факт свидетельствует о том, что адаптация к текущей слуховой информации является универсальным процессом, который лишь отчасти, но не полностью определяется состоянием внимания слушателя.

Адаптация слуховой системы к нестационарному речевому или речеподобному сигналу происходит по ряду его параметров, в том числе, уровню звука, его спектральным составляющим, ритмической структуре, положению его источника, спектрально-временному контексту речевой последовательности [28]. В эксперименте, как правило, исследуют адаптацию к определенному признаку звукового стимула, например, к амплитудной модуляции [29–31], длительности [32], ритму [33], спектральным характеристикам [34, 35]. Наряду с адаптацией к простым или “одномерным” признакам известны эффекты для сложных признаков, таких как положение источника звука в пространстве [36–38] или его движение в определенном направлении и с определенной скоростью [39–41]. Такие признаки являются сложными или комбинированными, так как содержат монауральные и бинауральные признаки локализации.

Слуховое последействие было выявлено для многих характеристик слухового восприятия речевого сигнала: фонематическая категория [30, 42–44], пол диктора [45], тембр голоса [46], вокальная эмоция [47]. Адаптация к биологически значимым сигналам, которые содержат большой комплекс признаков, оказывается более выраженной по сравнению с адаптацией к одному из них [48]. Таким образом, слуховую адаптацию можно рассматривать как общий принцип обработки акустических сигналов, включая голоса дикторов, адаптивное кодирование которых играет особую роль в слуховом анализе речи.

АДАПТАЦИЯ К РИТМУ. ТЕМПО-РИТМИЧЕСКИЕ ХАРАКТЕРИСТИКИ РЕЧИ

Акустический речевой поток по своим физическим характеристикам очень неоднороден, так как образован не одним излучателем, а сложной системой источников звука разной природы при голосообразовании. В нем присутствуют квазипериодические элементы типа гласных и вокализованных согласных, шумовые сегменты разной длительности, паузы. В соответствии с известными закономерностями первичного слухового анализа сцен последовательность из подобных сегментов должна разделяться на отдельные потоки. Это подтверждается результатами экспериментов, в которых слушатели воспринимали последовательности гласных звуков, дополнительно разделенных встроенными паузами [49]. Слушатели разделяли предъявляемую последовательность на потоки, если гласные принадлежали к разным фонемным классам и имели разную форму спектральной огибающей. Это означает, что гласные звуки в такой ситуации воспринимались как сигналы из разных источников, несмотря на то, что их произносил один и тот же диктор. Предполагается, что единство (слитность) речевых потоков, произнесенных одним диктором (голосом), обеспечивается плавностью спектральных переходов между смежными речевыми звуками – фонемами, и интонационной (просодической) когерентностью [50].

Речевые сигналы являются квазиритмическими, причем интервалы между усилением звуков речи (выделение ударением) довольно изменчивы. Коэффициенты вариации составляют более 30% от среднего интервала между ударениями [51, 52]. Вместе с тем речевые паттерны могут вызывать субъективное впечатление изохронии [53]. Более высокая регулярность обнаруживается в метрической речи, такой как поэзия [54–56], и при групповой речепродукции – молитвах и хоровом пении [57]. Адаптация к ритмам была исследована в диапазоне 100–700 мс между ударами, что примерно соответствует ритмическому диапазону речи. После адаптации к быстрому слуховому ритму, умеренно быстрый тестовый ритм (400 мс между ударами) казался медленным и наоборот [33]. Таким образом, были получены данные о типичном негативном последействии при восприятии ритма. Величина этого эффекта уменьшалась по мере того, как расхождение ритмического рисунка или паттерна между адаптирующими звуковыми последовательностями и тестовыми последовательностями становилось больше. Результаты последней упомянутой работы подтверждают предположение, что сенсорная временная информация кодируется нейрональными единицами, настроенными на определенные временные интервалы с широкими перекрывающимися кривыми настройки. Последействие ритма не зависело от того, на какое из ушей подавали адаптирующий и тестовый стимулы, а также от того, было это одно или оба уха. Данные факты означают, что информация о ритме звукового сигнала от обоих ушей обрабатывается в слуховых центрах с общим механизмом анализа времени. Информация о пространственно-временных характеристиках кодируемых звуковых сигналов достигает таламуса и мозжечка на самых ранних стадиях слуховой обработки [58, 59]. Мозжечок проецирует важную информацию, закодированную в слуховом сигнале (начало, конец сигнала и резкие изменения уровня), через таламус непосредственно в лобную кору. Полученные в работе [33] экспериментальные данные подтверждают, что описываемые временные свойства формируют основу временного паттерна, обнаруживаемого в обработке простого и сложного ритма. Эта ритмическая основа опирается на ту же нейронную фронто-стриарную архитектуру, что и любая другая временная обработка. Таким образом, адаптация слуха к относительно простым – временным или, иначе, темпо-ритмическим характеристикам речи, демонстрирует сложную функциональную организацию процесса адаптации.

АДАПТАЦИЯ К НЕЛИНГВИСТИЧЕСКИМ ХАРАКТЕРИСТИКАМ ГОЛОСА – ПОЛУ ДИКТОРА И ЕГО ЭМОЦИОНАЛЬНОМУ СОСТОЯНИЮ

Темпо-ритмическая характеристика речи отчасти отражает эмоциональное состояние и может свидетельствовать о нарушении центральных механизмов формирования речи и эмоций [60]. Наибольшее значение для оценки нелингвистических составляющих речи диктора и, в особенности, его голоса имеют спектральные характеристики. К последним относятся частота основного тона голоса диктора, ее модуляция и тембр. Показано, что адаптация к нелингвистической информации голоса также вызывает слуховое последействие.

Так, в работе [45] были получены первые экспериментальные доказательства слуховой адаптации к качеству голоса, а точнее, к половой принадлежности диктора. Стимулы представляли собой высококачественные аудиозаписи голосов пяти женщин и пяти мужчин – носителей немецкого языка (в возрасте 20–27 лет). Дикторы произносили четыре триграммы, содержащие гласный – согласный – гласный звуки (ГСГ), – /aba/, /aga/, /ibi/ и /igi/. Аудиозаписи составили пять пар женских и мужских голосов, которые были модифицированы с помощью особого алгоритма обработки голосовых характеристик – auditory morphing [61]. В итоге для каждой из пяти пар были созданы семь стимулов, в которых пропорции женского/мужского голоса соответствовали: 80/20%, 70/30%, 60/40%, 50/50%, 40/60%, 30/70% и 20/80%. Было показано, что предварительная адаптация к мужским голосам по контрасту определяет восприятие последующих голосов как более женских и наоборот. При использовании в качестве адаптирующих сигналов синусоидальных тонов с частотой, соответствующей частоте основного тона мужского или женского голоса, подобного последействия не наблюдалось. Эффект отсутствовал и в ситуациях кроссмодальной адаптации, когда предъявлялись фотографии мужских и женских лиц или текстовые варианты имен соответствующего рода. Предполагалось, что это связано с использованием статических (без артикуляции) изображений, нивелирующих проявления аудио-визуального взаимодействия (эффект Мак-Гурка). В целом результаты исключали объяснения слухового последействия голоса через адаптацию только к высоте звука и демонстрировали влияние процессов адаптации на голосовые репрезентации высокого уровня, аналогично контрастным эффектам при распознавании лиц. Области коры больших полушарий мозга, в которых реализуется нейрофизиологический механизм адаптации к гендерной принадлежности диктора, по предположениям Belin и Zatorre [62], а также Lattner и соавт. [63], находится в слуховой ассоциативной коре перед извилиной Гешля и/или в верхней височной борозде правого полушария. Таким образом, адаптация может рассматриваться как общее свойство высокоуровневого сенсорного кодирования при восприятии нелингвистической социально значимой информации от изображений лиц до голосовых характеристик дикторов. При этом адаптационные эффекты к характеристикам голоса зарегистрированы не только в отношении определения пола [45, 64], но и при оценке вокального возраста диктора [65].

Другим важным видом экстралингвистической информации, содержащейся в голосе, является эмоциональное состояние диктора. Восприятие эмоциональных состояний имеет решающее значение для адекватного социального взаимодействия. Известно, что эмоции отражаются в лице, но также и в голосе [66], жесте [67], движении тела [67–69]. В работе [70] впервые была показана слуховая адаптация при восприятии вокального аффекта. В этом исследовании адаптация к гневной вокализации (одиночные/а/-гласные) приводила к восприятию эмоционально неоднозначных голосов (трансформированных в “гнев–испуг” континуум) как более испуганных и наоборот. В другом эксперименте этой же работы аналогичное последействие обнаружено для естественных и синтезированных адаптирующих голосов. Полученные эффекты интерпретировались авторами как указывающие на то, что эмоциональное последействие не является исключительно следствием низкоуровневой адаптации, а скорее может зависеть от более высокого уровня восприятия аффективной категории адаптирующего стимула. Негативное последействие адаптации к счастливым или гневным голосам приводило к тому, что тестовые голоса, трансформированные в континуум “счастье-гнев”, воспринимались как более счастливые после предшествующей адаптации к сердитым (гневным) голосам и наоборот [47]. Эти результаты демонстрируют контрастные механизмы при анализе аффективной информации и расширяют данные работы [70], где при адаптации к эмоциональной составляющей были выявлены гендерно-специфические различия. Эффект гендерной специфичности при адаптации к вокальным эмоциям особенно четко проявился для адаптирующих женских голосов. Для женских тестовых голосов адаптационные эффекты были более выражены на эмоционально-неоднозначных морфологических (стимульных) уровнях, в то время как для мужских тестовых голосов адаптационные эффекты были одинаковыми для всего континуума эмоций. Аналогичные гендерно-специфические эффекты были выявлены и при изучении последействия в условиях восприятия возраста диктора по голосу [71].

В одной из последних работ на эту тему [72] была предпринята попытка оценить относительную роль основной частоты (F0) и тембра в адаптации к вокальным эмоциям гнева и страха. В экспериментах применяли адаптацию к голосам, содержащим информацию об эмоциях либо в F0, либо в тембре. Остальные параметры оставались постоянными и не имели однозначно выраженной эмоциональной составляющей, что соответствовало пропорции 50%/50% согласно отмеченному ранее алгоритму (auditory morphing). Голоса с полностью выраженной эмоцией (100%/0%) и неоднозначные голоса использовали в качестве эталонных условий. Все адаптирующие стимулы были сформированы голосами дикторов либо того же пола, что и пол диктора в тестовых стимулах (Эксперимент 1), либо противоположного пола (Эксперимент 2). В Эксперименте 1 обнаружили устойчивое последействие при всех условиях адаптации. Однако последействие при адаптации к тембру было выражено намного больше, чем при адаптации к частоте основного тона голоса, и лишь незначительно меньше, чем в случае адаптации к исходному (не трансформированному) голосу. В Эксперименте 2 величина последействия была значительно меньше, а различия в величине последействия между адаптирующими сигналами с разными типами обработки оказались незначимыми. Данные показывают, что в адаптации вокальных эмоций тембр играет большую роль, чем частота основного тона голоса, а также, что адаптация к вокальным эмоциям нарушается из-за устранения гендерного соответствия между адаптирующими сигналами и целевыми (тестовыми) стимулами. Эти результаты дополняют растущее количество свидетельств, указывающих на важную роль тембра в слуховой адаптации к речевому сигналу.

ПРОТОТИПНОЕ КОДИРОВАНИЕ И АДАПТАЦИЯ К ГОЛОСУ

При исследовании адаптации к голосам конкретных дикторов были получены экспериментальные данные, подтверждающие прототипное кодирование голосовой идентичности [73]. Оно состоит в следующем: индивидуальный голос с характерным для него тембром кодируется в многомерном перцептивном пространстве голосовых характеристик, и его идентичность определяется положением в этом пространстве [71, 74]. Два измерения перцептивного пространства, объясняющие большую часть дисперсии в суждениях о несходстве, хорошо аппроксимируются параметрами частоты основного тона голоса (F0) и формантными частотами [75]. Все пространство формируется относительно среднего голоса, который может выступать в качестве эталона (прототипа) для кодирования других голосовых идентичностей. Таким образом, прототип определяется как голос, относительно которого оцениваются все остальные. Он считается центром массы многомерного голосового пространства и может быть аппроксимирован экспериментально как трансформация на основе усреднения 16 мужских голосов [74, 75]. Важно отметить, что результаты моделирования пространства получены в упрощенном контексте восприятия голосовой идентичности из кратких гласных. Хотя этот контекст аналогичен упрощенному контексту восприятия лица из статических изображений лиц и дает сопоставимые выводы, их нельзя обобщить на более сложные, естественные ситуации. Как правило, другие речевые характеристики, выявляющиеся в течение более длительного времени, также способствуют распознаванию диктора, например, конкретные фонетические шаблоны, диалект, интонация, скорость речи и т.д.

Формирование индивидуальных особенностей речи в процессе раннего онтогенеза и дальнейшей жизнедеятельности также можно отнести к эффектам длительной речевой адаптации с прототипической настройкой в восприятии голосов [76–80]. К этим процессам относятся закрепление фонемных категорий и интонационных конструкций родной речи, влияние особенностей окружающей речевой среды, формирование психоэмоциональных реакций на определенные характеристики голоса, особенно в отношении голоса матери. Известно, что младенцы изначально способны различать фонетические единицы по всему континууму звуков речи. По мере развития и адаптации к акустическим характеристикам родного языка, у них происходит закрепление его специфических контрастов, в то время как чувствительность к неродной фонетической информации постепенно снижается [76, 77]. Наиболее “сензитивным” периодом для фонетического обучения и формирования основы категориального восприятия речевых звуков является возраст от 6 до 12 месяцев. К 6 месяцам младенцы учатся выделять гласные фонемы родного языка, к 11–12 месяцам – осваивают контрасты согласных звуков [77, 81]. Предполагается, что в этот период развития закладываются нейронные связи и формируется система “native language neural commitmen (NLNC)”, облегчающая дальнейшее языковое развитие [77, 79, 81, 82]. По завершении ее формирования освоение нового языка будет проходить без эффектов “облегчения”, т.е. аналогично обучению иностранному языку у взрослых.

В сензитивный период эти процессы пластичны и находятся в зависимости от сенсорного опыта. Это подтверждают исследования, связанные с возможностью “обогащения” акустической среды вокруг младенцев. Показано, что включение иностранной речи, в частности второго языка, ведет к расширению формируемого диапазона фонемных контрастов (категорий) и проявлению эффектов адаптации. Регулярное прослушивание музыкальных сигналов (ритм, высота) улучшает освоение просодических паттернов речи – структуры слогов, словесного ударения, интонационных конструкций, а также фонемного различения для ряда языков с высотной оппозицией речевых единиц, например, китайского мандаринского языка [78, 83]. Обучение звуковым категориям языка достигается, по мнению ряда исследователей, только посредством пассивного слушания (статистическое обучение) и может начинаться уже во внутриутробном периоде [84, 85]. Аргументом в пользу этого предположения выступают, в частности, данные о том, что уже в первый день после рождения младенцы способны выделять голос матери и реагировать на него поворотом головы [80]. В раннем постнатальном периоде фиксируются также и другие реакции – увеличение скорости сосания при появлении новых акустических сигналов и, наоборот, ее снижение до фоновых значений по мере “привыкания” ребенка к их звучанию [81, 84]. Наряду с элементами перцептивной предрасположенности и пассивного обучения, в процессе освоения речевой деятельности включаются и активные процессы – врожденные программы лепета, компоненты имитации воспринимаемых речевых сигналов и их просодических характеристик. Эти процессы базируются на развитии у ребенка механизмов слухо-проприоцептивного и слухо-зрительного взаимодействия. При этом голос матери и адекватная коммуникация в диалоге “мать–дитя” оказываются важнейшими факторами не только языковой и социальной, но и биологической адаптации ребенка [86, 87]. Эффективное воздействие голоса матери на психофизиологический статус младенцев подтверждается результатами его терапевтического использования в клинической практике неонатальных центров [88–92]. Таким образом, голос матери играет особую роль и в освоении образцов родной речи, и в формировании прототипических голосовых характеристик (модели протодиктора).

Сходные процессы адаптации и обучения, связанные с освоением звукового строя языка, интонационных особенностей речи и формированием способности к распознаванию голосов дикторов (кодированию голосовой идентичности) на основе направленной тренировки, наблюдаются и при реабилитации ранооглохших пациентов после операции кохлеарной имплантации [93–99], а также в период адаптации к новым условиям “слушания” у постлингвальных пациентов с кохлеарными имплантами и у начинающих пользователей слуховых аппаратов, имеющих выраженную тугоухость [96, 100–103]. В этих условиях формируются или корректируются исходные протообразы как речевых единиц, так и голосовых характеристик [104]. При этом процесс адаптации затрагивает не только возможности гендерного различения дикторов, но и настройку собственного голоса (развитие слухового контроля) и узнавание голосов близких людей, перцептивные образцы которых находятся в долговременной памяти [96, 100, 105–107].

К перечисленным выше проявлениям долговременной слуховой адаптации близки результаты экспериментов по изучению эффектов адаптации к антиголосам (голосам, отличающимся от прототипа в противоположном направлении относительно конкретных). Эти эффекты можно считать подтверждением прототипного представления идентичности голоса [45, 61, 73]. Ограничение экспериментов по долговременной адаптации состоит в том, что в них использовали небольшие наборы голосов или простые (гласные) стимулы. Для рассмотрения прототипного кодирования идентичности голоса как единого принципа обработки речевой информации желательно получить подтверждение при применении больших наборов знакомых дикторов и произвольных образцов речи.

ПРИМЕНЕНИЕ АДАПТАЦИИ К ИЗУЧЕНИЮ НЕЙРОФИЗИОЛОГИЧЕСКИХ МЕХАНИЗМОВ ФОНЕМАТИЧЕСКОГО АНАЛИЗА

Начальный анализ речевого сигнала основан на сегментации потока речи и выделении его звуковых единиц (фонем). Для доказательства действия нейрофизиологических механизмов – детекторов признаков, которые опосредуют восприятие речи и отдельных речевых звуков, рассматривали результаты избирательной адаптации и различения стимулов вблизи фонемных границ [108]. В частности, чтобы выяснить, могут ли эффекты границы фонемы и ее сдвига после адаптации быть отнесены к изменениям предвзятости ответа (response bias) или к явлениям слуховой адаптации, была использована модель теории обнаружения. Эта модель была применена при анализе фонемной идентификации разных наборов стимулов (/ap–ab–/, /bd/, /bp/) до и после адаптации. Результаты показали, что изменения в идентификации фонемы после адаптации могут быть вызваны сдвигами в критериях оценки, а не изменениями на сенсорном уровне.

Влияние избирательной адаптации на восприятие контрастов языковых признаков исследовалось также в работе [109]. Тестовый стимул состоял из серии синтетических речевых звуков – 13 слогов согласный-гласный, которые варьировали по частоте основного тона и по направлению переходов второй и третьей формант. Изменения в формантных переходах были достаточными для восприятия разных согласных в слогах [b æ], [d æ] и [g æ]. Установлено, что значительный адаптационный эффект был получен как в задаче фонемной идентификации, так и в задаче различения согласных. Использование в качестве адаптирующего сигнала слога [bi], у которого переходы второй и третьей формант отличались от тестовых стимулов, позволило предположить, что последействие наблюдается на уровне фонетического анализа признака, а не отдельных акустических составляющих.

Сходные выводы были сделаны и при исследовании эффекта избирательной адаптации на материале русских взрывных согласных [30]. В работе сравнивали результаты адаптации к неречевым и речевым стимулам с близкими акустическими характеристиками – спектральный состав, изменения амплитудной огибающей (двухтоновый комплекс и фонемный ряд [a] – [ta] – [da]). Для неречевых звуков адаптацию выполняли путем многократного предъявления стимула с максимальным значением длительности между началом сигнала и моментом приращения интенсивности, для речевых – соответственно слогом [da]. При восприятии неречевых стимулов изменений в границе обнаружения амплитудной неравномерности после адаптации выявлено не было. При восприятии речевых стимулов граница между гласным и глухим согласным [ta] оставалась неизменной, а для слогов с глухим и звонким взрывным согласным значимо смещалась по принципу контраста – расширение категории [ta] и сокращение категории [da].

Результаты другой группы экспериментов по избирательной адаптации с использованием взрывных согласных были интерпретированы с точки зрения изменения состояния детекторов слуховых и фонетических признаков, а также контраста откликов [110]. В этих исследованиях использовали процедуры избирательной адаптации и парных сравнений между последовательно предъявляемыми стимулами – слогами с сочетанием разных категорий согласных. Один из стимулов представлял звукосочетание [spa], за которым следовал интервал тишины (75 мс) и слог [ba] (время начала голоса 10 мс). При предъявлении он воспринимался как слог [spa] с глухим согласным [p] (без голоса), несмотря на то, что спектральная структура ее конечного элемента сочетания “взрывной–гласный” внутри него была идентична слогу, оцениваемому как [ba] в тестовой серии [ba]-стимулу [pha]. Как адаптирующие стимулы, конечные слоги [spa] и [ba] имели одинаковые эффекты. В процедуре парного сравнения [spa] приводил к оценке неоднозначных тестовых стимулов как “b”, слог [ba] – как “p”. Результаты этих экспериментов показали, что ни контраст ответа, ни обнаружение фонетических признаков не участвовали в избирательных адаптационных эффектах, обнаруженных для ряда “гласный – взрывной согласный”. На основании полученных данных можно утверждать, что избирательные адаптационные эффекты возникают на раннем, слуховом, уровне обработки, который реагирует на спектральное перекрытие между адаптирующими и тестовыми стимулами.

Выводы работы [110] были позднее подтверждены в исследовании по избирательной адаптации к отдельным фонемам, в котором был использован синтезированный согласный-гласный континуум в диапазоне от [ba] до [da] [44]. В экспериментах участвовали дети в возрасте от пяти до шести лет и взрослые. В одном из условий избирательной адаптации внимание слушателей было сосредоточено на адаптационном стимуле [ba], который являлся конечной точкой синтезированного континуума. В другом случае внимание участников эксперимента было сосредоточено не на противоположной конечной точке континуума – [da], а на контралатерально и одновременно прослушиваемых слогах “she” и “see”. Результаты этих экспериментов, по сравнению с двумя более типичными условиями адаптации, показали, что внимание не усиливает избирательные эффекты адаптации. В группе детей данные демонстрировали меньшую величину эффекта при условии сосредоточения внимания на адаптирующем стимуле. В отличие от взрослых дети незначительно изменяли свои ответы после воздействия адаптирующих стимулов [ba]. Этот результат совпадал с данными работы [111]. Вместе с тем дети значительно изменили оценки после воздействия адаптирующего стимула [da]. Таким образом, результаты исследования по различению стимулов “согласный-гласный” поддержали представление о важности акустической обработки для реализации избирательной адаптации. Совокупность этих данных подтверждает гипотезу о различиях в сенсорной обработке у нормально развивающихся детей по сравнению со взрослыми и демонстрирует, что способности к различению фонем связаны с навыками восприятия речи, т.е. удержания внимания на речевом стимуле.

Для изучения адаптации речевых континуумов в переходах слогов [ba]–[wa] и [cha]–[sha] были проведены три эксперимента с использованием неречевых стимулов (музыка и шум) [112]. Адаптирующие стимулы вызывали значительные сдвиги границ фонем на речевых континуумах только тогда, когда они совпадали по периодичности: музыкальные стимулы влияли на восприятие [ba]–[wa], а шумовые стимулы – на [cha]–[sha]. Причем такие эффекты возникали даже тогда, когда адаптирующие стимулы и тестовые континуумы не совпадали в других простых акустических признаках (время нарастания или длительность согласных). Спектральное перекрытие адаптирующих и тестовых стимулов также оказалось несущественным для результата адаптации. Эти данные подтверждают существование слуховой обработки избирательной к сложным акустическим сигналам, а также нейронов-детекторов, которые реагируют на более сложные признаки речи, характеризующие фонемы. Заметим, что в данном случае наблюдалась асимметричная адаптация, которая свидетельствовала против оппонентного процесса функционирования таких групп нейронов, т.е. против формирования контраста.

На основе данных, полученных в рассмотренных выше работах по избирательной адаптации к различным фонемным конструкциям, была предложена двухуровневая акустическая модель процесса восприятия речи. Ее первый уровень отражает процессы слухового анализа речевого сигнала, на основе которого производится преобразование следующего уровня и переход к более абстрактным признакам и их дальнейшей фонетической и лексической интерпретации. Однако пока не существует единой согласованной модели восприятия речевых сигналов. Разнообразие предложенных разными авторами моделей объясняется сложностью процесса и вовлечением в него не только процедур слуховой обработки, но и сенсорно-моторных программ речепродукции (артикуляция, просодика), а также когнитивных процессов – язык, память, мышление. Модели восприятия речи представлены моторной теорией [113], теориями “следов” [114], категориального восприятия [115], “двойного потока” [116] и другими.

Помимо выделения различных аспектов речевой функции, модельные подходы можно разделить на “пассивные”, т.е. ориентированные в основном на процессы восприятия, и “активные” – предполагающие взаимосвязь восприятия речи и речепродукции. Другой принцип разделения выбран по отношению к включению в работу моделей как восходящего, так и нисходящего путей обработки. Здесь можно выделить теории “следов” и “двойного потока”, допускающих реализацию стратегий влияния и “снизу–вверх” и “сверху–вниз” [117]. При этом вопросы моделирования процессов нормализации речевого сигнала и его адаптации к дикторской вариативности остаются пока не решенными [118].

НЕЙРОФИЗИОЛОГИЧЕСКИЕ МЕХАНИЗМЫ СЛУХОВОЙ АДАПТАЦИИ К ХАРАКТЕРИСТИКАМ РЕЧИ

В основе кодирования ключевых признаков речи и избирательного реагирования на определенный информационный поток (речь конкретного диктора) лежат нейрофизиологические механизмы, реализующиеся на разных уровнях слуховой системы – от стволовых структур до слуховых и мультисенсорных областей коры больших полушарий. Таким образом, в анализе акустической сцены задействована обширная нейронная сеть, которая реализует функции сегрегации речевых потоков. Инвариантное по отношению к шуму представление речи было показано в слуховой коре человека [6, 119, 120]. Вместе с тем пространственно-временное разрешение неинвазивных методов нейровизуализации ограничено, поэтому данные методы не позволяют четко выявить кодирование речевых характеристик у людей в шуме. Другой особенностью исследований нейронного представления речевого сигнала или вокализаций животных в шуме является использование постоянных фоновых шумов. Эти экспериментальные ограничения привели к тому, что наблюдали только результат адаптации и свойства нейронного представления речи после постоянного шумового воздействия. Остается неясным, каким образом, в какие временные периоды и в каких областях коры больших полушарий адаптация формируется, когда новый фоновый шум внезапно появляется в акустической сцене или, наоборот, исчезает из нее. По этой причине многие важные вопросы, касающиеся динамических свойств адаптации к речи на фоне шума в слуховой коре человека, остаются без ответа. Вместе с тем ответы на них имеют решающее значение для создания полной динамической модели обработки речи в слуховой коре человека.

В работе [121] были объединены методы инвазивной электрофизиологии и психоакустические эксперименты, что позволило исследовать динамические механизмы обработки речи на фоне шума в слуховой коре человека. Нейрональная запись производилась с помощью глубинных и поверхностных электродов высокого разрешения, имплантированных в слуховую кору нейрохирургических больных. На основе данных электрокортикографии, полученных при участии шести человек, анализировали нейрональную активность в гамма-диапазоне (75–150 Гц). Усредненная нейрональная реакция показала кратковременный переходный пик со средней длительностью 670 мс, который возникал сразу после изменения фона. Эта кратковременная реакция проявлялась во всех четырех условиях эксперимента (речь на фоне трех типов шума и контроль в тишине), даже при переходе от речи в шуме к речи в тишине. Наблюдали кратковременное и значительное снижение соотношения сигнал – шум (С/Ш) для представления речевого сигнала в слуховой коре в начальном процессе адаптации. По завершении адаптации к шуму соотношение С/Ш увеличивалось. Таким образом, когда новый фоновый шум появлялся на акустической сцене во время восприятия речи, слуховые нейроны мгновенно реагировали на его особенности, но затем быстро адаптировались, что приводило к подавлению нейронного кодирования шума и усилению нейронального кодирования речи, а также улучшению восприятия ее фонетических особенностей и разборчивости. Таким образом, методический подход, использованный в работе [121], позволил выявить специфические особенности нейронального кодирования речи и фонового шума во время развития адаптационного процесса. Было обнаружено, что величина эффектов адаптации к различным фоновым шумам различна в разных нейрональных областях. Данный результат можно рассматривать как вполне предсказуемый, учитывая особенности спектрально-временных характеристик настройки этих областей.

В дополнение к спектральному перекрытию выделение слухового объекта из фонового шума, имеющего временную структуру, требует интеграции сигнала во времени [122, 123]. Реконструктивный анализ нейрональной активности, выполненный в работе [121], выявил кодирование спектрально-временных особенностей стимула в реакциях нейронных популяций. Используя высокую гамма-активность, авторы работы исследовали относительные расстояния между нейронными представлениями фонем во время и после адаптации. Было обнаружено, что относительное расстояние фонем в реакциях нейронных популяций значительно уменьшается в начальный период адаптации, но затем существенно увеличивается. Различимость разных реконструированных фонетических признаков также снижается в начальный период адаптации к новому фоновому состоянию и далее увеличивается.

В психоакустических экспериментах распознавание фонем сходным образом ухудшалось в начальный период адаптации к новому типу шума [121]. При этом величина эффекта адаптации к фоновым шумам была больше при прослушивании речи в шуме по сравнению с прослушиванием только шумовой помехи. Это означает, что наличие речевого сигнала было необходимым условием для наблюдаемого подавления реакций нейрональных популяций на шум. Наблюдалось также снижение точности в восприятии фонем при переходе от прослушивания шумного фона к тишине. Эти проявления хорошо согласуются с психофизическими исследованиями прямой маскировки, где обнаружение целевого сигнала может быть нарушено предшествующим звуком [124], особенно когда акустические характеристики шума и цели перекрываются [125]. При этом повышается роль адаптационных процессов в усилении контраста сигнала и фона, а также в улучшении условий для выделения и распознавания признаков речи целевого диктора. Таким образом, адаптационные процессы играют важную роль в восприятии речевого сигнала при различных условиях, что приводит к улучшению его разборчивости и определения дикторской принадлежности.

ЗАКЛЮЧЕНИЕ

Слуховая адаптация – это полезный механизм, позволяющий гибко и быстро изменять чувствительность слуха к внешним акустическим раздражителям в соответствии с меняющейся окружающей средой. Универсальность процессов адаптации по отношению к различным динамическим характеристикам акустической сцены указывает на эффективность такого кратковременного подстраивания к параметрам информации о текущих событиях, что одновременно обеспечивает увеличение чувствительности к новым акустическим событиям [126]. Процессы адаптации развиваются уже в волокнах слухового нерва и проявляются по отношению к частоте при сохранении временной информации (начало, продолжительность звуков), при этом волокна с фазовой синхронизацией демонстрируют более слабую адаптацию [127]. Баланс адаптации к текущей слуховой информации и ее синхронизация слева и справа обеспечивают возможность обработки в ядрах ствола мозга таких акустических характеристик, как местоположение звука. На более высоких уровнях анализа проявляется адаптация к более сложным типам сигналов, которая может способствовать дальнейшей обработке информационных потоков. Она позволяет нейрональным популяциям выделять комплексные характеристики слуховой среды, сложные последовательности сигналов, категориальные отношения и участвовать в таких процессах, как слуховое внимание и разделение акустических потоков. В результате выделение целевого речевого сигнала (целевого диктора) из нестационарного шума может быть обусловлено адаптацией к любому характерному для речи данного диктора признаку. В этом качестве может выступать какая-либо индивидуальная особенность голоса или темпо-ритмическая организация речевого потока. Явление слухового последействия дает уникальный психофизический инструмент для подтверждения существования специфических детекторов различных признаков и соответствующих нейрональных популяций в слуховых центрах. Этот инструмент важен также для изучения того, как формируются нейросети, связанные с обработкой и выделением голосовых и речевых спектрально-временных характеристик в процессе онтогенеза. Особенности слуховой адаптации к спектрально-временным характеристикам голоса и речи следует учитывать и при организации реабилитационных мероприятий по восстановлению и развитию речевого слуха пациентов после слухопротезирования и, в первую очередь, после кохлеарной имплантации. Кроме того, важно подчеркнуть близкую нейрофизиологическую основу, которую демонстрируют механизмы зрительного восприятия лица собеседника и слуховой идентификации голоса диктора [128, 129].