Радиотехника и электроника, 2019, T. 64, № 3, стр. 274-280

ВВЕДЕНИЕ

Современные технологии трансформации речи в текст, основанные на скрытых марковских моделях (СММ) [1] и глубоких нейронных сетях [2], оказываются порой недостаточно эффективными [3] для многих систем обработки голосовой информации, например, систем голосового управления робототехникой широкого назначения [4]. Вычислительная сложность традиционных методов [1] затрудняет их применение в голосовом интерфейсе автономных систем, которые могут функционировать на малопроизводительном оборудовании. Кроме того, вероятность ошибочного распознавания сильно варьируется при наличии разнообразных акустических помех, акцента, дефектов речи, изменении физического и эмоционального состояния пользователя [5, 6]. Несомненный интерес здесь представляет пофонемная обработка речевых сигналов [7, 8], в которой появляется возможность выполнить быструю адаптацию на голос нового диктора и автоматическую настройку словаря [1, 9]. Перспективной реализацией пофонемного подхода является метод фонетического кодирования слов (ФКС) [3], позволяющий за счет использования принципов слоговой фонетики русского языка значительно снизить вероятность ложной тревоги [6]. Ключевой особенностью метода является предварительная редукция данных на основе принципа минимума информационного рассогласования Кульбака–Лейблера [10]: каждая фонема в фонетической базе данных (ФБД) задается с помощью центра кластера множества ее доступных реализаций [9].

Как известно, в алгоритмах пофонемной обработки речи, в том числе и в методе ФКС, каждый звук описывается собственной акустической моделью, при этом степень сходства различных звуков обычно не учитывается [3, 7, 11]. В результате на практике нередко требуется объединить модели близких по звучанию звуков в один кластер [6]. Такой подход приводит к значительному сокращению количества различимых звуков в ФБД и, как следствие, к увеличению числа альтернативных решений на выходе алгоритма распознавания [3]. Для преодоления указанной проблемы был предложен метод нечеткого фонетического кодирования (НФК) [4], основанный на представлении фонемы как нечеткого множества всех эталонных минимальных речевых единиц (МРЕ). В методе НФК для эталонных МРЕ и фреймов входного сигнала используются различные способы определения степеней принадлежности нечетких множеств, поэтому на практике в ряде случаев (например, при наличии помех) он оказывается недостаточно эффективным.

Цель данной статьи – найти способы повышения точности НФК для пофонемной обработки и распознавания голосовой информации на основе нечеткого множества эталонных фонем.

1. ФОНЕТИЧЕСКИЙ ПОДХОД В ЗАДАЧЕ РАСПОЗНАВАНИЯ ИЗОЛИРОВАННЫХ СЛОВ

Пусть задано множество из L > 1 слов, каждое из которых описывается в виде транскрипции – последовательности фонем из некоторого фонетического алфавита объема R. Задача состоит в том, чтобы поступившему на вход речевому сигналу X поставить в соответствие наиболее близкое к нему слово-эталон. Для сравнительной оценки эффективности различных методов решения задачи используется показатель вероятности ε ошибки распознавания, который обычно оценивается экспериментально в рамках перекрестной проверки (скользящего контроля) как среднее отношение некорректно распознанных слов к общему объему контрольной выборки. Кроме того, во многих работах применяется показатель (1 – ε) – точность распознавания (доля правильно классифицированных слов) [1, 8].

В традиционных методах [1] решение сводится к автоматическому определению и последующему сопоставлению транскрипций произнесенного слова и всех эталонных слов. На первом этапе входной сигнал X разбивается на ряд непересекающихся квазистационарных (с неизменяющимися спектральными характеристиками [11, 12]) фреймов $\left\{ {{\mathbf{x}}(t)} \right\},\,\,t = \overline {1,T} $ длиной 10…30 мс (или M = = 80…240 отсчетов при частоте дискретизации F = = 8000 Гц), где T – общее число фреймов. Для каждого парциального сигнала – вектора-столбца отсчетов x(t) размерности M – вычисляются некоторые характерные признаки, например, кепстральные коэффициенты (MFCC, Mel Frequency Cepstral Coefficients). Вектор признаков каждой МРЕ (монофон или трифон) обычно описывается с помощью модели гауссовской смеси [1] или глубокой нейронной сети (ГНС) [2]. Для оценки параметров акустической модели используются речевые корпуса большого объема (десятки и даже сотни часов). На втором этапе с помощью методов динамического программирования (например, Dynamic Time Warping или СММ) выполняется динамическое выравнивание по темпу речи полученной последовательности признаков МРЕ и транскрипций слов из словаря. Слово, наиболее близкое в смысле метода максимального правдоподобия после временнóго выравнивания, и будет являться решением задачи.

Известны следующие основные проблемы таких традиционных методов [3]: высокая вычислительная сложность алгоритмов принятия решений, большой объем памяти для хранения акустической модели, сложность настройки на голос диктора. Для преодоления указанных недостатков может использоваться фонетический подход [6, 7], в котором каждая r-я фонема в ФБД задается множеством из $\left\{ {{\mathbf{x}}(t)} \right\},\,\,t = \overline {1,T} $ векторов отсчетов однофонемных эталонных реализаций ${{{\mathbf{x}}}_{{r,j}}},\,j = \overline {1,{{J}_{r}}} ,$ где ${{J}_{r}}$ – количество эталонных фонем r-го класса. В результате применения фонетического подхода появляется возможность выполнить быструю настройку на голос нового диктора, однако точность распознавания на практике оказывается ниже по сравнению с традиционными СММ-методами.

В работе [3] отмечено, что, в отличие от традиционных систем диктовки текстов, при построении голосового интерфейса во многих технических системах не требуется обработки сверхбольших словарей, а для повышения точности распознавания могут вводиться искусственные ограничения на стиль произнесения команд. Показано, что в таком случае альтернативой СММ-подходу может служить метод ФКС, в котором предварительно проводится редукция МРЕ [6] – одноименные реализации фонем r-го класса группируются вокруг информационного центра-эталона – речевой метки ${\mathbf{x}}_{r}^{*}$

которая характеризуется минимальной суммой информационных рассогласований Кульбака–Лейблера (KL) [10] между выборочными оценками автокорреляционных матриц ${{{\mathbf{K}}}_{{r,k}}}$ и ${{{\mathbf{K}}}_{{r,j}}}$ порядка p сигналов ${{{\mathbf{x}}}_{{r,k}}}$ и ${{{\mathbf{x}}}_{{r,j}}}$ соответственно: где использованы обозначения $\left| {\mathbf{K}} \right|$ и ${\text{tr}}({\mathbf{K}})$ для определителя и следа матрицы, соответственно.

При использовании традиционной для задач обработки речи [1] авторегрессионной (АР) модели (или модели линейного предсказания речи [11, 12]) порядка p (обычно p = 12…20) последнее выражение с точностью до постоянного множителя эквивалентно дивергенции Итакуры–Саито [1, 13, 14] между АР-оценками спектральной плотности мощности (СПМ) ${{G}_{{r,k}}}(f)$ и ${{G}_{{r,j}}}(f),f \in \{ 1,2,...,F\} $ эталонов ${{{\mathbf{x}}}_{{r,k}}}$ и ${{{\mathbf{x}}}_{{r,j}}}\,:$

Нередко близкие по звучанию звуки объединяются в один кластер: r-й фонеме ставится в соответствие фонетический код – номер кластера $c(r) \in \left\{ {1,...,C} \right\},$ где $C \leqslant R$ – число различных кластеров.

В процессе распознавания во входном слове X с помощью амплитудного детектора выделяется N слогов. Границы n-го слога ($n = \overline {1,N} $) определяются с точностью до номера фрейма. Далее каждому слогу ставится в соответствие один из R эталонов ${\mathbf{x}}_{{\nu (t)}}^{*}$ из ФБД с помощью известной реализации максимально правдоподобного решения задачи проверки гипотез об автокорреляционных матрицах гауссовского процесса [6] на основе принципа минимума информационного рассогласования Кульбака–Лейблера [10]:

после чего с помощью простого голосования осуществляется агрегация решений (4) для каждого фрейма n-го слога. Итоговое решение принимается в пользу слова из словаря, последовательность фонем в котором наиболее близка фонемам, распознанным во входном сигнале.

2. НЕЧЕТКОЕ ФОНЕТИЧЕСКОЕ КОДИРОВАНИЕ РЕЧЕВЫХ СИГНАЛОВ

В работе [4] выделен основной недостаток практической реализации метода ФКС – из-за близости многих звуков число фонем R зачастую намного превышает число используемых при распознавании фонетических кодов C, что приводит к наличию большого числа альтернативных слов на выходе алгоритма [3]. Для устранения этого недостатка для задачи распознавания фонем был предложен метод НФК [4, 15], в котором используется модель фонемы, основанная на теории нечетких множеств [16]. В ней каждый i-й звук описывается с помощью нечеткого множества МРЕ $\left\{ {\left( {{\mathbf{x}}_{r}^{*},{{\mu }_{i}}\left( {{\mathbf{x}}_{r}^{*}} \right)} \right)} \right\},$ а не только одного информационного центра-эталона ${\mathbf{x}}_{i}^{*}.$ Степень принадлежности ${{\mu }_{i}}\left( {{\mathbf{x}}_{r}^{*}} \right)$нечеткого множества определяется как условная вероятность $P\left( {\left. {{\mathbf{x}}_{r}^{*}} \right|{\mathbf{x}}_{i}^{*}} \right)$ принятия решения в пользу эталона ${\mathbf{x}}_{r}^{*}$ (4) при распознавании i-ой фонемы. Оценка этой вероятности может быть получена [3] на основе известного асимптотического распределения рассогласования Кульбака–Лейблера [10]:

где $\Phi \left( {\tilde {t}} \right)$ – функция Лапласа, $\lambda = 4\pi (M - {{p)} \mathord{\left/ {\vphantom {{p)} p}} \right. \kern-0em} p}$ – параметр масштабирования.

Каждому фрейму входного сигнала x(t) также ставится в соответствие нечеткое множество вида $\left\{ {\left( {{\mathbf{x}}_{r}^{*},\mu \left( {\left. {{\mathbf{x}}_{r}^{*}} \right|{\mathbf{x}}(t)} \right)} \right)} \right\}.$ Степень принадлежности $\mu \left( {\left. {{\mathbf{x}}_{r}^{*}} \right|{\mathbf{x}}(t)} \right)$ определяется как апостериорная вероятность $P\left( {\left. {{\mathbf{x}}_{r}^{*}} \right|{\mathbf{x}}(t)} \right)$ принадлежности фрейма x(t) к r-й гласной, которая для критерия минимума информационного рассогласования (4) может быть оценена как [3]:

Здесь ${{p}_{r}},r = \overline {1,R} $ – априорная вероятность появления r-го класса гласных звуков (частота появления фонемы в языке). Для повышения точности распознавания фонем используется операция пересечения нечетких множеств $\left\{ {\left( {{\mathbf{x}}_{r}^{*},\mu \left( {\left. {{\mathbf{x}}_{r}^{*}} \right|{\mathbf{x}}(t)} \right)} \right)} \right\}$ и $\left\{ {\left( {{\mathbf{x}}_{r}^{*},{{\mu }_{{\nu (t)}}}\left( {{\mathbf{x}}_{r}^{*}} \right)} \right)} \right\},$ где $\nu (t)$ – номер ближайшего к t‑му фрейму эталона из ФБД (4):

Для рассогласования Кульбака–Лейблера это выражение приводит к существенному снижению степеней принадлежности в случае ошибки распознавания [4]. В отличие от метода ФКС, агрегация решений для каждого слога в НФК осуществляется не простым голосованием, а усреднением степеней принадлежности (7) для всех фреймов этого слога.

3. ПРЕДЛОЖЕННЫЙ АЛГОРИТМ

При практической реализации метода НФК использование оценки условной вероятности перепутывания фонем (5) для пользовательской ФБД оказывается некорректным в связи с известной вариативностью речи [1]. Рассмотрим пример: при i = r рассогласование ${{\rho }_{{KL}}}({\mathbf{x}}_{r}^{*},{\mathbf{x}}_{r}^{*}) = 0,$ однако в действительности расстояние между одноименными реализациями фонемы может быть весьма велико, поэтому оценка (5) вероятности правильного распознавания r-й фонемы $P\left( {\left. {{\mathbf{x}}_{r}^{*}} \right|{\mathbf{x}}_{r}^{*}} \right)$ окажется завышенной. А добавление к эталонным МРЕ аддитивного шума, предложенное в работе [3], приводит к значительным различиям при определении нечетких множеств для эталонных фонем (5) и входных фреймов, что, в свою очередь, сказывается на точности итогового решения. Поэтому в данной работе для определения степени принадлежности эталонной МРЕ предлагается использовать оценку апостериорной вероятности, аналогичную (6):

С учетом того, что степени принадлежности в нечетких множествах определяются как дискретные распределения (6), (8), для их комбинирования вместо операции максимума (7) будем использовать вероятностную треугольную норму (вероятностное пересечение или алгебраическое произведение):

Отметим, что обычно доступно более одной эталонной реализации МРЕ для каждой фонемы. Тогда вначале аналогично (8) оценим апостериорную вероятность для каждой j-й реализации i-й фонемы:

Заметим, что в случае, если хотя бы одна из реализаций истинной фонемы близка к эталону ${\mathbf{x}}_{{\nu (t)}}^{*},$ но при этом рассогласование между информационными центрами-эталонами ${{\rho }_{{KL}}}\left( {{\mathbf{x}}_{i}^{*},{\mathbf{x}}_{r}^{*}} \right)$ достаточно велико, то оценка близости r-го эталона и t-го фрейма $\mu \left( {r,t} \right)$ (9) может оказаться слишком малой. Поэтому в данной работе для ее повышения предлагается определить степень принадлежности ${{\mu }_{i}}\left( {{\mathbf{x}}_{r}^{*}} \right)$ с помощью операции вероятностного объединения (или алгебраической суммы):

Ниже представлен предлагаемый алгоритм распознавания фонем на основе нечеткого фонетического кодирования речевых сигналов:

1) для каждой фонемы среди множества ее реализаций выбирается информационный центр-эталон (1),

2) оцениваются апостериорные вероятности (10),

3) вычисляются степени принадлежности каждого r-го информационного центра к i-й фонеме (11);

4) входной речевой сигнал разбивается на T фреймов фиксированной длительности,

5) для вектора из M отсчетов каждого фрейма определяется код ближайшего информационного центра из ФБД (4),

6) оценивается степень принадлежности к каждому эталону из ФБД (7),

7) выполняется операция вероятностного пересечения (9),

8) выполняется агрегация (усреднение) нечетких множеств всех фреймов,

9) итоговое решение принимается в пользу звука с наибольшей средней степенью принадлежности.

Вычислительная сложность такого алгоритма асимптотически совпадает со сложностью реализации метода ФКС и может быть оценена как O(TF(p + R)). Затраты памяти для хранения акустической модели составляют O((F + R)R), так как для вычисления рассогласования Кульбака–Лейблера для каждой фонемы требуется сохранить F/2 значений СПМ. Как известно, важнейшей особенностью рассогласования Кульбака–Лейблера в (1) является возможность его адаптивной реализации на основе метода обеляющего фильтра [1, 3, 6], что позволяет снизить вычислительную сложность примерно в F/M раз – до O(TRp(M – p)). Сложность по затратам памяти также снижается до O((p + R)R), так как для каждого обеляющего фильтра сохраняются только p коэффициентов линейного предсказания.

4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ

Рассмотрим результаты сравнительного анализа предложенного подхода (1), (4), (8)–(11) с методом ФКС, оригинальным НФК (1)–(7) и традиционными способами распознавания речи. Запись речевого сигнала осуществлялась через внешний микрофон с функцией шумоподавления из гарнитуры A4Tech HS в формате моно, частота дискретизации F = 8000 Гц, разрядность квантования 16 бит на отсчет. Из сигнала были удалены начальные и конечные паузы. Порядок АР-модели p = 20, отношение сигнал/шум (С/Ш) 30 дБ, количество отсчетов в одном фрейме M = = 120 (15 мс).

В первом эксперименте рассматривалась задача распознавания изолированно произнесенных звуков русского и английского языка. Эта задача имеет важное практическое значения для систем постановки произношения, поэтому результаты предложенного подхода сопоставлялись с известной системой обучения речи серии “Профессор Хиггинс” компании “ИстраСофт”, в которых фрейм речевого сигнала описывается с помощью дисперсий выходов полосовых фильтров, настроенных на девять различных диапазонов частот [17]. Тестирование проводилось группой из пяти пользователей (двух мужчин и трех женщин), каждый из которых 50 раз произносил каждый звук. Таким образом, общее число испытаний для каждого диктора составило 1550 для русского языка и 1300 для английского языков. Для наполнения ФБД при дикторонезависимого режима было использовано по одной (${{J}_{r}} = 1$) реализации каждой фонем из программы “Профессор Хиггинс”, произнесенных эталонным пользователем. Кроме того, для тестирования дикторозависимого распознавания в ФБД добавлялись по три реализации фонем пользователя, в таком случае для каждого звука было доступно ${{J}_{r}} = 4$ эталонных сигналов.

В табл. 1 и 2 представлены результаты сравнительного анализа вероятности ε ошибки распознавания изолированных звуков в формате среднее (по пользователям) ± среднеквадратичное отклонение и доверительный интервал для вероятности ε, вычисленный при фиксированной доверительной вероятности 0.95 [18].

Здесь применение подхода к обучению, в котором пользователь может обучаться не только на фонемах эталонного диктора, но и на лучших из произнесенных им ранее звуков (${{J}_{r}} = 4$), позволило увеличить точность оценки качества обучения на 18…25% для русского языка и на 25…33% для английского. Предложенная в данной работе модификация метода НФК обладает наибольшей точностью: на 5…10% выше по сравнению с системой “Профессор Хиггинс”. Кроме того, разработанный алгоритм оказался на 6…15% точнее по сравнению с оригинальными методами ФКС и НФК. Несмотря на то, что в ряде случаев доверительный интервал вероятности ошибки предложенного подхода пересекается с доверительными интервалами известных методов, критерий Мак-Немара [19] на уровне значимости 0.95 показал, что различия в точности разработанного метода с аналогами во всех случаях являются значимыми. Более того, эксперимент показал, что предложенный подход может быть реализован не только для рассогласования Кульбака–Лейблера между АР-оценками СПМ, но и с другими, специально подобранными для конкретной задачи признаками речевого сигнала.

Во втором эксперименте рассмотрена задача распознавания изолированных слов русского языка. Основным требованием к произношению было разделение слов на слоги с четкой паузой между ними (не менее 120 мс) [3, 20]. В качестве ФБД использовались все гласные звуки русского языка. Звуки /а/ и /й/ /а/, /э/ и /й/ /э/, /о/ и /й/ /о/, /и/ и /ы/, /у/ и /й/ /у/ в методе ФКС были объединены в C = 5 кластеров. В режиме настройки диктор в течение трех раз четко проговаривал каждый из десяти гласных звуков.

При тестировании использовались два набора фраз [4, 20]:

а) названия 1830 крупных населенных пунктов России (вместе с содержащими их областями, например, “Кстово (Нижегородская)” (далее – “Населенные пункты”).

б) список из 1913 названий лекарств, продаваемых в одной из аптек Н. Новгорода (далее – “Лекарства”).

Каждый диктор в идеальных условиях произнес по две реализации каждой фразы из указанных наборов. Таким образом, общее число испытаний составило 3660 и 3826 для “Населенных пунктов” и “Лекарств” соответственно.

Для распознавания гласных фонем в методе ФКС наряду с сопоставлением фреймов с эталонами из ФБД в метрике Кульбака–Лейблера применялась традиционная реализация СММ из библиотеки CMU Pocketsphinx. В табл. 3 представлены оценки вероятности ε ошибки распознавания и их доверительные интервалы для доверительной вероятности 0.95.

Для тестирования устойчивости методов распознавания речи к наличию помех к каждому записанному речевому сигналу искусственно добавлялся аддитивный гауссовский шум [20, 21]. На рис. 1 и рис. 2 приведены зависимости вероятности ошибки ε от отношения С/Ш для каждого набора данных.

Из анализа рисунков видно, что, во-первых, предложенный подход на основе операций с нечеткими множествами (8)–(11) превосходит по точности распознавания традиционные СММ-методы на 6…11% и базовый метод ФКС на 3…6%, при этом различия в точности являются статистически значимыми. При этом среднее время распознавания и сложность по затратам памяти оказываются на порядок меньше по сравнению с СММ-подходом. Во-вторых, использование в предложенной модификации НФК дополнительной информации обо всех эталонных реализациях при построении нечеткого множества фонем (10), (11) и переход от треугольной нормы Заде (7) к вероятностному пересечению позволили на 2.5…10% снизить вероятность ошибки оригинального метода (1)–(7). При этом различия в НФК и разработанной модификации особенно заметны при наличии достаточно сильных помех (10…15 дБ), в результате которых оценка условной вероятности (5) становится неточной. В-третьих, точность распознавания СММ-методов и оригинального НФК при сильных помехах (отношение С/Ш 10 дБ) снижается на 14…15% и 16…17.5% соответственно. В то же время для предложенного подхода вероятность ошибки при добавлении таких помех повышается на 8…10%, т.е. разработанная модификация НФК является более помехоустойчивой по сравнению с оригинальным методом.

ЗАКЛЮЧЕНИЕ

Применение теории нечетких множеств в задачах автоматического распознавания речи обычно связывают с формированием акустической модели каждой фонемы как нечеткого множества признаков [7, 11]. В противоположность такому подходу в методе НФК [4] предложено рассматривать ФБД как совокупность нечетких множеств эталонных фонем. В данной статье представлен способ практической реализации метода НФК, позволяющей получать правильные решения даже при наличии помех (рис. 1, 2 ) за счет применения более согласованного с (6) определения степени принадлежности эталонной фонемы (8), а также использования в выражениях (10), (11) более полной информации о доступных эталонных МРЕ. Преимущества разработанного алгоритма по сравнению с традиционными СММ-методами обработки и распознавания речевых сигналов будут особенно заметны при использовании на малопроизводительном оборудовании в автономном режиме (без доступа к сети Интернет) [21]. Действительно, предложенный подход (равно как и базовые методы ФДС и НФК) не требует большого объема памяти для хранения акустической модели и позволяет распознавать голосовые команды к режиме квази-реального времени.

Статья подготовлена в результате проведения исследования в рамках Программы фундаментальных исследований Национального исследовательского университета “Высшая школа экономики” (НИУ ВШЭ).