Радиотехника и электроника, 2023, T. 68, № 7, стр. 660-668

ВВЕДЕНИЕ

Частота основного тона (ЧОТ) относится к числу наиболее информативных акустических характеристик речевого сигнала [1, 2] и в этом качестве широко используется в системах автоматической обработки речи (АОР) различного назначения [3–6]. Как следствие, на протяжении многих лет измерение ЧОТ является классической задачей исследований в области речевых технологий. Неудивительно поэтому, что существует множество разных подходов к ее решению, в рамках которых предложено множество разных алгоритмов [7, 8]. Казалось бы, данное направление исследований должно быть давно исчерпано, по крайней мере в теории. Однако работы, связанные с ЧОТ, имеют явную тенденцию к развитию и даже к расширению в будущем [4–9]. Сказанное объясняется, на наш взгляд, тем, что у разработчиков и пользователей речевых технологий на данный момент отсутствует необходимая ясность в вопросе о потенциально достижимой точности измерения ЧОТ при действии случайных помех в канале связи [10, 11]. Проблема обостряется условиями внутридикторской вариативности речевого сигнала [12–14], а также малых выборок наблюдений на относительно коротких (десятые и сотые доли секунды) отрезках его приблизительной (квази-) стационарности [15–20]. Поэтому актуальной представляется тема исследования, проведенного в рамках данной статьи. Его цель – разработка субоптимального алгоритма измерения ЧОТ на фоне помех типа белого гауссова шума. Для ее достижения используется авторская методика дискретного спектрального моделирования [21].

1. ПОСТАНОВКА ЗАДАЧИ

Согласно акустической теории речеобразования [1] энергетический спектр или спектр мощности G_x(f) вокализованных отрезков (фреймов) речевого сигнала имеет линейчатую структуру [14]. Его минимальная частота F₀, она же – период повторения K = 0.5F/F₀$ \gg $ 1 узкополосных (квазигармонических) составляющих речевого сигнала в частотной области (F – частота временной дискретизации), и определяет понятие ЧОТ [3, 4]. Например, в диапазоне значений ЧОТ F₀ = = 100…200 Гц дикторов-мужчин [11, 22] при частоте дискретизации речевого сигнала F = 8 кГц (соответствует полосе пропускания стандартного телефонного канала связи) получаем K = 4000/(100…200) = = 20…40 гармоник с частотами F₀, 2F₀, …, KF₀. Оптимальный алгоритм обработки такого сигнала осуществляется по схеме последовательного соединения двух линейных фильтров [23, 24]: внутрипериодной автокомпенсации речевого сигнала x(t) и межпериодного накопления сигнала y(t) на выходе автокомпенсатора. В основе их практической реализации используются предикторы речи [24, 25]) двух уровней: в пределах одного периода основного тона T₀ = 1/F₀$ \gg $ T = 1/F и на интервале нескольких таких периодов. Внутрипериодный автокомпенсатор (обеляющий фильтр [17]) нацелен на выравнивание [24]) или обеление [26, 27]) в полосе рабочих частот f ≤ 0.5F огибающей спектра мощности G_x(f). В идеале на его выходе мы должны получить периодическую (с периодом T₀) последовательность импульсов возбуждения голосового тракта диктора [24, 28]. Для ее выделения из сигнала y(t) и предназначен упомянутый выше межпериодный накопитель. При обработке во временной области он выполняется по схеме рекурсивного (гребенчатого) фильтра. Однако в этом случае остро возникает проблема априорной неопределенности в отношении истинного значения периода основного тона T₀. В теории [29] эту проблему преодолевают путем многоканальной (многоальтернативной) обработки речевого сигнала с настройкой каждого канала на соответствующий возможный вариант периода T₀ [30]. Выбор наилучшей альтернативы осуществляется условным наблюдателем по принципу максимизации мощности сигнала на выходе соответствующего канала. Это весьма затратное во всех отношениях техническое решение, которое плохо сочетается с режимом измерений ЧОТ в реальном времени [9, 31]. Поэтому на практике в роли накопителя импульсов сигнала y(t) широко применяют простейший фильтр нижних частот (ФНЧ) [10, 32] с полосой прозрачности в диапазоне [minF₀; maxF₀] Гц, или близкую к нему в принципиальном отношении кепстральную обработку [25, 33]. В таком случае оконечный блок измерителя выполняется по схеме частотного детектора.

В рамках универсальной стохастической модели речевого сигнала [12] точность измерений ЧОТ может быть охарактеризована дисперсией погрешности ${{\sigma }}_{F}^{2}$. В предположении о стационарности сигнала в пределах речевого фрейма воспользуемся известной формулой [29]

дисперсии погрешности измерений частоты узкополосного (радио) импульса при действии белого гауссова шума. Здесь $h_{z}^{2}$ и τ_z – соответственно отношение сигнал/шум по мощности (ОСШ) и эффективная длительность сигнала z(t) на выходе ФНЧ. Для случая прямоугольной формы его огибающей выполняется равенство ${{\tau }_{z}} = {{\pi \tau } \mathord{\left/ {\vphantom {{\pi \tau } {\sqrt 3 }}} \right. \kern-0em} {\sqrt 3 }}$, где τ – длительность речевого фрейма. При этом в пересчете к среднеквадратичному отклонению (СКО) погрешности измерений получаем Потребуем от СКО (1) выполнения условия вида δ_F = σ_F/F₀≤ δ₀, где δ₀ – некоторый пороговый (относительный) уровень. В расчете на гауссово распределение погрешности измерений это условие гарантирует с доверительной вероятностью 0.95 длину доверительного интервала на уровне ∆_F = = 2σ_F ≤ 2δ₀F₀. Например, при F₀ = 100 Гц и δ₀ = = 4…5% получаем ∆_F = 8…10 Гц, что соответствует типовым требованиям пользователей [6–10] к точности измерения ЧОТ в системах АОР. Отсюда вытекает ограничение вида Так, в условиях рассматриваемого примера при длительности речевого фрейма τ = 20…30 мс ОСШ $h_{z}^{2}$ на выходе ФНЧ должно быть не ниже порога 18…23 дБ. Отметим, что это практически трудно выполнимое требование, поскольку величина ОСШ определяется в выражении (1) через энергию лишь одной из K гармонических составляющих спектра мощности G_y(f) последовательности y(t) импульсов возбуждения. Соответственно, и энергия сигнала z(t) на выходе ФНЧ в K раз меньше, чем энергия сигнала y(t) на его входе.

Исправить ситуацию кардинальным образом можно за счет суммирования энергии всех K $ \gg $ 1 гармоник ЧОТ речевого сигнала в спектре мощности G_y(f) отклика обеляющего фильтра y(t). По аналогии с (1) в таком случае будем иметь¹¹

При этом сильно ослабляются требования наблюдателя к интенсивности фонового шума на входе измерителя ЧОТ. Так, при K = 30 в условиях предыдущего примера получим выигрыш по ОСШ, превышающий 15 дБ. Однако для его осуществления на практике требуется принципиально иной, по сравнению с межпериодным накоплением, способ обработки: с адаптацией к тонкой структуре речевого сигнала на интервале длительностью τ $ \gg $ T₀ в несколько периодов основного тона.

Наиболее естественным способом измерения ЧОТ с суммированием энергии ее гармоник на частотах F_k = kF₀, k ≤ K, является обработка речевого сигнала в частотной области – с использованием дискретного фурье-преобразования (ДФП) [34]. Его размерность M $ \gg $ 1 определяет избирательную способность ДФП по частоте ∆f = F/M. Поскольку в нашем случае требуется выполнить условие ∆f ≤ ∆_F, то при ∆_F = (8…10) Гц и F = 8 кГц получаем M ≥ 1000. Данному условию отвечает, в частности, алгоритм быстрого преобразования Фурье [29] размерностью M = 2¹⁰. Проблема вычислительной сложности и быстродействия измерителя ЧОТ при этом практически утрачивает свою актуальность, однако возникает новая проблема – вредное влияние первых формант в спектрах мощности гласных звуков речи [22, 32]. В силу своей относительной интенсивности они подавляют значительную часть гармоник ЧОТ в низкочастотной части спектра G_y(f) и этим сильно искажают результаты измерений [24, 28]. По-видимому, именно данным обстоятельством объясняется общеизвестный феномен [3, 35] так называемых грубых ошибок [1, 24]) в задаче измерения ЧОТ. Между тем существует способ, если не исключить совсем, то сильно ослабить указанную проблему. Он связан с идеей обеления огибающей линейчатого спектра мощности G_x(f) речевого сигнала²² с использованием авторегрессионной модели (АР‑модели) G_p(f) относительно небольшого порядка p = 8…10, адаптированной по результатам ДФП на интервале наблюдений длительностью τ. Соответствующая вычислительная процедура, причем в высокоскоростном варианте, подробно описана в работе [21].

2. СИНТЕЗ АЛГОРИТМА

Спектр мощности речевого сигнала, заданного в пределах наблюдаемого фрейма x(t) конечной длительности τ = 20…30 мс последовательностью своих эквидистантных (с периодом T = 1/F = = const) отсчетов x(n) = x(t_n) в дискретном времени t = t_n, n = 0, 1, …, N – 1, где N = τ/T, определяется квадратом модуля спектральной плотности Фурье общего вида:

где j – символ мнимой единицы. При применении M-точечного ДФП выражение для спектра мощности приобретает следующий вид: где f_m = m∆f; ∆f = F/M. Здесь только первые N из M $ \gg $ N отсчетов временного ряда {x(n)} отличны от нуля [34]. Вместе с тем АР-модель того же сигнала x(t) в частотной области имеет вид инверсного преобразования [18, 19] квадрата модуля комплексного коэффициента передачи линейного трансверсального фильтра p-го порядка. Здесь a_p(i) – i-й элемент вектора a_p = {a_p(i)} коэффициентов линейной авторегрессии того же порядка p; ${{\sigma }}_{x}^{2}$ – масштабный множитель; b(i) – i‑й элемент вектора b_{p+ 1} = {1; –a_p} весовых коэффициентов. Сигнал y(t) на выходе фильтра (5) в частотной области описывается выражением в котором множитель ${{\sigma }}_{x}^{2}$ приравнен к единице как не имеющий значения в контексте решаемой задачи. При правильно подобранном в (5) векторе коэффициентов b_{p+ 1} = {b(i)} и при относительно невысоком порядке p выражение (6) определяет ключевой элемент в составе измерителя ЧОТ: обеляющий фильтр или блок выравнивания огибающей спектра мощности G_x(f). Проблема состоит в том, что при учете внутридикторской вариативности речевого сигнала данный вектор должен быть адаптирован к спектру (3) в режиме скользящего окна наблюдений [12]. В работе [21] в этих целях предложена итеративная (пошаговая) процедура оптимизации градиентного типа с использованием дискретного спектра (3) в качестве эталона. Здесь γ₀ – шаг итераций, l – номер шага; $\nabla $ – знак градиента. В указанной процедуре в роли целевого функционала применяется модификация COSH-расстояния следующего вида: Отличительной особенностью данной модификации является свойство масштабной инвариантности и высокое быстродействие [36]. Как следствие, последовательность приближений (7) сходится в окрестности точки искомого оптимума всего за L = 8…16 итераций [21]. При этом в соответствии с (6) в спектре мощности отклика обеляющего фильтра y(t) будет сформировано K = F/F₀$ \gg $ 1 ярко выраженных гармонических составляющих G_y,k(f_m) с равномерным сдвигом между собой по частоте – в идеале на F₀. Измеряя величину частотного сдвига тем или иным способом, мы получаем искомую оценку ЧОТ ${{\hat {F}}_{0}}$.

Продуктивным для выявления периодических компонент в сигнале y(t) представляется подход [35, 37], основанный на вычислении автокорреляционной функции (АКФ) спектра (9) на выделенном наборе частот {f_m}. При условии его предварительного амплитудного квантовании (нормализации) на два уровня:

где g₀ – некоторый пороговый уровень, получим решающее правило вида Здесь Q(∆f_r) – нормированная к единице АКФ квантованного спектра мощности (10). Ее аргументом служит частотный сдвиг ∆f_r = r∆f в границах r₁∆f ≤ ∆f_r ≤ r₂∆f анализируемого диапазона частот. Эти границы регулируются выбором двух констант r₁ ≤ r₂ < M. Причем для исключения тривиального для любой АКФ результата: ${{\hat {F}}_{0}}$ = 0, константа r₁ ≥ 1 не может быть установлена равной нулю. Напротив, рекомендуется устанавливать соотношение r₁ = minF₀/∆f $ \gg $ 1. При достижении равенства f_r = F₀ зависимость Q(∆f_r) реализует эффект суммирования энергии гармоник ЧОТ.

Выражения (3)–(11) в совокупности определяют предлагаемый алгоритм измерения ЧОТ повышенной точности. Вычислитель АКФ играет в нем роль межпериодного накопителя сигнала y(t) в частотной области. Его близость к оптимальному алгоритму по эффективности (2) подтверждается результатами проведенного далее эксперимента.

3. ПРОГРАММА И РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТА

Эксперимент проводился в два этапа. На первом объектом исследования служили сигналы шести гласных звуков русской речи в их аддитивной смеси с белым гауссовым шумом. Дисперсия шума, а вслед за ней и ОСШ $h_{x}^{2}$ на входе измерителя ЧОТ варьировались в эксперименте в пределах 0…40 дБ. Длительность каждого сигнала (2.5…3 с) изначально была рассчитана на его автоматическое членение на множество коротких (τ = 30 мс) фреймов данных x(t) при их частичном (по 20 мс) перекрытии во времени. При этом частота дискретизации F была установлена равной 8 кГц. В результате объем речевой базы данных по каждому гласному звуку речи составил R = (2.5…3)/10^–2 = = 250…300 независимых фреймов размерностью N = 30 × 8 = 240 отсчетов речевого сигнала для каждого отдельного значения ОСШ. По каждому фрейму с использованием алгоритма быстрого преобразования Фурье при равенстве длины его окна M = 2¹⁰ был вычислен с шагом по частоте ∆f = = 8000/1024 = 7.8125 Гц текущий (мгновенный) спектр мощности (3) наблюдаемого сигнала x(t). Затем согласно (4) была построена АР-модель его огибающей. По ней в соответствии с (10) был сформирован линейчатый спектр G_y(f) последовательности y(t) импульсов возбуждения голосового тракта контрольного диктора. После этого путем автокорреляционной обработки (11) была получена выборочная оценка ЧОТ. Ее инструментальная погрешность измерений 0.5∆f была сокращена до 1…2 Гц путем интерполяции зависимости Q(∆f_r) в окрестностях локального максимума. В дальнейшем она была подвергнута совместно с аналогичными оценками ${{\hat {F}}_{0}}$ в пределах R-выборки экспериментальных данных {x(t)} статистическому усреднению. В итоге при доверительной вероятности 0.9 погрешность выборочной оценки ЧОТ в ее относительном выражении ${{{{\varepsilon }}}_{F}} = {{1.65} \mathord{\left/ {\vphantom {{1.65} {\sqrt R }}} \right. \kern-0em} {\sqrt R }}$ = 1.65/√(250…300) составила 9…10% [17, 38].

Все основные вычисления в ходе эксперимента были выполнены с использованием новейшей модификации авторской компьютерной программы Phoneme Training³³. Полученные результаты отражены в виде графиков и диаграмм на рис. 1–6 .

На рис. 1а–1в представлено типичное семейство спектров мощности гласного звука “а” от контрольного диктора в условиях относительно небольшого ($h_{x}^{2}$ = 30 дБ) фонового шума – на выходах спектрального анализатора (3), обеляющего фильтра (6) и амплитудного квантователя (10) соответственно. Штриховой линией на рисунке показана форма огибающей спектра мощности речевого сигнала. Из сравнения графиков на рис. 1а и 1б друг с другом хорошо видны эффекты как спектрального АР-моделирования, так и выравнивания спектральной огибающей [9]. Горизонтальной линией на втором графике отмечен пороговый уровень g₀, равный в данном случае средней мощности сигнала y(t) в частотной области:

При этом график на рис. 1в наглядно отражает назначение амплитудного квантователя (10) в составе субоптимального измерителя ЧОТ, а именно: нормализация по форме и по уровню гармонических составляющих спектра (9). А достигаемый эффект в полной мере отражают графики нормированной АКФ спектра мощности речевого сигнала на рис. 2а и 2б, построенные согласно (11) при равенстве $h_{x}^{2}$ = 30 и 10 дБ соответственно. Как видим, амплитуда

первого пика АКФ в области боковых лепестков (на рис. 2 отмечен темным квадратом) существенным образом зависит от ОСШ. Однако его положение в частотной области, а, значит, и результат ${{\hat {F}}_{0}}$ ≈ 132.8 Гц измерений ЧОТ, стабильны в обоих случаях. Это признак достаточно высокой помехоустойчивости предложенного измерителя.

В развитие данного вывода на рис. 3 представлен график зависимости СКО оценки ЧОТ (11) от ОСШ при действии гласного звука речи “а” на фоне белого шума (кривая 1). Для сравнения здесь же представлен график потенциально достижимой СКО (2) при равенстве K = 30 (кривая 2). При этом ОСШ $h_{z}^{2}$ было пересчитано в ОСШ на входе измерителя по формуле $h_{x}^{2}$ = $h_{x}^{2}$ + 10, дБ. В ней учтен известный эффект ослабления речевого сигнала на выходе автокомпенсатора [18]. Его количественная характеристика – в данном случае 10 дБ – получена экспериментальным путем [19] применительно к фонеме “а” от контрольного диктора. Как видим, оба графика мало отличаются друг от друга в области рабочих значений ОСШ $h_{x}^{2}$ ≥ 10 дБ. Напротив, они сильно разнятся с графиком аналогичной зависимости (1) в отсутствие эффекта межпериодного накопления (кривая 3). По сравнению с ним субоптимальный алгоритм характеризуется выигрышем в пороговых сигналах порядка 8…12 дБ.

Сделанные выводы сохраняют справедливость для всех остальных, наряду с фонемой “а”, гласных звуков речи контрольного диктора. Правда, оценки ЧОТ при этом могут сильно варьироваться по величине. Например, для звука “и” от контрольного диктора результат ${{\hat {F}}_{0}}$ составил 115…118 Гц. С указанной точки зрения не только теоретическое, но и практическое значение имеют результаты второго, заключительного этапа эксперимента.

В качестве его объекта исследования была взята строка “Ночь, улица, фонарь, аптека” (А. Блок) в произнесении контрольного диктора. Аудиозапись, сделанная в закрытом помещении при ОСШ порядка 30 дБ, была разделена на последовательность фреймов x(t) длительностью по τ = 30 мс. По каждому из них была осуществлена обработка сигнала согласно алгоритму (3) –(10). Полученные результаты представлены в виде семейства временных диаграмм на рис. 4. Синхронно с речевым сигналом (рис. 4а) показана (рис. 4б) последовательность формируемых согласно (11) оценок ЧОТ (отмечены маркером), а также соответствующая временная диаграмма амплитуды первого пика АКФ. Чем больше эта амплитуда q_F, тем выше надежность текущего результата ${{\hat {F}}_{0}}$.

Как видим, оценки ЧОТ сильно разнятся между собой по надежности. При этом разрывы и пропуски на диаграмме оценок ЧОТ (рис. 4б) указывают на соответствующие недостаточно вокализованные, в частности назальные звуки речи диктора. Причем величина ЧОТ в динамике зависит не только от типа фонемы, но и от интонации диктора в момент ее произнесения.

4. ОБСУЖДЕНИЕ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

Измерение (отслеживание) ЧОТ речевого сигнала является нетривиальной задачей, поскольку до сих пор существует ряд нерешенных проблем. Так, например, в силу своего определения частоту F₀ можно легко перепутать с ее первой гармоникой (эффект удвоения тона “pitch doubling” [24]) или с первой формантой в спектре гласного звука речи. Кроме того, измерить ЧОТ с высокой точностью сложно по аудиозаписям невысокого качества, так как нужный пик на низких частотах спектра мощности в этом случае сильно ослабевает [7, 8]. Предложенный в данной статье алгоритм решает обе проблемы принципиальным образом: в нем перед корреляционной обработкой [35] гармоники ЧОТ выравниваются друг с другом по амплитуде путем адаптации их огибающей (4) под огибающую спектра (3). Достаточно высокая скорость сходимости итеративной процедуры (7), лежащей в основе указанной адаптации, обусловлена использованием масштабно-инвариантной меры (8) информационного рассогласования в качестве целевого функционала оптимизационной задачи [21].

Еще одно положительное качество предложенного алгоритма состоит в возможности автоматической регистрации вокализованных фреймов речевого сигнала по признаку превышения некоторого порогового уровня q₀ боковыми пиками АКФ из выражения (12). В нашем примере (см. рис. 2) этот порог равен q₀ = 0.2…0.25, и по нему нетрудно отделить вокализованные фреймы речи диктора от глухих или недостаточно вокализованных фреймов. Напротив, для большинства известных алгоритмов измерений ЧОТ процедура классификации такого рода является одной из основных составляющих их вычислительной сложности [22, 33].

ЗАКЛЮЧЕНИЕ

В результате проведенного исследования разработан субоптимальный алгоритм измерения ЧОТ речевого сигнала, в котором реализован эффект суммирования энергии гармоник. Его ключевое звено – обеляющий фильтр спектральной огибающей – формируется на основе ДФП методом дискретного спектрального моделирования. Эффективность предложенного алгоритма характеризуется высокой степенью близости его характеристик к потенциально достижимым характеристикам эффективности.

Полученные результаты предназначены для применения в системах АОР различного назначения, включая речевые коммуникации [13, 14], прикладную акустику [7, 8] и другие, в целях отслеживания в динамике изменений эмоционального состояния их пользователей по колебаниям ЧОТ в режиме реального времени [38, 39].