1. На главную
  2. Электронные версии
  3. Радиотехника и электроника
  4. T. 65, № 12, 2020

Радиотехника и электроника, 2020, T. 65, № 12, стр. 1181-1189

Реконструкция акустических сигналов по неполным данным

А. В. Кокошкин a, *, В. А. Коротков a, Е. П. Новичихин a

a Фрязинский филиал Института радиотехники и электроники им. В.А. Котельникова РАН
141120 Фрязино, Московской обл., пл. Введенского, 1, Российская Федерация

* E-mail: shvarts65@mail.ru

Поступила в редакцию 28.05.2020
После доработки 28.05.2020
Принята к публикации 02.06.2020

Полный текст (PDF)

Аннотация

Рассмотрены проблемы восстановления акустических сигналов из неравномерно расположенных выборок (разреженный сигнал) и сигналов искажeнных потерями смежных отсчeтов (сплошными лакунами). Для решения указанных проблем предложены оригинальные алгоритмы: метод интерполяции последовательно вычисляемого спектра Фурье и метод амплитудных итераций. Проведено сравнение эффективности этих методов с методом проекций на выпуклые множества и его модификацией, реализованной с помощью эволюционного частотно-временного преобразования на основе базовых функций Слепиана. В случае сплошных лакун к сравнениям привлекается родственная нейронным сетям одномерная модификации метода image inpainting. Оценка эффективности работы предложенных методов по объективным критериям свидетельствует об их пригодности для практического использования.

ВВЕДЕНИЕ

Проблема восстановления сигнала, искажeнного разного вида лакунами, чрезвычайно актуальна. Она встречается во многих практических задачах обработки изображений и сигналов [1–9]. Иногда сознательно прибегают к уменьшению числа измеряемых сигналов, прореживая его. Это происходит, когда для регистрации измеренных данных требуется большой объем памяти, что сказывается на скорости обработки и не позволяет производить наблюдения в реальном времени. В качестве примера здесь можно привести технологию ультразвукового контроля (УЗК) с применением пьезоэлектрических антенных решеток (АР), излучающих и принимающих акустические волны в исследуемом объекте. В работе [10] показано, что метод распознавания со сжатием (сompressive sensing, CS) [11–13] позволяет повысить скорость регистрации эхо-сигналов в среднем в пять раз за счет уменьшения числа измеряемых сигналов и при этом получить высокую разрешающую способность.

При акустических исследованиях морского дна возникают искажения разного вида, которые предлагается компенсировать с помощью алгоритмов коррекции данных батиметрии [14, 15]. Но для этого в сигнале не должно быть потерь (лакун).

При необходимости восстановить сигнал, искаженный разного рода лакунами (в том числе и акустический), часто используют различные модификации метода проекций на выпуклые множества (projections onto convex sets, POCS). Этот метод был введен в работах [16, 17] как итерационный алгоритм восстановления сигнала. Поскольку восстановление сигналов конечной энергии можно рассматривать как проблему интерполяции, то решение задачи происходит итеративно, при удовлетворении временны́х и частотных ограничений. В результате получается приближение к сигналу с заданными выборками. Таким образом, чтобы получить итеративное решение POCS, полагают, что интересующие сигналы не являются бесконечными во времени и ограничены по частоте.

Другим подходом к решению задачи заполнения лакун на изображениях и в сигналах является метод Image inpainting (процесс восстановления недостающей части изображения) выполняемый в том числе с помощью нейронных сетей [18–20]. Данный метод позволяет заполнить лакуны вероятностным способом так, что реконструкция становится незаметной. Все манипуляции при таком подходе происходят в пространственной области. Для заполнения лакун выбираются наиболее похожие блоки (фрагменты). В качестве баз данных (библиотек) используется либо сам исходный сигнал (его неповрежденные области), либо набор подобных по структуре эталонных сигналов (обучающая выборка). Основная проблема рассматриваемого метода связана с тем, что при значительных размерах лакун большинство алгоритмов не могут поддерживать непрерывность и согласованность структуры для получения правдоподобных результатов после реконструкции.

Ранее авторами был предложен метод интерполяции последовательно вычисляемого спектра (МИПВС) Фурье, позволяющий ретушировать и восстанавливать отсутствующие (затенeнные) части изображения [21–23]. Заполнение лакун делается итерационно (от нулевой пространственной частоты до наивысшей пространственной частоты) на основе спектра присутствующей части изображения. Если его модифицировать для одномерного случая и включить в него внутреннюю процедуру дополнительного итерационного уточнения каждой из гармоник, то его можно применить к поставленной задаче – реконструкции сигнала с лакунами.

Дополнительно к этому мы предлагаем алгоритм, который подобно МИПВС и POCS работает в частотной области, но производит итерационные вычисления сразу по всему полю спектра и только в зависимости от значений амплитуд гармоник (будем называть его методом амплитудных итераций (МАИ)).

Сравнение эффективности предлагаемых нами методов с альтернативными будем проводить на основе результатов работы [24]. В ней представлено восстановление сигналов из неравномерно расположенных выборок с использованием метода POCS, реализованного с помощью эволюционного частотно-временного преобразования на основе базовых функций Слепиана. При этом сигнал ограничен как по времени, так и по частоте. Полученные в работе результаты показывают хорошую сходимость восстановления к исходному сигналу.

В Приложении приведены описания алгоритмов для реализации методов, используемых в данной работе при реконструкции сигнала.

Рассмотрим следующие виды искаженных потерями сигналов:

1) сигнал, состоящий из неравномерно расположенных выборок (разреженный сигнал);

2) равномерно дискретизированных сигналов с непрерывными потерянными выборками (сплошными лакунами).

Во втором случае предполагается, что лакуна значительно меньше общей длительности сигнала.

1. РЕКОНСТРУКЦИИ РАЗРЕЖЕННОГО СИГНАЛА ИЗ НЕРАВНОМЕРНО РАСПОЛОЖЕННЫХ ВЫБОРОК

Тестирование предложенных методов сделано на примере достаточно сложного искажения. Это выборки из тестового сигнала, случайно и нерегулярно расположенные с известным распределением. Был смоделирован тестовый сигнал длиной 256 отсчeтов (рис. 1), подобный “речевому” сигналу, использованному в работе [24]. Отрезками прямых показаны случайно выбранные отсчeты из исходного неискажeнного сигнала, показанного пунктиром.

Рис. 1.

Тестовый сигнал длиной 256 отсчeтов (пунктирная кривая). Отсчeты случайной выборки из тестового сигнала (отрезки вертикальных прямым перпендикулярные горизонтальной оси) L = 8, τ ~ N(0, 1/2).

Из анализа рис. 1 можно сделать вывод, что из-за больших ошибок не стоит использовать интерполяции, стандартно применяемые для увеличения количества отсчетов, – линейные, параболические, сплайновые. В связи с этим для реконструкции сигнала были использованы методы МИПВС, POCS и МАИ. Результаты, полученные методом POCS, взяты из работы [24].

Нерегулярно расположенные образцы {x(ni)} получены из исходного сигнала x(n) в виде

$x({{n}_{i}}) = x([n({N \mathord{\left/ {\vphantom {N L}} \right. \kern-0em} L}) + \tau ]),$
где τ – джиттер синхронизации с нормальным распределением N(0, σ2), [⚫] обозначает ближайшее целое число, L – фактор прореживания.

Для решения задачи восстановления сигнала применение традиционных методов интерполяции не будет эффективным, особенно при достаточно большой разреженности сигнала. Это видно из рис. 1, где отсчeты случайной выборки рассчитаны при L = 8, τ ~ N(0, 1/2). Однако применение методов МИПВС, POCS и МАИ дают весьма хорошие результаты.

Внешний вид сигналов, восстановленных различными методами, очень мало отличается, поэтому на рис. 2 представлен вид разреженного сигнала рис. 1, восстановленного только с помощью МИПВС (сплошная линия), а исходный неискажeнный тестовый сигнал показан пунктиром.

Рис. 2.

Восстановленный с помощью МИПВС разреженный тестовый сигнал (сплошная кривая). Исходный неискажeнный тестовый сигнал (пунктирная кривая).

Рисунок 3, взятый из работы [24], демонстрирует производительность метода работы POCS, реализованного с помощью эволюционного частотно-временного преобразования на основе базовых функций Слепиана, т.е. зависимость средней абсолютной ошибки (mean absolute error, MAE) от количества итераций (скорости сходимости). Показано поведение сходимости пяти различных образцов случайной выборки. Отличия состоят в разных факторах прореживания L тестового сигнала.

Рис. 3.

Поведение сходимости пяти различных образцов случайной выборки “речевого” сигнала в зависимости от количества итераций (из работы [24]).

На рис. 4 представлена сходимость, а точнее, зависимость МАЕ от количества итераций работы МИПВС и POCS. Предложенная в работе реализация методики POCS сходится к МАЕ = 0.1 (сплошная линия). В то же время работа МИПВС обеспечивает аналогичную точность сходимости значительно раньше – с нескольких (менее пяти) итераций (пунктир).

Рис. 4.

Поведение сходимости POCS (сплошная кривая) и МИПВС (пунктирная кривая) в зависимости от количества итераций при восстановлении случайной выборки из исходного тестового сигнала (рис. 1).

При сравнении результатов, приведенных на рис. 4, с данными из [24] (см. рис. 3) видно, что скорость сходимости для POCS примерно одинакова. Скорее всего, разница в абсолютном значении предела сходимости на рис. 3 и 4 объясняется реализацией алгоритма вычислений.

Говорить о скорости сходимости МАИ можно только условно. Поскольку количество итераций в нeм однозначно определяется количеством градаций величин амплитуд спектра (от максимальной до нулевой), то для корректной работы этого метода должен быть достаточно подробно охвачен диапазон изменения амплитуд информативных гармоник. Таким образом, могут понадобиться сотни итераций (прерывистая линия на рис. 5а, 5б). Отметим только, что МАИ сходится к тем же значениям, что МИПВС и POCS.

Рис. 5.

Поведение сходимости МАИ (штриховая кривая), POCS (сплошная кривая) и МИПВС (пунктирная кривая) при восстановлении случайной выборки из исходного тестового сигнала (рис. 1) при факторе прореживания L: 8 – (а) и 4 (б).

Построим зависимость MAE от величины фактора прореживания сигнала. Фактор прореживания соответствует L в формуле, моделирующей случайную выборку из исходного неискажeнного сигнала. Этот параметр означает, во сколько раз разрежен сигнал. Например, L = 4 означает, что известен один отсчeт из четырeх возможных, а при L = 0 известны все отсчeты (лакун нет). Такого исследования в [24] проведено не было. Количество итераций берeтся с большим запасом, для того чтобы показать потенциальные возможности каждого из подходов.

На рис. 6 штрихпунктирной линией изображена средняя абсолютная величина ошибки для невосстановленной лакуны. Здесь отсутствующие данные внутри лакуны приравниваются нулю, близкому к среднему значению исследуемого псевдослучайного сигнала. Затем вычисляется средняя абсолютная величина ошибки, невосстановленной лакуны относительно значений идеального неискажeнного сигнала. Эти ошибки (внутри невосстановленной лакуны) будем считать оценкой эффективности работы методов.

Рис. 6.

Зависимость MAE от величины фактора прореживания сигнала L для: МИПВС (пунктирная кривая), МАИ (штриховая кривая), POCS (сплошная кривая), лакуна-штрихпунктирная кривая.

Если полученные тем или иным способом значения сигнала в лакуне имеют среднюю абсолютную величину ошибки много меньшую, чем ошибки для невосстановленной (заполненной нулями) лакуны, то можно считать, что метод работает хорошо. И наоборот, если полученные тем или иным способом значения сигнала в лакуне имеют среднюю абсолютную величину ошибки, близкую к ошибке для невосстановленной (заполненной нулями) лакуны, то можно считать, что тестируемый метод работает неудовлетворительно. Следовательно, сравнения эффективности работы методов проводится по объективному критерию.

Из рис. 6 видно, что все рассматриваемые методы хорошо справляются с поставленной задачей, поскольку их MAE во много раз меньше, чем MAE для невосстановленной лакуны, но при небольшом росте средней абсолютной ошибки при увеличении разреженности.

2. РЕЗУЛЬТАТЫ РЕКОНСТРУКЦИИ СИГНАЛА СО СПЛОШНОЙ ЛАКУНОЙ

2.1. Первый вариант – короткая реализация

Для восстановления равномерно дискретизированных сигналов с непрерывными потерянными выборками (сплошными лакунами) в этом моделировании применяются те же методы. Такие искажения названы в [24] “блочные или смежные потери образцов”. Общее предположение состоит в том, что размер лакуны должен быть существенно меньше длины сигнала [25]. В работе [24] демонстрируются результаты работы метода POCS, реализованного с помощью эволюционного частотно-временного преобразования на основе базовых функций Слепиана. Оценок эффективности реконструкции содержимого сплошных лакун по объективным критериям в работе [24] не представлено, но констатируется что при больших объeмах отсутствующих данных, “из-за серьезной потери информации о сигнале, эффективность восстановления ухудшается”. И “тем не менее, предложенный метод показывает очень многообещающие результаты…”.

В данной работе рассматриваются два варианта сигналов с лакунами:

1) в лакуне сигнал может несколько раз изменить знак (пересечь ноль). Другими словами, длина лакуны не превышает нескольких “характерных” периодов сигнала;

2) лакуна имеет длину значительно больше “характерного” периода сигнала.

В обоих случаях предполагается, что лакуна значительно меньше общей длительности сигнала.

Рассмотрим первый вариант сигнала с лакуной, аналогичный предложенному в [24]. На рис. 7 изображены: исходный тестовый сигнал (тот же самый, что и для разреженных случайных выборок длиной 256 отсчeтов (пунктир)) и сигнал с лакуной размером 28 расчeтов (сплошная линия).

Рис. 7.

Тестовый сигнал длиной 256 отсчeтов (пунктирная кривая). Сигнал с лакуной длиной 28 отсчeтов (сплошная кривая).

В связи с тем, что при реконструкции сплошной лакуны появилась возможность использовать в качестве обучающей выборки фрагменты исходного неискажeнного сигнала для сравнительного анализа, то можно использовать данные, полученные с помощью image inpainting.

На рис. 8 представлена зависимость средней абсолютной ошибки от длины сплошной лакуны. Количество итераций взято с большим запасом, для того чтобы показать потенциальные возможности каждого из подходов. Как и раньше, штрихпунктирная кривая соответствует невосстановленной лакуне, т.е. если отсутствующие данные приравнять нулю, значению, близкому к среднему значению исследуемого псевдослучайного сигнала.

Рис. 8.

Зависимость MAE от длины сплошной лакуны NLa для: image inpainting (полужирная пунктирная кривая), МИПВС – пунктирная кривая), МАИ (штриховая кривая), POCS (сплошная кривая), лакуны (штрихпунктирная кривая).

Графики на рис. 8 хорошо иллюстрируют известный факт, что ошибка реконструкции растет с величиной потерь сигнала (размером лакуны). Однако скорость увеличения ошибки реконструкции с увеличением длины лакуны для разных методов разная. В случае применения МИПВС с итерациями и POCS эта ошибка растет очень быстро. В то же время методы image inpainting и МАИ дают стабильно низкие уровни ошибок даже для значительных лакун. Возможность того, что image inpainting в данном случае сработал лучше, чем МИПВС или POCS, объясняется тем, что восстанавливаемый сигнал является узкополосным и его даже можно признать псевдопериодическим. Поэтому процедура поиска достаточно легко нашла подобные образцы (фрагменты) в библиотеке (в оставшейся точно известной части исходного сигнала). Графики зависимости средней абсолютной ошибки от длины сплошной лакуны для случаев применения image inpainting и МАИ иллюстрируют медленный рост величины этой ошибки.

В данном примере наилучшим выбором для восстановления можно считать МАИ. Его средняя абсолютная ошибка существенно меньше, чем у всех остальных методов и чем средняя абсолютная ошибка для незаполненной лакуны.

2.2. Второй вариант – длинная реализация

Выберем для исследования сигнал большей длительности, чем ранее – 5000 отсчетов. Размеры сплошной лакуны варьируются от нуля до 500 отсчeтов (10% исходного сигнала). При таких условиях мы проверяем возможность восстановления сигнала в большой лакуне, где сигнал нельзя представить в виде суммы фрагментов известного сигнала вне лакуны.

На рис. 9 показан тестовый сигнал 5000 отсчeтов, искажeнный лакуной 500 отсчeтов (сплошная линия).

Рис. 9.

Сигнал с лакуной длиной 500 отсчeтов.

На рис. 10 изображeн фрагмент в 600 отсчeтов из тестового сигнала длиной 5000 отсчeтов (пунктир). Сигнал с лакуной длиной 500 отсчeтов (сплошная линия).

Рис. 10.

Фрагмент в 600 отсчeтов из тестового сигнала длиной 5000 отсчeтов (пунктирная кривая). Сигнал с лакуной длиной 500 отсчeтов (сплошная кривая).

Рисунок 11 демонстрирует примеры восстановления сигнала в лакуне 500 отсчeтов (см. рис. 10) с помощью методов image inpainting (а) и МАИ (б). Как видно из рисунка, одномерная реализация image inpainting не справляется с поставленной задачей – видны существенные отличия исходного сигнала (пунктир) и восстановленного (сплошная линия). В то же время МАИ достаточно уверенно заполняет лакуну значениями, близкими к идеальному неискаженному сигналу.

Рис. 11.

Примеры восстановления фрагмента в 600 отсчeтов. пунктирная кривая – исходный неискажeнный тестовый сигнал; сплошная кривая – тестовый сигнал со сплошной лакуной 500 отсчeтов, восстановленный с помощью image inpainting (а) и МАИ (б).

Чтобы объективно оценить работу всех исследуемых методов, как и в случае с “коротким” сигналом (256 отсчeтов), на рис. 12 была построена зависимость средней абсолютной ошибки от длины сплошной лакуны для “длинного” сигнала (5000 отсчeтов). Количество итераций опять взято с большим запасом, для того чтобы показать потенциальные возможности каждого из подходов. Видно, что в данном случае не все рассматриваемые методы справляются с поставленной задачей – ситуация ещe тяжелее, чем для “короткого сигнала”. Поскольку сигнал теперь не является квазипериодическим и лакуны имеют большую длину, процедура поиска в одномерном image inpainting не может найти подобные образцы (фрагменты) в библиотеке (в оставшейся точно известной части исходного сигнала).

Рис. 12.

Зависимость MAE от длины сплошной лакуны NLa для: image inpainting (полужирный пунктирная кривая), МИПВС (пунктирная кривая), МАИ (штриховая кривая), POCS (сплошная кривая), лакуны (штрихпунктирная кривая).

Средняя абсолютная ошибка для МИПВС с итерациями, POCS и одномерной модификации метода image inpainting одного порядка с MAE для невосстановленной лакуны. Только МАИ дает реконструкцию сигнала с приемлемыми ошибками.

ЗАКЛЮЧЕНИЕ

Предложенные в работе метод интерполяции последовательно вычисляемого спектра Фурье и метод амплитудных итераций сравниваются с известным подходом проекций на выпуклые множества и его модификацией, реализованной с помощью эволюционного частотно-временного преобразования на основе базовых функций Слепиана. В случае сплошных лакун к сравнениям привлекается одномерная модификации метода image inpainting, родственная нейронным сетям. По объективному показателю (средняя абсолютная ошибка в зависимости от ширины лакуны) метод амплитудных итераций имеет наилучшие показатели при заполнении сплошных лакун. Однако в случае разреженных сигналов предпочтительным выбором является метод интерполяции последовательно вычисляемого спектра, поскольку этот метод имеет хорошие показатели средней абсолютной ошибки в зависимости от разреженности сигнала и, кроме того, ему необходимо меньше итераций для сходимости, чем другим методам. Таким образом, МИПВС и МАИ способны эффективно восстанавливать сигналы из случайно расположенных подвыборок и непрерывно потерянных выборок.

Список литературы

  1. Yeh S., Stark H. // J. Opt. Soc. Amer. 1990. V. 7. № 3. P. 491.

  2. Stasiński R., Konrad J. // Proc. 2000 IEEE Int. Conf. on Image Processing (ICIP '00). Vancouver, 10–13 Sept. N.Y.: IEEE, 2000. V. 2. P. 315.

  3. Park J., Park D.-C., Marks R.J. II, El-Sharkawi M.A. // Proc. IEEE Int. Symp. on Circuits and Systems. Phoenix, 26–29 May 2002. N.Y.: IEEE, 2002. V. 5. P. 245.

  4. Huang H., Makur A. // Proc. 2008 IEEE Asia Pacific Conf. on Circuits and Systems (APCCAS '08). Macao, 30 Nov.– 3 Dec. N.Y.: IEEE, 2008. P. 336.

  5. Ogawa T., Haseyama M. // Proc. 2007 IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP '07), Honolulu, 15–20 Apr. N.Y.: IEEE, 2007. V. 1. P. 697.

  6. Chen J., Zhang L., Luo J., Zhu Y. // Proc. 2009 3rd Int. Conf. on Bioinformatics and Biomedical Engineering (ICBBE '09), Beijing 11–13 Jun. N.Y.: IEEE, 2009. P. 5163089.

  7. Feichtinger H.G., Kozek W., Strohmer T. // Proc. SPIE. 1995. V. 2569. P. 140.

  8. Guven H.E., Ozaktas H.M., Cetin A.E., Barshan B. // IET Signal Processing. 2008. V. 2. № 1. P. 11995. V. 5.

  9. Serbes A., Durak L. // Communications in Nonlinear Science and Numerical Simulation. 2010. V. 15. № 3. P. 675.

  10. Базулин Е.Г., Соколов Д.М. // Акуст. журн. 2019. Т. 65. № 4. С. 520.

  11. Donoho D.L. // IEEE Trans. 2006. V. IT-52. № 4. P. 1289.

  12. Foucart S., Rauhut H. A Mathematical Introduction to Compressive Sensing. Basel: Birkhauser, 2013.

  13. Guameri G.A., Pipa D.R., Junior F.N. et al. // Sensors. 2015. V. 15. P. 9324.

  14. Каевицер В.И., Разманов В.М., Смольянинов И.В., Элбакидзе А.В. // Изв. ЮФУ. Технические науки. 2013. Т. 9. № 146. С. 81.

  15. Каевицер В.И., Кривцов А.П., Смольянинов И.В., Элбакидзе А.В. // Журн. радиоэлектроники. 2018. № 5. http://jre.cplire.ru/jre/may18/9/text.pdf.

  16. Брэгман Л.М. // Докл. АН СССР. 1965. Т. 162. № 3. С. 487.

  17. Гурин Л.Г., Поляк Б.Т., Райк Э.В. // Журн. вычисл. математики и мат.физики. 1967. Т. 7. № 6. С. 1211.

  18. Qureshi M.A., Deriche M., Beghdadi A., Amin A. // J. Visual Communication and Image Representation. 2017. V. 49. P. 177.

  19. Chen Z., Dai C., Jiang L. et al. // J. Visual Communication and Image Representation. 2016. V. 40. Pt. A. P. 312.

  20. Lokhande D., Zope R.G., Bendre V. // Int. J. Computer Science and Network (IJCSN). 2014. V. 3. № 1. P. 110.

  21. Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. // Журн. радиоэлектроники. 2016. № 7. http://jre.cplire.ru/jre/jul16/4/text.pdf.

  22. Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. // Журн. радиоэлектроники. 2018. № 9. http://jre.cplire.ru/jre/sep18/16/text.pdf.

  23. Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. // Компьютерная оптика. 2019. Т. 43. № 6. С. 1030.

  24. Oh J., Senay S., Chaparro L.F. // EURASIP J. on Advances in Signal Processing. 2010. V. 2010. P. 367317.

  25. Oliveira P. // Proc. 2006 IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP '06), Toulouse, 14–19 May. N.Y.: IEEE, 2006. V. 3. P. 828.

  26. Кокошкин А.В., Коротков В.А., Новичихин Е.П. // Сб. тр. XIII Всерос. научно-техническая конф. “Радиолокация и радиосвязь”, Москва, 25–27 ноября 2019 г. М.: ИРЭ им. В.А. Котельникова РАН, 2019. С. 128.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Радиотехника и электроника

Архивы выпусков Информация о журнале Отправить рукопись в журнал