Исследование Земли из Космоса, 2022, № 1, стр. 53-67
Оценка ковариационной матрицы шума в измерениях бортового инфракрасного фурье-спектрометра ИКФС-2
Д. А. Козлов a, *, И. А. Козлов a, А. Б. Успенский b, А. Н. Рублев b, Ю. М. Тимофеев c, А. В. Поляков c, М. В. Колесников d
a Государственный научный центр Российской Федерации “Исследовательский центр имени М.В. Келдыша”
Москва, Россия
b Научно-исследовательский центр космический гидрометеорологии “Планета”
Москва, Россия
c Санкт-Петербургский государственный университет
Санкт‑Петербург, Россия
d Московский государственный технический университет имени Н.Э. Баумана
Москва, Россия
* E-mail: dakozlov@kerc.msk.ru
Поступила в редакцию 10.06.2021
- EDN: BIKZRL
- DOI: 10.31857/S0205961422010043
Аннотация
Ковариационная матрица шума, квадратный корень из диагонали которой традиционно именуется радиометрическим шумом NESR, является одной из основных характеристик гиперспектральной инфракрасной аппаратуры и используется при “обращении” спектральных данных и оценке искомого состояния вектора атмосферы. В настоящей работе впервые представлены результаты исследования ковариационной матрицы шума в измерениях инфракрасного фурье-спектрометра ИКФС-2, более 6 лет успешно функционирующего на орбите в составе КА “Метеор-М” № 2. Рассмотрены основные факторы, приводящие к корреляции шума в спектральных каналах, связанные как со свойствами шума в измеряемых прибором интерферограммах, так и с особенностями процедуры первичной обработки. Экспериментальная оценка ковариационной матрицы шума в выходных спектрах ИКФС-2 выполнена тремя различными способами: 1) по измерениям опорных источников излучения; 2) по измеряемым спектрам атмосферы; 3) по мнимой части калиброванных спектров атмосферы. Полученные результаты экспериментальной оценки согласуются с расчетом и могут быть использованы в задачах тематической обработки и усвоения данных ИКФС-2 в моделях численного прогноза погоды Росгидромета.
ВВЕДЕНИЕ
Инфракрасный фурье-спектрометр ИКФС-2 в составе целевой аппаратуры космического аппарата (КА) “Метеор-М” № 2 (запуск КА состоялся 8 июля 2014 г.) более 6 лет успешно функционирует на орбите (Головин и др., 2017; Timofeyev et al., 2019). Прибор обеспечивает измерение спектров уходящего теплового излучения системы “атмосфера–подстилающая поверхность” (ниже для краткости – спектров атмосферы) в спектральном диапазоне (660–2000) см–1 со спектральным разрешением (0.37–0.45) см–1 и радиометрическим шумом в диапазоне (0.15–0.45) мВт/(м2 ср см–1) (без учета аподизации). Диапазон изменения оптической разности хода (ОРХ) в регистрируемых интерферограммах составляет ±1.7 см, время съема одной интерферограммы – 0.5 с, пространственное разрешение в надире – 30 км, ширина полосы обзора – от 1000 до 2500 км, шаг пространственной сетки – от 60 до 110 км. По своим характеристикам и назначению прибор ИКФС-2 относится к классу гиперспектральных ИК‑зондировщиков для полярно-орбитальных КА (см. интернет-ресурс https://www.wmo-sat.info/oscar/instruments).
Результаты сопоставления регистрируемых прибором спектров с независимыми спутниковыми измерениями (радиометр SEVIRI на геостационарных спутниках MSG и фурье-спектрометр IASI на полярно-орбитальных метеоспутниках MetOp) свидетельствуют о надлежащем качестве и стабильности радиометрической и спектральной калибровки (Zavelevich et al., 2018; Polyakov et al., 2017), а также о возможности применения целевой информации прибора для решения прикладных задач гидрометеорологии (Asmus et al., 2017; Polyakov et al., 2019; Цырульников и др., 2019).
Настоящая работа посвящена исследованию радиометрического шума в измерениях ИКФС‑2 и оценке ковариационной матрицы шума (КМШ) в спектрах. Знание КМШ необходимо для корректной интерпретации (“обращения”) данных ИКФС-2, а также для их эффективного усвоения в схемах численного прогноза погоды (ЧПП).
К примеру, для обращения данных ИКФС-2 и оценки искомого вектора состояния атмосферы x (среди компонентов которого присутствуют вертикальные профили температуры и влажности) минимизируется функционал качества следующего вида (Timofeyev et al., 2019):
(1)
$\begin{gathered} {\text{J}} = {{\left( {{\mathbf{x}} - {{{\mathbf{x}}}_{b}}} \right)}^{T}}{{{\mathbf{B}}}^{{ - 1}}}\left( {{\mathbf{x}} - {{{\mathbf{x}}}_{b}}} \right) + \\ + \,\,{{\left( {{\mathbf{H}}({\mathbf{x}}) - {\mathbf{y}}} \right)}^{T}}{{{\mathbf{R}}}^{{ - 1}}}\left( {{\mathbf{H}}({\mathbf{x}}) - {\mathbf{y}}} \right). \\ \end{gathered} $Здесь xb – априорное (фоновое) значение вектора состояния x, B – априорная ковариационная матрица вектора x, H(x) – оператор наблюдения, y – вектор измеренных яркостей в выбранных n ≤ N спектральных каналах n (N = 2701 – количество каналов в спектрах ИКФС-2); R – ковариационная матрица ошибок наблюдения [n x n], учитывающая ковариационную матрицу шума (КМШ) прибора Sε в спектрах, а также “шумы” F, связанные с ошибками моделирования H(x), наличием нелинейности и недостаточной репрезентативностью (Bormann et al., 2016):
До недавних пор при обращении данных гиперспектральных ИК-зондировщиков (включая ИКФС-2) путем минимизации (1) использовались диагональные ковариационные матрицы ошибок R', а при усвоении в схемах ЧПП наличие корреляции шума в соседних спектральных каналах достаточно успешно парировалось прореживанием данных (усваивались измерения в удаленных друг от друга спектральных каналах) и инфляцией дисперсии: ${\mathbf{\tilde {R}}} = {{\gamma }} \cdot {\text{diag}}\left\{ {{{{\mathbf{S}}}_{{{\varepsilon }}}}} \right\}$ (γ > 1 – коэффициент инфляции).
Однако современные исследования ведущих зарубежных прогностических центров (в частности, ECMWF – Европейского центра среднесрочных прогнозов погоды) показывают целесообразность использования полной ковариационной матрицы ошибок наблюдения R при усвоении спутниковых данных в схемах ЧПП (Bormann et al., 2016; Eresmaa, 2020). Для оценки матрицы R выполняется анализ невязок между измеренными и расчетными спектрами (Desroziers et al., 2005); см. также (Eresmaa, 2020) с оценкой R для данных ИКФС-2.
Цель данной статьи – оценка ковариационной матрицы шума Sε (“инструментальной” составляющей матрицы R, см. (2)) для полного спектра ИКФС‑2 (N = 2701) с учетом свойств шума в измеряемых интерферограммах и влияния процедур первичной обработки.
Работа построена следующим образом. В разделе 1 представлен анализ источников шума в измеряемых прибором ИКФС-2 интерферограммах, в том числе способных приводить к корреляции шума в частотной области. В разделе 2 рассмотрены операции, выполняемые на этапе первичной обработки и влияющие на КМШ в спектрах, а именно: коррекция самоаподизации, применение аподизации, интерполяция на требуемую шкалу волновых чисел. В разделе 3 рассмотрены различные способы оценки Sε, их преимущества, недостатки и особенности применения. В разделе 4 представлены результаты оценки КМШ в спектрах ИКФС-2, полученные различными способами.
АНАЛИЗ ИСТОЧНИКОВ ПОГРЕШНОСТЕЙ В ИЗМЕРЕНИЯХ ФУРЬЕ-СПЕКТРОМЕТРА ИКФС-2
В общем случае регистрируемую прибором спектральную плотность энергетической яркости (СПЭЯ, [Вт/(м2 ср см–1)]) объекта наблюдения L(ν) можно представить в виде:
Здесь ν – волновое число, [см–1]; L0(ν) – истинный спектр объекта наблюдения, свернутый с аппаратной функцией (АФ) прибора, т.е. спектральным откликом на входное монохроматическое излучение; ΔLслуч(ν) ≡ ε(ν) – случайная составляющая погрешности измерений, устраняемая усреднением по ансамблю реализаций; ΔLсист(ν) – систематическая составляющая, зависящая от измеряемой сцены. Рассмотрим подробнее источники случайных и систематических погрешностей фурье-спектрометра.
Источники случайных погрешностей (шумов) измерений фурье-спектрометра
Среди источников шума в измерениях фурье-спектрометра можно выделить (см., например, (Zavyalov et al., 2013)):
1) фотонный шум, связанный с дискретным характером излучения;
2) собственные (внутренние) шумы фотоприемника, включая тепловой шум, шум темнового тока и др.;
3) шумы электронного тракта (шум усилительного тракта, шум квантования);
4) шумы выборки, связанные с неравномерностью скорости изменения ОРХ в интерферограмме (при неидеальности частотных характеристик электронного тракта, а также при наличии рассогласования временных задержек сигнала основного и референтного каналов);
5) шум выборки, связанный с ограниченным отношением “сигнал–шум” в референтном канале, используемом для дискретизации интерферограммы с фиксированным шагом по ОРХ;
6) шумы, вызванные воздействием вибраций на интерферометр и обусловленные случайными флуктуациями угла наклона или поперечного сдвига интерферирующих пучков, приводящими к динамической микроразъюстировке интерферометра.
В аппаратуре ИКФС-2 основными источниками шума являются собственные шумы фотоприемника и предварительного усилителя, обладающие свойством стационарности и проявляющиеся в спектральной области в виде некоррелированного шума. Кроме того, в интерферограммах ИКФС-2 вблизи положения нулевой ОРХ имеет место дополнительный шум, возникающий вследствие неравномерности скорости изменения ОРХ и пропорциональный первой производной сигнала интерферограммы. В результате дисперсия шума в интерферограммах зависит от значения ОРХ, что приводит к частичной корреляции шума в спектральных отсчетах.
Динамическая микроразъюстировка интерферометра из-за возможного воздействия вибраций является распространенным источником спектрально коррелированного шума в измерениях фурье-спектрометров и в той или иной степени проявляется в аппаратуре IASI (Serio et al., 2018), CrIS (Zavyalov et al., 2011), NAST-I и S-HIS (Antonelli et al., 2004), однако в измерениях ИКФС-2 не зарегистрирована.
В целом, любой источник нестационарного шума в области интерферограмм приводит к наличию коррелированного шума в измеряемых прибором спектрах. Суммарная случайная составляющая погрешности спектральных измерений ΔLслуч(ν) = ε характеризуется ковариационной матрицей шума Sε, учитывающей как некоррелированный по спектру шум (т.е. стационарный в широком смысле в области интерферограмм), так и коррелированный:
Квадратный корень из диагонали матрицы Sε принято называть радиометрическим шумом прибора (или пороговой СПЭЯ) и обозначать NESR (Noise Equivalent Spectral Radiance):
Количественно корреляцию шума в спектральных каналах удобно оценивать с помощью корреляционной матрицы шума Cε, при этом очевидна связь между Sε и Cε:
Источники систематических погрешностей измерений фурье-спектрометра
Можно выделить два типа систематических погрешностей ΔLсист(ν) в измерениях фурье-спектрометра:
1) ошибки радиометрической калибровки, обусловленные нелинейностью фотоприемного устройства, неточностью определения СПЭЯ бортового черного тела (БЧТ), нестационарностью теплового состояния прибора на орбите, зависимостью коэффициента отражения зеркала сканера от угла сканирования и др.;
2) ошибки спектральной калибровки, обусловленные неточностью знания аппаратной функции прибора, а также погрешностью привязки измерений к шкале волновых чисел.
Результаты сопоставления с независимыми спутниковыми измерениями показывают для ИКФС-2 наличие обоих типов погрешностей калибровки (Polyakov et al., 2017; Zavelevich et al., 2018). При этом ошибки радиометрической калибровки проявляются в спектре в виде медленно меняющейся функции волнового числа, а ошибки спектральной калибровки, наоборот, имеют “линейчатый” спектральный характер и проявляются в линиях поглощения атмосферных газов.
Следует отметить, что в настоящей работе проводится анализ исключительно случайных погрешностей измерений ИКФС-2 и оценивается ковариационная матрица шума Sε. Вклад систематических ошибок в дальнейшем может быть косвенно определен при оценке ковариационной матрицы ошибок наблюдения R путем анализа невязки между измерениями и расчетом (“Obs-Calc”). Рассмотрим процедуру первичной обработки и преобразования интерферограмм в калиброванные спектры атмосферы и определим ее влияние на КМШ.
ПЕРВИЧНАЯ ОБРАБОТКА ДАННЫХ ИКФС-2 И ЕЕ ВЛИЯНИЕ НА КМШ
Первичная обработка данных ИКФС-2 заключается в преобразовании регистрируемых прибором интерферограмм (данные уровня 0) в радиометрически калиброванные спектры излучения атмосферы (уровень 1A), которые затем пересчитываются на заданную сетку спектральных отсчетов с применением выбранной функции аподизации и коррекцией искажений аппаратной функции прибора вследствие самоаподизации (уровень данных 1C).
Стандартное выражение для определения радиометрически калиброванных спектров Lатм,1А(ν) по измерениям опорных источников имеет вид (Revercomb et al., 1988):
Здесь ${{\widetilde S}_{{{\text{атм}}}}}\left( \nu \right)$, ${{\widetilde S}_{{{\text{бчт}}}}}\left( \nu \right)$, ${{\widetilde S}_{{{\text{косм}}}}}\left( \nu \right)$ – фурье-образы от регистрируемых интерферограмм атмосферы, БЧТ и космоса, являющиеся комплексными вследствие несимметричности I(x) относительно положения нулевой ОРХ; Lбчт,0(ν) – СПЭЯ БЧТ, определяемая на этапе наземной калибровки и уточняемая в ходе летных испытаний; $\left\langle \ldots \right\rangle $ – оператор усреднения по массиву измерений опорных источников на каждом калибровочном цикле; Re{…} – оператор взятия действительной части комплексного числа. Подробнее методика радиометрической калибровки ИКФС-2, включающая в себя коррекцию нелинейности фотоприемника (фоторезистор HgCdTe), представлена в работах (Козлов, 2013; Козлов, 2017).
Для получения данных уровня 1С выполняется процедура спектральной коррекции:
(3)
$\begin{gathered} {{{\mathbf{L}}}_{{атм,{\text{1C}}}}} = {\mathbf{IM}} \cdot {\mathbf{A}} \cdot {\mathbf{ISA}} \cdot {\mathbf{F}} \cdot {{{\mathbf{L}}}_{{{\text{атм,1A}}}}} \equiv \\ \equiv {\mathbf{SCM}} \cdot {{{\mathbf{L}}}_{{{\text{атм,1A}}}}}, \\ \end{gathered} $При отсутствии систематической составляющей погрешности измерений калиброванный спектр атмосферы соответствует смеси сигнала и шума:
Здесь L0 – полезный сигнал, n – некоррелированный гауссовый шум с нулевым математическим ожиданием и единичной дисперсией, Sε – ковариационная матрица шума данных уровня 1С, определяемая выражением:
Здесь Sε,0 – КМШ данных уровня 1А. Таким образом, следует различать КМШ в спектральных данных уровня 1А и уровня 1С, т.е. до и после спектральной коррекции.
Рассмотрим влияние каждого из операторов, входящих в выражение (3).
Коррекция самоаподизации
Самоаподизация проявляется в зависимости огибающей A(x; ν0) и фазы Ф(x; ν0) интерферограмм, регистрируемых фурье-спектрометром при наблюдении источника квазимонохроматического излучения с волновым числом ν0, от величины оптической разности хода x:
К факторам, приводящим к самоаподизации, относятся угловые размеры мгновенного поля зрения, а также динамическая разъюстировка интерферометра, проявляющаяся в зависимости угла наклона и поперечного смещения интерферирующих пучков от величины ОРХ (см., например, (Козлов, 2017)). Следствием самоаподизации является искажение формы аппаратной функции (АФ), определяемой конечным диапазоном изменения ОРХ и имеющей вид sinc-функции. Это искажение АФ состоит в ее уширении (ухудшении спектрального разрешения), асимметричности формы, смещении максимума в сторону уменьшения волновых чисел и появлении мнимой части (рис. 7 статьи (Головин и др., 2013)). Кроме того, возникает зависимость формы АФ от волнового числа входного излучения.
На этапе наземной калибровки аппаратуры ИКФС-2 по результатам измерений интерферограмм для лазерных источников монохроматического излучения проводится моделирование (расчет) самоаподизации и формы АФ прибора для всего рабочего спектрального диапазона (5–15) мкм с учетом угловой чувствительности прибора и параметров остаточной разъюстировки интерферометра (рис. 8 статьи (Головин и др., 2013)). Результаты моделирования представляются в виде матрицы самоаподизации SA, обратная к которой (ISA = SA–1) используется в выражении (3).
КМШ в спектрах после коррекции самоаподизации определяется выражением:
Здесь NESR0 – радиометрический шум в спектрах уровня 1А, медленно меняющийся с ростом волнового числа (что справедливо на практике); N1 – число отсчетов в спектрах уровня 1A; βISA – коэффициенты усиления шума вследствие коррекции самоаподизации:
Таким образом, в результате коррекции самоаподизации форма АФ ИКФС-2 приводится к sinc-функции, однако это ведет к усилению уровня шума в скорректированных спектрах и возникновению корреляции в соседних спектральных отсчетах.
Применение аподизации
Аподизация в фурье-спектроскопии заключается в умножении измеряемых прибором интерферограмм I(x) на заданную “оконную” функцию g(x) (например, функция Гаусса, Хэмминга, Блэкмана–Харриса и др.), что позволяет локализовать АФ для аподизированных данных и снизить влияние боковых лепестков АФ.
Для фурье-спектрометра ИКФС-2 используется гауссова функция аподизации:
Здесь $s = {{{\text{FWHM}}} \mathord{\left/ {\vphantom {{{\text{FWHM}}} {(2\sqrt {2\ln 2} )}}} \right. \kern-0em} {(2\sqrt {2\ln 2} )}}$, FWHM – ширина гауссоиды (по уровню 0.5) в спектральной области, выбранная равной 0.7 см–1 для длинноволнового (LW) поддиапазона (660.0–1209.5 см–1) и 1.4 см–1 для средневолнового (MW) поддиапазона (1210.2–2000.5 см–1).
Применение аподизации в спектральной области может быть представлено матричным оператором A (Amato et al., 1998). Элементы матрицы А для гауссовой аподизации равны:
Здесь MPD – значение максимальной ОРХ, равное 1.7 см для ИКФС-2.
Выражение для КМШ и дисперсии шума в аподизированных спектрах имеет вид:
Здесь Sε,0 и NESR0 – КМШ и радиометрический шум до аподизации; βAPD – коэффициент усиления шума вследствие аподизации, введенный по аналогии с (5):
Для ИКФС-2 имеем: ${{\beta }_{{APD,LW}}} \approx 0.53$, ${{\beta }_{{APD,MW}}} \approx 0.37.$
Для некоррелированного шума в спектрах до аподизации значения элементов КрМШ после гауссовой аподизации равны:
С учетом того, что в ИКФС-2 для обоих поддиапазонов (LW и MW) значения FWHM равны удвоенному значению шага сетки Δν, получим:
(6)
${\text{C}}_{{\varepsilon ,APD}}^{{}}\left[ {i,j} \right] \approx \exp \left[ { - {{{(i - j)}}^{2}}\frac{{\ln 2}}{2}} \right] = {{2}^{{\frac{{ - {{{\left( {i - j} \right)}}^{2}}}}{2}}}}.$Значения диагональных элементов матрицы Сε,APD, вычисленные согласно (6), равны: Сε,APD[i, i – 1] ≈ ≈ 0.7071, Сε,APD[i, i – 2] = 0.25, Сε,APD[i, i – 3] ≈ ≈ 0.0442, Сε,APD[i, i – 4] ≈ 0.0039 и т.д.
Таким образом, применение аподизации приводит, с одной стороны, к снижению дисперсии шума в спектральных каналах, а с другой – к корреляции шума в соседних отсчетах, при этом коэффициенты корреляции инвариантны относительно сдвига по волновому числу.
Интерполяция на заданную сетку волновых чисел
Дискретизация интерферограмм фурье-спектрометра ИКФС-2 осуществляется с шагом, равным длине волны лазера референтного канала (λРЕФ ≈ 1.31 мкм). В процессе эксплуатации прибора на орбите длина волны излучения лазера меняется вследствие флуктуаций температуры лазерного модуля и тока накачки, а также из-за процессов старения. Шаг сетки спектральных отсчетов в исходных спектрах составляет: Δν = = (2MPD)–1 ≈ 0.3 см–1.
Выражение для интерполяционной матрицы IM [N × N1] пересчета на выходную сетку спектральных отсчетов имеет вид:
Здесь Vaux – матрица, элементы строк которой являются промежуточной сеткой волновых чисел с шагом Δνaux = 0.3 см–1, а V1C – матрица, элементы столбцов которой являются сеткой выходных спектральных отсчетов с шагом 0.35 (LW) и 0.7 см–1 (MW).
Таким образом, интерполяция спектральных отсчетов на выходную сетку волновых чисел также влияет на корреляцию шума в спектральных отсчетах.
Расчетная КМШ для данных ИКФС-2 уровня 1С
Определим совместное влияние операций, выполняемых на этапе преобразования данных ИКФС-2 уровня 1А в спектры уровня 1С, для случая, когда шум в интерферограммах является стационарным. Тогда КМШ данных уровня 1А является диагональной, а КМШ данных уровня 1С определяется выражением:
Здесь diag(NESR) – диагональная матрица с вектором NESR на главной диагонали.
Дисперсия шума NESR2 в выходных спектрах ИКФС-2 равна:
Здесь NESR0 – радиометрический шум в спектрах уровня 1А (до спектральной коррекции).
На рис. 1 представлены графики отношения радиометрического шума NESR в спектрах ИКФС-2 уровня 1С к радиометрическому шуму NESR0 в спектрах уровня 1A. Результаты расчета матрицы Сε для спектров ИКФС-2 уровня 1С представлены на рис. 2, а графики сечений матрицы Сε представлены на рис. 3 (слева – диагонали, справа – выбранные строки). Значимо отличающимися от нуля являются лишь первые три диагонали.
Рис. 2
Расчетная корреляционная матрица шума в спектрах ИКФС-2 после аподизации, коррекции самоаподизации и интерполяции на выходную сетку спектральных отсчетов.
Рис. 3
Расчетные коэффициенты корреляции с учетом аподизации, коррекции самоаподизации и интерполяции на выходную сетку спектральных отсчетов (слева – диагонали, справа – строки 99–101 матрицы Сε).
Рассмотрим способы оценки КМШ в измерениях фурье-спектрометра.
СПОСОБЫ ОЦЕНКИ КОВАРИАЦИОННОЙ МАТРИЦЫ ШУМА В СПЕКТРАХ
Существующие способы оценки шума в измерениях гиперспектрального ИК-зондировщика можно классифицировать по объекту наблюдения (атмосфера или опорные источники излучения), по способу выделения сигнала от шума (путем усреднения по ансамблю реализаций, методом главных компонент, с использованием внешних данных), по используемой части комплексных калиброванных спектров (действительная или мнимая часть) и др. Рассмотрим преимущества, недостатки и особенности их применения.
Оценка шума по измерениям опорных источников
Стандартным способом оценки шума в измерениях фурье-спектрометра является анализ измерений опорных источников. Данный метод используется для оценки радиометрического шума NESR(ν) в программном комплексе первичной обработки данных ИКФС-2 (ПК “IKFSPrepSuite”). В этом случае вычисляются калиброванные спектры опорных источников:
Выражения (24), (25) выше применяются к спектрам БЧТ или космоса, а оценка шума проводится по действительной или мнимой части. В ПК “IKFSPrepSuite” усредненные спектры БЧТ и космоса вычисляются на каждом цикле измерений опорных источников (по 30 измерений каждого источника примерно раз в 10 мин).
Данный способ позволяет оценивать случайную составляющую погрешности измерений прибора (как коррелированный, так и некоррелированный шум):
Преимуществом оценки КМШ по опорным источникам является тот факт, что для фиксированной и стабильной сцены наблюдения можно осуществлять фильтрацию сигнала простым вычитанием среднего (одновременно с этим исключается возможная систематическая погрешность). Недостатком данного способа является то, что шум в спектрах атмосферы может отличаться от шума в спектрах опорных источников (или по-разному проявляться). Кроме того, данный способ оценки шума недоступен пользователю, поскольку файлы данных уровня 1С не содержат измерений опорных источников. Поэтому необходим способ оценки шума непосредственно по спектрам атмосферы.
Оценка шума по калиброванным спектрам атмосферы
Ввиду отсутствия априорной информации о СПЭЯ объекта наблюдения возникает задача выделения (фильтрации) сигнала от шума в измеряемых спектрах. Для этого может использоваться метод главных компонент (МГК), применение которого для оценки шума в измерениях гиперспектральных ИК-зондировщиков подробно рассмотрено в работах (Serio et al., 2018; Serio et al., 2020).
На начальном этапе выполняется нормализация анализируемого массива ${{{\mathbf{L}}}_{i}}$ измеренных прибором спектральных данных уровня 1С (см. выражение (4)):
Здесь ${\mathbf{\bar {L}}}$ – выборочное среднее [N × 1] (N – число спектральных каналов); i = (1…M), M – число измерений; ${\mathbf{\tilde {S}}}_{\varepsilon }^{{}}$ – априорная оценка КМШ в спектрах (как правило, достаточно использовать диагональную КМШ с дисперсией шума, полученной по измерениям опорных источников).
Далее вычисляется ковариационная матрица нормализованных спектров и ее сингулярное разложение:
Здесь U – ортогональная матрица собственных векторов (эмпирических ортогональных функций ЭОФ) (U–1 = UТ), Λ – диагональная матрица собственных значений, расположенных в порядке убывания (λ1 > λ2 >…> λN); X – матрица измерений [N × M], составленная из xi.
Определив тем или иным способов (по одному из информационных критериев с учетом собственных значений λi) оптимальное значение τ используемых ЭОФ (т.е. τ – число главных компонент), получим “восстановленные” спектры атмосферы ${{{\mathbf{\hat {L}}}}_{{0,i}}}$ и оценку шума ${{{\mathbf{\hat {\varepsilon }}}}_{i}}$:
Здесь ci – коэффициенты разложения нормализованных спектров по ЭОФ, ${{{\mathbf{\hat {L}}}}_{{0,i}}}$ – оценка сигнала L0,i с использованием τ главных компонент (МГК-фильтр); Uτ – матрица собственных векторов, строки (i = τ + 1…N) которой равны нулю.
Можно показать (Serio et al., 2018), что уточненная оценка КМШ для ${{{\mathbf{\hat {\varepsilon }}}}_{i}}$ имеет вид:
Здесь U–τ – матрица собственных векторов, строки (i = 1…τ) которой равны нулю.
При оптимальном значении параметра τ (например, выбранном по информационному критерию Байеса) МГК-фильтр стремится к оптимальному линейному фильтру [в смысле минимума среднеквадратической ошибки], определяемому выражением: F = Sx(Sx + Sε)–1. В целом, МГК‑фильтр при росте τ стремится “оставить” в ${{{\mathbf{\hat {\varepsilon }}}}_{i}}$ только случайный некоррелированный шум, при этом оценка смещенная:
(7)
${\text{NES}}{{{\text{R}}}_{{{\text{МГК}}}}} \approx {\text{NESR}}\sqrt {{{(N - \tau )} \mathord{\left/ {\vphantom {{(N - \tau )} N}} \right. \kern-0em} N}} .$При использовании данного метода целесообразно отбирать измерения спектров атмосферы, обладающие малой изменчивостью. Например, удобно использовать безоблачные околонадирные спектры атмосферы при пролете КА над океаном. В этом случае число ГК, достаточное для выделения сигнала из смеси, может быть значительно снижено.
Преимуществом МГК является возможность его применения к выходным спектральным данным прибора, доступным потребителю, а также комбинирование с другими рассмотренными здесь способами.
Оценка шума по мнимой части калиброванных спектров атмосферы
Анализ мнимой части калиброванных спектров атмосферы является очень информативным инструментом контроля качества калибровки выходных спектральных данных (Zavyalov et al., 2013). Наличие сигнала в мнимой части калиброванного спектра является индикатором наличия ошибок калибровки. В идеализированном случае мнимая часть калиброванных спектров атмосферы содержит только шумовую составляющую, что позволяет строить оценки КМШ. В общем случае:
(8)
$\begin{gathered} \Delta {{L}_{{Im,i}}}\left( \nu \right) = \operatorname{Im} \left\{ {{{{\tilde {L}}}_{{{\text{атм}},i}}}\left( \nu \right)} \right\} = \\ = \Delta {{L}_{{{\text{случ}},\operatorname{Im} }}}\left( \nu \right) + \Delta {{L}_{{{\text{сист}},\operatorname{Im} }}}\left( \nu \right). \\ \end{gathered} $Случайная составляющая мнимой части калиброванных спектров атмосферы имеет ту же статистику, что и случайная составляющая действительной части (шумы в действительной и мнимой частях ортогональны), поэтому может использоваться для оценки КМШ. Для выделения случайной составляющей в (8) также можно применять МГК-фильтр, при этом число τ главных компонент, необходимых для фильтрации систематической погрешности, сравнительно мало. Если же использовать выборку спектров с малой изменчивостью, то вклад систематических погрешностей, связанных c ошибками калибровки, можно существенно снизить простым вычитанием выборочного среднего.
Таким образом, теоретическим преимуществом способа оценки КМШ по мнимой части калиброванных спектров является отсутствие необходимости фильтрации сигнала атмосферы от шума (при отсутствии или малости ошибок калибровки).
Оценка ковариационной матрицы ошибок наблюдения на основе анализа невязок между измеренными и модельными спектрами
Для оценки сигнала (истинного спектра атмосферы) можно использовать модельные спектры, полученные на основе информации о состоянии атмосферы в точке наблюдения, с использованием быстрой радиационной модели (БРМ) типа RTTOV. В этом случае:
В качестве оценки вектора x можно использовать “фоновый” вектор xb, полученный по прогностическим данным, или решение обратной задачи xа (Serio et al., 2015). В этом случае невязки d будут содержать информацию об инструментальных ошибках, а также ошибках моделирования оператора наблюдения H(x), погрешностях задания вектора x и др. На основе невязок d можно оценить ковариационную матрицу R (Desroziers et al., 2005):
Данный способ учитывает все виды погрешностей, возникающих при обращении гиперспектральных данных, не позволяя оценить вклад каждой из составляющих, в частности, инструментального шума. Оценка ковариационной матрицы ошибок наблюдения R выходит за рамки настоящей работы.
РЕЗУЛЬТАТЫ ОЦЕНКИ КОВАРИАЦИОННОЙ МАТРИЦЫ ШУМА ИКФС-2
На рис. 4 вверху представлены результаты оценки радиометрического шума ИКФС-2 в терминах пороговой СПЭЯ NESR, выполненные по опорным источникам (NESRопор,1С), по спектрам атмосферы с использованием метода главных компонент (NESRМГК,1С) и по мнимой части калиброванных спектров атмосферы (NESRIMAG,1С). В качестве исходных данных для оценки шума был выбран полусуточный файл измерений ИКФС-2, полученный на витках 32 026–32 033 (10 сентября 2020 г.). Для сравнения также представлены графики радиометрического шума в спектрах уровня 1A (NESRБМК и NESRкосм), вычисленные отдельно для бортового модуля калибровки (БМК) и космоса.
Рис. 4
Сопоставление результатов оценки радиометрического шума ИКФС-2 в терминах пороговой СПЭЯ (вверху) и пороговой разности температур NEdT (внизу).
На рис. 4 внизу представлены аналогичные результаты, но выраженные в терминах пороговой разности температур NEdT для объекта в виде черного тела с температурой 280 К.
Анализ графиков на рис. 4 показывает:
1) все оценки радиометрического шума в измерениях ИКФС-2 уровня 1С находятся в хорошем соответствии между собой;
2) отношение радиометрического шума NESR, полученного по опорным источникам, в спектрах уровня 1С (NESRопор,1С) и 1А (NESRБМК,1А и NESRкосм,1А) находится в полном соответствии с результатами, представленными на рис. 1, и определяется параметрами используемой аподизации, а также коррекцией самоаподизации;
3) оценки NESRМГК,1С и NESRIMAG,1С, полученные с использованием МГК, несколько ниже оценки NESRопор,1С, полученного без использования МГК; данный результат, в целом, находится в соответствии с выражением (7);
4) график радиометрического шума NESRМГК,1С, полученный по спектрам атмосферы методом главных компонент (τ = 85 для LW-диапазона и τ = 30 для MW-диапазона), содержит артефакты в виде узких спектральных линий, соответствующих линиям поглощения содержащихся в атмосфере газов;
5) все оценки радиометрического шума позволяют обнаружить на графиках NESR и NEdT незначительный, но заметный всплеск шума на длине волны вблизи 8.6 мкм (примерно 1162 см–1); причина наличия которого подлежит уточнению; существенный рост шума вблизи 1550 см–1 объясняется поглощением в светоделителе.
В целом, следует отметить высокие радиометрические характеристики прибора в длинноволновом диапазоне (660–1210) см–1. Как отмечено в работах (Polyakov et al., 2017) и (Eresmaa, 2020), в средневолновом диапазоне приемлемое отношение “сигнал–шум” в спектрах ИКФС-2 обеспечивается лишь до 1500 см–1.
На рис. 5 представлены результаты оценки корреляционной матрицы шума Cε,0 в измерениях ИКФС-2 уровня 1А (до спектральной коррекции), выполненные для LW-диапазона по измерениям опорным источникам. Видно, что матрица Cε,0, вычисленная по измерениям БЧТ, содержит незначительный окрас, вызванный нестационарностью шума в интерферограммах БЧТ из-за дополнительного шума вблизи положения нулевой ОРХ. При этом Cε,0, вычисленная по спектрам космоса, фактически совпадает с единичной матрицей.
Рис. 5.
Корреляционные матрица шума в неаподизированных спектрах ИКФС-2, вычисленные по измерениям бортового черного тела (слева) и космоса (справа).
Результаты, представленные на рис. 5, получены для измерений на витках 17 020–17 026 (17 октября 2017 г.). Со временем дополнительный шум вблизи нулевой ОРХ снизился, и оценки КрМШ по опорным источникам, выполненные по измерениям на витках 32 026–32 033 (10 сентября 2020 г.), показывают отсутствие значимой корреляции шума как в спектрах космоса, так и в спектрах БЧТ. Таким образом, можно утверждать, что шум в спектрах опорных источников уровня 1А является некоррелированным.
На рис. 6 представлены результаты оценки КрМШ в спектрах ИКФС-2 уровня 1С (слева – для LW-поддиапазона, справа – для MW). При этом вверху показаны КрМШ, вычисленные по действительной части спектров атмосферы методом главных компонент, внизу – КрМШ, вычисленной по мнимой части калиброванных спектров (также с применением МГК, но при меньшем числе ГК). Результаты оценки КрМШ по измерениям опорных источников не показаны, поскольку полностью совпадают с результатами расчетов.
Рис. 6.
КрМШ в спектрах ИКФС-2 уровня 1С для LW- (слева) и MW-диапазона (справа), вычисленные по действительной (вверху) и мнимой (внизу) частям калиброванных спектров атмосферы с использованием МГК
Рис. 7.
Графики первых трех (не считая главной) диагоналей КрМШ в спектрах ИКФС-2 уровня 1С, полученные различными способами (слева – для LW, справа – для MW-диапазона)
На рис. 7 представлены графики трех первых диагоналей КрМШ, полученных различными способами.
Анализируя рис. 6 и 7, можно отметить следующее:
1) корреляционные матрицы шума в спектрах ИКФС-2, полученные тремя рассматриваемыми способами, находятся в хорошем соответствии и согласуются с расчетом; значимыми являются коэффициенты корреляции на трех диагоналях, соседствующих с главной (в обе стороны), величины которых хорошо согласуются с расчетом; какие-либо “артефакты”, связанные с работой прибора, в полученных КрМШ не обнаруживаются;
2) вид КрМШ определяется процедурой первичной обработки и совпадает с расчетным, полученным для некоррелированного шума в спектрах уровня 1А;
3) в связи с отсутствием надлежащей выборки околонадирных безоблачных измерений, выполненных при пролете КА над морской поверхностью, оценка КрМШ, полученная по действительной части спектров атмосферы с помощью МГК, имеет некоторый окрас, связанный с особенностями МГК-фильтрации.
Представленные результаты оценки шума ИКФС-2, полученные по измерениям на витках 32 026–32 033 (10 сентября 2020 г.), хорошо воспроизводятся и могут быть получены для любой другой выборки спектральных данных ИКФС-2.
В заключение хотелось бы прокомментировать оценки ковариационной матрицы ошибок наблюдения R для ИКФС-2 из (Eresmaa, 2020), полученные путем анализа невязки между измерениями и расчетом (способ 4) и демонстрирующие наличие участков со значимой и достаточной сильной корреляцией погрешностей в спектральных каналах. Оценки ковариационной матрицы Sε, (составной части матрицы R в соответствии с (2)), полученные в настоящей работе и не выявившие значимой корреляции между спектральными отсчетами (за исключением корреляции соседних отсчетов), позволяют сделать предположение, что причиной различий между матрицей R в работе (Eresmaa, 2020) и матрицей Sε в настоящей работе могут быть остаточные систематические погрешности измерений ИКФС-2, а также ошибки, связанные с неточностью оператора наблюдения H(x), неидеальной фильтрацией безоблачных сцен при оценке R и др. Получение оценок ковариационной матрицы ошибок R для измерений ИКФС-2 планируется на следующем этапе исследований.
Список литературы
Головин Ю.М., Завелевич Ф.С., Никулин А.Г., Козлов Д.А., Монахов Д.О., Козлов И.А., Архипов С.А., Целиков В.А., Романовский А.С. Бортовые инфракрасные фурье-спектрометры для температурно-влажностного зондирования атмосферы Земли // Исслед. Земли из космоса. 2013. № 6. С. 25–37.
Головин Ю.М., Завелевич Ф.С., Козлов Д.А., Козлов И.А., Монахов Д.О., Никулин А.Г., Успенский А.Б., Рублев А.Н., Кухарский А.В. Инфракрасный фурье-спектрометр ИКФС-2: результаты эксплуатации на борту метеоспутника “Метеор‑М” № 2 // Исслед. Земли из космоса. 2017. № 4. С. 88–100.
Завелевич Ф.С., Головин Ю.М., Мацицкий Ю.П., Никулин А.Г., Козлов Д.А., Монахов Д.О., Козлов И.А., Болмосов И.В., Архипов С.А., Целиков В.А., Романовский А.С. Информационные характеристики летного образца аппаратуры ИКФС-2 // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 5. С. 291–300.
Козлов Д.А. Радиометрическая калибровка бортового инфракрасного фурье-спектрометра ИКФС-2 для температурного и влажностного зондирования атмосферы Земли // Оптический журн. 2013. 80. 2. С. 52–58.
Цырульников М.Д., Свиренко П.И., Гайфулин Д.Р., Горбунов М.Е., Успенский А.Б. Развитие системы оперативного усвоения данных метеорологических наблюдений в Гидрометцентре России // Гидрометеорологические исследования и прогнозы. 2019. № 4(374). С. 112–126.
Amato U., De Canditiis D., Serio C. Effect of apodization on the retrieval of geophysical parameters from Fourier-transform spectrometers // Appl. Opt. 1998. V. 37. № 27. P. 6537–6543.
Antonelli P., Revercomb H., Sromovsky L., Smith W., Knuteson R., Tobin D., Garcia R., Howell H., Huang H.-L., Best F. A principal component noise filter for high spectral resolution infrared measurements // J. Geophys. Res. 2004. V. 109. D23102.
Asmus V., Timofeyev Yu., Polyakov A., Uspensky A., Golovin Yu., Zavelevich F., Kozlov D., Rublev A., Kukharsky A., Pyatkin V., Rusin E. Atmospheric temperature sounding with the Fourier spectrometer // Izvestiya. Atmospheric and Oceanic Physics. 2017. V. 53. № 4. P. 428–432.
Bormann N., Bonavita M., Dragani R., Eresmaa R., Matricardi M., McNally A. Enhancing the impact of IASI observations through an updated observation-error covariance matrix // Q. J. R. Meteorol. Soc. 2016. V. 142. P. 1767–1780.
Desroziers G., Berre L., Chapnik B., Poli P. Diagnosis of observation, background and analysis-error statistics in observation space // Q. J. R. Meteorol. Soc. 2005. 131. P. 3385–3396.
Eresmaa R. Infrared Fourier Spectrometer 2 (IKFS-2) radiance assimilation at ECMWF // Q. J. R. Meteorol. Soc. 2020. P. 1–15.
Han Y., Suwinski L., Tobin D., Chen Y. Effect of self-apodization correction on Cross-track Infrared Sounder radiance noise // Appl. Opt. 2015. V. 54. № 34. P. 10114–10122.
Polyakov A., Timofeyev Yu., Virolainen Ya., Uspensky A., Zavelevich F., Golovin Yu., Kozlov D., Rublev A., Kukharsky A. Satellite atmospheric sounder IRFS-2 1. Analysis of outgoing radiation spectra measurements // Izvestiya. Atmospheric and Oceanic Physics. 2017. V. 53. № 9. P. 1185–1191.
Polyakov A., Timofeyev Y., Virolainen Y., Kozlov D. Atmospheric ozone monitoring with Russian spectrometer IKFS-2 // J. Applied Spectroscopy. 2019. V. 86. № 4. P. 650–654.
Revercomb H., Buijs H., Howell H., LaPorte D., Smith W., Sromovsky L. Radiometric calibration of IR Fourier transform spectrometers: solution to a problem with the High-Resolution Interferometer Sounder // Appl. Opt. 1988. V. 27. P. 3210–3218.
Serio C., Standfuss C., Masiello G., Liuzzi G., Dufour E., Tournier B., Stuhlmann R., Tjemkes S., Antonelli P. Infrared atmospheric sounder interferometer radiometric noise assessment from spectral residuals // Appl. Opt. 2015. V. 54. № 19. P. 5924–5936.
Serio C., Masiello G., Camy-Peyret C., Jacquette E., Vandermarcq O., Bermudo F., Coppens D., Tobin D. PCA determination of the radiometric noise of high spectral resolution infrared observations from spectral residuals: Application to IASI // JQSRT. 2018. V. 206. P. 8–21.
Serio C., Masiello G., Mastro P., Tobin D. Characterization of the observational covariance matrix of hyper-spectral infrared satellite sensors directly from measured Earth views // Sensors. 2020. 20. 1492.
Timofeyev Y., Uspensky A., Zavelevich F., Polyakov A., Virolainen Y., Rublev A., Kukharsky A., Kiseleva J., Kozlov D., Kozlov I., Nikulin A., Pyatkin V., Rusin E. Hyperspectral infrared atmospheric sounder IKFS‑2 on “Meteor-M” No. 2 – Four years in orbit // JQSRT. 2019. V. 238. 106579.
Zavelevich F., Kozlov D., Kozlov I., Cherkashin I., Uspensky A., Kiseleva Yu., Golomolzin V., Filei A. IKFS-2 radiometric calibration stability in different spectral bands // GSICS Quarterly. 2018. V. 12. № 1. P. 4–6.
Zavyalov V., Fish C., Bingham G., Esplin M., Greenman M., Scott D., Han Y. Preflight assessment of the Cross-track Infrared Sounder (CrIS) performance // Proc. Of SPIE. 2011. V. 8176. 817606.
Zavyalov V., Esplin M., Scott D., Esplin B., Bingham G., Hoffman E., Lietzke C., Predina J., Frain R., Suwinski L., Han Y., Major C., Graham B., Phillips L. Noise performance of the CrIS instrument // J. Geophys. Res. Atmos. 2013. V. 118. P. 13108–13120.
Дополнительные материалы отсутствуют.
Инструменты
Исследование Земли из Космоса
Пн.-пт.: 10.00-19.00