Автоматика и телемеханика, № 2, 2023

Стохастические системы

В.М. ХАМЕТОВ, д-р физ.-мат. наук (khametovvm@mail.ru)

(Национальный исследовательский университет

¾Высшая школа экономики¿, Москва)

ОПТИМАЛЬНОЕ ВОССТАНОВЛЕНИЕ КВАДРАТИЧНО

ИНТЕГРИРУЕМОЙ ФУНКЦИИ ПО НАБЛЮДЕНИЯМ ЗА НЕЙ

С ГАУССОВСКИМИ ОШИБКАМИ

Статья посвящена решению задачи оптимального в среднеквадратич-

ском смысле стохастического восстановления квадратично интегрируе-

мой относительно меры Лебега функции, заданной на конечномерном

компакте. В ней обосновывается процедура оптимального восстановле-

ния вышеуказанной функции, которая наблюдается в каждой точке этого

компакта с гауссовскими ошибками. Здесь приводятся условия существо-

вания оптимальной процедуры стохастического восстановления, а также

ее свойства несмещенности и состоятельности. Кроме того, предложена

и обоснована процедура почти оптимального стохастического восстанов-

ления, которая позволяет: i) оценить зависимость среднеквадратического

отклонения от количества ортогональных функций и числа наблюдений,

ii) найти такое количество ортогональных функций, которое минимизи-

рует это среднеквадратическое отклонение.

Ключевые слова: ортогональные функции, коэффициенты Фурье, ошибка

наблюдения, проекционная оценка, несмещенность, состоятельность.

DOI: 10.31857/S0005231023020071, EDN: ONSJBQ

1. Введение

Статья посвящена теории оптимального восстановления квадратично ин-

тегрируемых функций относительно меры Лебега, определенных на конеч-

номерном компакте, которые наблюдаются с гауссовскими ошибками. В ней

устанавливаются условия существования оптимальной процедуры восстанов-

ления по критерию минимума среднеквадратического отклонения (СКО), ис-

пользующей минимальное количество ортонормированных функций.

Под задачей стохастического восстановления (СВ) неизвестной функции

из некоторого класса обычно понимают следующее: имеется возможность на-

блюдать значение этой функции с ошибками в любой точке области ее опре-

деления и требуется оценить (восстановить) ее по результатам наблюдений в

соответствии с заданным критерием оптимальности. Следует отметить, что

эта проблема относится к теории непараметрического (бесконечномерного)

122

оценивания. Задачам непараметрического оценивания (НО) посвящено боль-

шое количество исследований, например, [1-22].

Обзор результатов, в хронологическом порядке, по теории СВ функций.

В [3, 4] рассматривается задача оценивания одномерной неизвестной квад-

ратичноинтегрируемой плотности распределения по независимым наблюде-

ниям за ней. В них доказывается, что для ее решения следует использовать

ядерные оценки [3], которые являются асимптотически несмещенными и со-

стоятельными. Впоследствии такой класс оценок получил название оценок

Парзена Розенблатта.

[5] это работа, в которой содержится обобщение оценок Парзена Розен-

блатта на многомерный случай.

Статья [6] посвящена решению задачи восстановления скалярной неиз-

вестной функции по наблюдениям за ней с некоррелированными гауссовски-

ми ошибками в конечном числе точек из области ее определения. В работе

описаны оптимальные рекуррентные алгоритмы ее восстановления, а также

установлена скорость их сходимости к неизвестной функции.

В [7] рассматривается задача восстановления неизвестной плотности рас-

пределения определенной на числовой прямой. В ней предложена проекцион-

ная оценка этой плотности, СКО которой эквивалентно СКО проекционной

оценки, предложенной Н.Н. Ченцовым в [9].

В [8] решается задача НО неизвестной плотности распределения абсолют-

но непрерывной случайной величины в предположении, что имеется возмож-

ность наблюдать m независимых случайных величин, плотность распределе-

ния которых неизвестна. В статье установлены условия, которые обеспечива-

ют существование ядерной оценки этой неизвестной плотности. Кроме того,

доказано, что эти оценки асимптотически несмещенные и состоятельные. Ре-

зультат исследования обобщает известные результаты Парзена Розенблатта,

Мёрфи [3-5, 7].

В монографии [9] изложен новый метод решения задач НО. В ней

Н.Н. Ченцовым впервые было введено понятие проекционной оценки. Его

подход к восстановлению неизвестной плотности распределения состоял в

оценке ¾отрезков¿ коэффициентов ряда Фурье этой плотности по подходящей

системе ортонормированных функций. Оказалось, что эти оценки являются

линейными функционалами от наблюдений. С их помощью строятся опти-

мальные оценки в смысле критерия минимума СКО. Такой подход позволил

автору доказать существование такого конечного числа членов ряда Фурье

оценки, который обеспечил сходимость к неизвестной плотности, причем ско-

рость сходимости по порядку величины являлась оптимальной.

В монографии [10] предложен метод решения задачи восстановления неиз-

вестной функции, который основывается на теории поперечников Колмого-

рова и теореме Гливенко Кантелли.

[11] это монография, которая посвящена изложению асимптотических

методов в теории точечного и НО. В ней также излагается теория оценивания

123

неизвестного гладкого квадратичноинтегрируемого сигнала, наблюдаемого

на фоне аддитивного ¾белого¿ гауссовского шума. Показано что это задача

НО. В качестве критерия использован критерий минимума СКО. Показано,

что существует такая оценка сигнала, СКО которой (по порядку величины)

эквивалентно СКО оптимальной оценки. Также доказано, что вышеуказан-

ная оценка неулучшаема.

Монография [12] посвящена НО неизвестной плотности распределения.

В ней для ядерных оценок плотности распределения Парзена Розенблатта

устанавливаются асимптотическая несмещенность и состоятельность. Кроме

того, в ней исследованы предельные свойства уклонений этих оценок плотно-

сти от истинной плотности распределения. В книге также излагается метод

построения непараметрической оценки регрессионной кривой.

В [13] находятся скорости сходимости оценок максимального правдоподо-

бия в задачах НО неизвестной функции из L₂ по наблюдениям за ней в конеч-

ном числе точек. В статье получены условия, при выполнении которых, ско-

рость сходимости неулучшаема. В частности, доказано, что для монотонной

неизвестной функции из L₂ нелинейная оценка максимального правдоподо-

бия по порядку величины имеет скорость сходимости, лучшую по сравнению

с любой линейной непараметрической оценкой.

В [14, 15] содержится подробный обзор результатов по теории СВ. В них

для решения этой задачи использован минимаксный подход.

В [16] для двухкомпонентного случайного вектора (первая компонента

которого это случайный элемент со значениями в некотором измеримом

пространстве с вероятностной мерой, а вторая случайная величина) рас-

сматривается задача оценивания функции регрессии для первой компонен-

ты по n независимым наблюдениям за второй. Предполагается, что функ-

ция регрессии принадлежит некоторому классу гладких квадратичноинтег-

рируемых функций, у которого известны такие метрические характеристики,

как ε-энтропия по Колмогорову либо поперечники Колмогорова, исследуются

асимптотические свойства ее СКО.

Монография [17] посвящена теории НО и состоит из трех глав. В книге

излагаются следующие направления теории НО: i) методы построения НО;

ii) статистические свойства НО: сходимость и скорость сходимости; iii) адап-

тивные процедуры НО. Направления i) и ii) подробно обсуждаются в главе 1.

Направление iii) составляет основное содержание монографии и подробно из-

ложено в главах 2 и 3.

В статье [18] решается задача восстановления неизвестной скалярной квад-

ратичноинтегрируемой функции по наблюдениям за ней в каждой точке ко-

нечномерной компактной области определения с независимыми гауссовскими

ошибками. В ней, в спектральном представлении, устанавливаются условия

существования процедуры оптимального восстановления в смысле критерия

минимума СКО. Кроме того, доказывается, что эта процедура восстановле-

ния обладает свойствами несмещенности и состоятельности.

124

[19] это статья, которая посвящена применению оптимальных мето-

дов интерполяции, основанных на свойствах эллиптических функций Абе-

ля Якоби, для оценивания непараметрической регрессии. В ней приводится

описание методов оптимальной интерполяции статистических данных при ис-

пользовании некоторых критериев оптимальности. В частности, описано, как

использовать эти методы для решения задачи СВ.

Статья [20] посвящена разработке метода СВ сигналов для общих линей-

ных моделей. В ней показано, что задача СВ может быть сведена к решению

монотонных вариационных неравенств. Численное решение которых может

быть найдено с помощью известных эффективных вычислительных проце-

дур. В ней доказано, что сильно монотонные вариационные неравенства име-

ют верхнюю границу.

В статье [21] рассматривается задача оценивания линейного функционала

по наблюдениям за ним, которые являются аддитивной смесью этого функ-

ционала и ¾белого¿ гауссовского шума. В качестве оценок этого функционала

используются проекционные. В статье описывается методика выбора такой

наилучшей оценки. В ней довольно подробно излагается идея построения та-

кого рода оценок.

Работа [22] посвящена СВ скалярных, гладких, детерминированных, квад-

ратичноинтегрируемых функций относительно меры Лебега на действитель-

ной прямой по наблюдениям за ними с независимыми гауссовскими ошиб-

ками в каждой точке области определения. В ней устанавливаются условия

существования оптимального оценивания в смысле критерия минимума СКО.

Особенностью рассматриваемой в статье задачи является то, что как наблю-

даемая последовательность, так и критерий качества описываются не в коор-

динатном представлении, а в терминах коэффициентов Фурье наблюдений,

восстанавливаемой функции и ошибок наблюдений. Такое представление поз-

воляет при использовании тригонометрического базиса формулировать ре-

зультаты в простой удобной форме. Для данного случая получены легко про-

веряемые условия существования оптимальной процедуры восстановления, а

также такие ее свойства, как несмещенность и состоятельность. Кроме того,

для гладких функций из пространства Соболева построена процедура восста-

новления, которая эквивалентна оптимальной. Следует отметить, что в этом

случае построенная процедура имеет СКО, которое обладает следующими

свойствами:

(i) из-за наличия смещения отклонение меньше оптимального;

(ii) не зависит от восстанавливаемой функции;

(iii) оно неулучшаемо.

Актуальность. Как следует из вышеприведенного обзора, проблеме СВ по-

священо множество исследований. В [3-17, 19, 20] данная проблема сформу-

лирована в координатном представлении, математическое описание которого

составляют формулы (1)

(4) и (15) раздела 2. Из [26] следует, что решение

экстремальной задачи (15) существует, поскольку выполнены условия леммы

125

Янкова фон Неймана, причем оно является аналитической функцией. Зна-

чит, решение задачи (15) не является борелевской функцией и поэтому не

существует непараметрической статистической оценки неизвестной квадра-

тично интегрируемой функции, наблюдаемой на фоне аддитивного ¾белого¿

шума.

Отметим также статью [21], в которой показано, что не существует, в коор-

динатном представлении, оценки максимального правдоподобия неизвестной

квадратично интегрируемой функции, наблюдаемой на фоне помех, пред-

ставляющих собой гауссовскую случайную функцию, лежащую в некотором

гильбертовом пространстве.

В работе [18] предложен другой подход, который предполагает, что на-

блюдаются коэффициенты Фурье аддитивной смеси неизвестной функции и

гауссовской функции ошибок, которая имеет вид (7). Такое представление

было названо в тексте спектральным. В частности, из (7) следуют условия

существования и явный вид оценок каждого коэффициента Фурье и его дис-

персии. Этот факт позволил авторам впервые установить явный вид опти-

мальной непараметрической оценки и СКО неизвестной функции (теорема 1,

следствие 1). Опираясь на эти результаты, установлены свойства несмещен-

ности и состоятельности этих оценок (теоремы 2, 3). Отметим, что из ра-

бот [3-17, 19-21] не ясно, насколько предложенные в них непараметрические

оценки близки к оптимальным.

Опираясь на эти результаты, установлено:

(i) явная зависимость СКО неизвестной функции, когда в качестве ее оцен-

ки использована случайная функция, использующая только первые N ∈ Z⁺

слагаемых в (23) и m ∈ Z⁺ \ 0 наблюдений (теорема 4);

(ii) для каждого m существование N⁰(m) ∈ Z⁺, которое доставляет мини-

мальное значение этому СКО (теорема 5).

Кроме того, предложен конструктивный способ нахождения значения N⁰(m)

(теорема 6). Этот результат позволил установить условия эквивалентности

СКО и m^-1, а также эквивалентности N⁰(m) и m (следствие 3). Данные

утверждения позволяют дать определение проекционной оценки Ченцова

(смотри формулу (40)) и установить ее СКО. Последнее позволило оценить

скорость сходимости этой процедуры к неизвестной функции (теорема 8),

а также ее независимость от вида неизвестной функции (теорема 10).

В конце статьи приведен пример, в котором удается в явном виде найти

значение N⁰(m) ∈ Z⁺.

Расположение материала работы следующее.

В разделе 2 излагается постановка задачи СВ в спектральном представле-

нии.

В разделе 3 устанавливается условие существования решения задачи СВ

(теорема 1), которое в свою очередь является задачей НО. Кроме того, здесь

126

устанавливаются такие статистические свойства оптимального восстановле-

ния, как несмещенность (теорема 2) и состоятельность (теорема 3).

Раздел 4 посвящен нахождению зависимости СКО V_m(N) от числа ис-

пользованных ортонормированных функций и числа наблюдений (теорема 4).

Здесь: i) доказывается что для каждого m ∈ Z⁺ \ 0 существует N⁰(m), кото-

рое доставляет V_m(N) наименьшее значение (теорема 5); ii) установлен кон-

структивный способ нахождения N⁰(m). Кроме того, получены условия эк-

вивалентности V_m(N⁰) иN0(m)m , а также эквивалентности N⁰(m) и m.

Раздел 5 посвящен описанию свойств оптимальных проекционных оценок,

имеющих СКО V_m(N⁰(m)) (смотри формулу (40)) неизвестной функции, на-

званных в работе оценками Ченцова (ПОЧ). Здесь также доказано, что:

1) ПОЧ сходится к неизвестной функции со скоростью порядка m-2 ;

2) ПОЧ является асимптотически несмещенной и установлены условия ее

состоятельности.

Доказательство всех утверждений составляет содержание двух приложе-

ний.

2. Определения и обозначения, необходимые для формулировки

задачи стохастического восстановления. Обоснование

возможности использования спектрального представления

2.1. Пусть K конечномерный компакт, B(K) борелевская σ-алгеб-

ра в K, а L₂(K, Λ) множество функций f : K → R¹ квадратично ин-∫

тегрируемых относительно меры Лебега Λ на K, т.е._K f²(x)dx < ∞.

Поскольку L₂(K, Λ) сепарабельное гильбертово пространство, то в нем

существует (вообще говоря неединственная) полная, ортонормированная

система функций, которую мы обозначаем через

{ϕ_j (x)}_j≥0, т.е. для

любых j, j^′ ∈ Z⁺ (Z⁺ ≜ Z⁺ ∪ {∞}) функции ϕ_j (x), ϕ_j′ (x) ∈ L₂(K, Λ) та-∫

кие, что_K ϕ_j (x)ϕ_j′ (x)dx = δ_j,j′ , здесь δ_j,j′ символ Кронекера, причем

∑ ∫ ϕ^2j(x)dx < ∞ [24]. Отсюда следует, что для почти всех x ∈ K

j=0K

∑

(1)

f (x) =

c_jϕ_j

(x),

j=0

∫

где {c_j }

j∈Z⁺ коэффициентыФурьефункцииf(x),т.е.cj^≜f(x)ϕj^(x)dx.

Пусть (Ω, F, P) полное вероятностное пространство, на котором зада-

на измеримая функция n: Z⁺ × Ω × K → R¹, обозначаемая n_m(x), такая, что

для любых x ∈ K и m ∈ Z⁺ \ 0 выполнены условия (n₁).

Условия (n₁):

∫

(2)

En_m(x) = 0, σ² ≜ E n^2m

(x)dx < ∞,

127

и для любых y,x ∈ K причем y = x и m = q

(3)

En_m(x)n_q(x) = 0,

En_m(y)n_m

(x) = 0 .

Здесь через E(·) обозначен интеграл Лебега относительно вероятностной ме-

ры P.

Очевидно, что на σ-алгебре B(K) ⊗ F определена мера Λ × P, обозначае-

маяP.

Предположим, что в любой точке x ∈ K мы наблюдаем функцию y_m(x),

которая представляет собой сумму функций f(x) ∈ L₂(K, Λ) и n_m(x), т.е. на-

блюдаем функцию f(x) с аддитивными ошибками n_m(x):

∑

(4)

y_m(x) = f(x) + n_m(x) = c_jϕ_j(x) + n_m(x)

-п.в.,

j=0

где m ∈ Z⁺ \ 0 номер наблюдения.

2.2. Нам также потребуются обозначения для коэффициентов Фурье слу-

чайных функций y_m(x) и n_m(x):

∫

(5)

y^jm ≜ y_m(x)ϕ_j

(x)dx,

∫

(6)

n^jm ≜ n_m(x)ϕ_j

(x)dx.

Из (5)-(6) следует, что коэффициенты Фурье, для каждого m ∈ Z⁺ \ 0

и j ∈ Z⁺ это случайные величины. А из (1), (4), (5), (6) следует равен-

ство P-п.н.

(7)

y^jm = c_j + n^jm

P-п.н.

Так как f(x) ∈ L₂(K, Λ) и выполнены условия (n₁), то из (7) следует, что для

любого m ∈ Z⁺ \ 0

∑[

]

∑

(8)

c^2j + E(n^jm)²

= E(y^jm)² = E (y^jm)²

< ∞.

j=0

Условия (n₂):

(i) σ^2j ≜ E(n^m)², j ∈ Z⁺, т.е. дисперсия коэффициентов Фурье ошибок не

зависит от номера наблюдения;

∑

(ii) σ² ≜

σ^2j < ∞.

j=0

128

Из [23] следует, что если известны коэффициенты Фурье набора {y^jk}_j∈Z+ ,

k=1,m

m ∈ Z⁺ \ 0, то любая наблюдаемая функция из набора {y_m(x)}_x∈K допус-

m∈Z⁺\0

кает представлениеP-почти всюду

∑

(9)

y_m(x) ≜

y^jmϕ_j

(x).

j∈Z⁺

Пусть Fmj и F^m σ-алгебры, порожденные семействами случайных величин

{y^jk}_k=1,m и {y^jk}

j∈Z⁺ ,соответственно,т.е.

k=1,m

{

}

(10)

Fyjm ≜ σ y¹,... ,y^j

{

}

(11)

F^ym ≜ σ y^j1,... ,y^jm,j ∈Z+

Очевидно, что y_m(x) является F^m ⊗B(K)-измеримой случайной функцией.

Определение 1. Любую F^m ⊗ B(K)-измеримую функцию f_m(x) со зна-

чениями в R¹ назовем оценкой функции f(x) ∈ L₂(K, Λ), по результатам

m ∈ Z⁺ \ 0 наблюдений.

Определение 2. Оценку f_m(x) назовем допустимой, если

∫

(12)

|f_m(x)|²

dx < ∞.

Обозначим через M_2,m(P) множество допустимых оценок f_m(x). Оче-

видно, что M_2,m(P) = ∅ и является гильбертовым пространством.

Определение 3. Допустимую оценку

f_m(x) ∈ M_2,m(P) будем назы-

вать проекционной, если она допускает представлениеP-п.в.

∑

(13)

f_m(x) = c_j,mϕ_j

(x),

j=0

где для каждого j ∈ Z⁺ и m ∈ Z⁺ \ 0, а c_j,m Fmj -измеримая случайная

величина, которая является коэффициентом Фурье оценк

f_m(x), причем

∑

E c^2j,m < ∞.

j=0

Множество проекционных оценок обозначим через M_2,m(P). Очевидно

M_2,m(P) ⊆ M_2,m(P).

129

В статье рассматривается задача построения проекционных оценок

f_m(x) ∈ M_2,m(P) неизвестной функции f(x) ∈ L₂(K,Λ) по наблюдениям опи-

сываемым (7) таких, что

∫

[

]₂

(14)

f (x)

f_m(x)

dx →

inf

fm(x)∈M2,m

(P)

(14) это критерий минимума СКО относительно мерыP.

Определим, что мы будем понимать под оптимальной проекционной оцен-

кой.

Определение 4. Проекционнуюоценк

f^0m(x) ∈ M_2,m(P) назовем опти-

мальной, если

∫

[

]

[

]₂

(15)

inf

f (x)

f_m(x)

²dx = E

f (x)

f^0m(x)

dx.

fm(x)∈M2,m(P)

Представление данных задачи стохастического восстановления в фор-

ме (5)

(15) будем называть спектральным представлением.

2.3. Целью данной статьи является:

1) доказательство существования процедуры восстановления функции

f (x) ∈ L₂(K, Λ), использующей конечное число ортонормированных функ-

ций, а также нахождение ее СКО;

2) исследование статистических свойств этой процедуры восстановления.

3. Условия существования оптимальных оценок

неизвестной функции

ОбозначимM2,m(P) множество бесконечномерных случайных векторов

cm ≜ (c0,m, c1,m, . . . ), таких, что: i) для любого j ∈ Z⁺ и каждого m ∈ Z⁺ \ 0

∑



случайная величина c_j,m Fmj -измерима, ii) E

cj,m2 < ∞.

j=0

3.1. Есл

f_m(x) ∈ M_2,m(P), тоP-почти всюду имеем

∑

(16)

f_m(x) =

cj,mϕj

(x),

j=0

где c_j,m ∈M2,m(P)

Fmj -измеримая случайная величина, j ∈ Z⁺, а m ∈

∈Z⁺ \0, которая является коэффициентом Фурье оценки

f_m(x) ∈ M_2,m(P),

т.е. P-п.н.

∫

(17)

cj,m ≜

f_m(x)ϕ_j

(x)dx.

130

Из (16) следует соотношение

∫



∑

(18)

f_m(x)2dx = E

c^2j,m,

i=0

которое является обобщением известного равенства Парсеваля [24, 25].

Из (18) следует, чтоM2,m(P) гильбертово пространство.

Кроме того, из равенства (18) следует утверждение.

Предложение 1. M_2,m(P) иM2,m(P) изоморфны.

Предложение 2. Для любого m ∈ Z⁺ \ 0 оптимальная проекционная

оценк

f^0m(x) ∈ M_2,m(P) существует тогда и только тогда, когда существу-

ют {c^0m} ∈M2,m(P) такие, что

∑[

]

∑[

]₂

(19)

inf

c_j - c_j,m

² =E

c_j - c^0j,m

{c_j,m}_j≥0∈M2,m(P)j=0

j=0

Доказательство предложения 2 приведено в приложении 1 (см. пункт П.1.1).

Замечание 1. Из утверждения предложения 2 следует, что для суще-

ствования оптимальной проекционной оценки функции из класса M_2,m(P)

необходимо и достаточно, чтобы существовали оптимальные оценки ее коэф-

фициентов Фурье.

3.2. В данном пункте мы сформулируем условия существования решения

задачи оптимального СВ функции из L₂(K, Λ).

Условия (n₃).

Пусть для любых j ∈ Z⁺ и m ∈ Z⁺ \ 0 семейство {n^m}

j∈Z⁺ образует

m∈Z⁺\0

гауссовскую систему некоррелированных случайных величин с Law(n^m) =

= N(0,σ^2j).

Обозначим СКО оптимальной оценки через V_m(∞).

Теперь можно сформулировать теорему существования оптимального СВ.

Теорема 1. Пусть f(x) ∈ L₂(K,Λ) и выполнены условия (n_i), i = 1,3.

Тогда для почти всех x ∈ K и m ∈ Z⁺ \ 0 существует оптимальная проек-

ционная оценк

f^0m(x) ∈ M_2,m(P), котораяP-почти всюду допускает пред-

ставление

∑

(20)

f^0m(x) =

c^0j,mϕ_j

(x),

j=0

где

∑

(21)

c^0j,m =

y^jk,

k=1

131

а СКО которой V_m(∞) имеет вид:

∫

[

]₂

∑

(22)

V_m(∞) =

inf

f (x)

f_m(x)

dx =

σ^2j.

fm(x)∈M2,m(P)

j=0

Доказательство теоремы 1 приведено в Приложении 1 (см. пункт П.1.2).

Замечание 2. Утверждение теоремы 1 в отличие от [3-17, 19-21], уста-

навливает достаточные условия существования оптимальной проекционной

оценки функции из L₂(K, Λ) по наблюдениям за ней с независимыми гауссов-

скими ошибками.

3.3. Из теоремы 1 следует простой вид оценк

f^0m(x).

Следствие 1. Пусть выполнены условия теоремы 1. Тогда для каждого

m∈Z⁺ \0 почти всюду относительно меры P оптимальная оценка

f^0m(x)

допускает представление:

∑

(23)

f^0m(x) =

y_k

(x).

k=1

Доказательство следствия 1 приведено в Приложении 1 (см. пункт П.1.3).

3.4. Свойства оптимальных оценок.

Теорема 2. Пусть выполнены условия теоремы 1. Тогда оценка (20)

несмещенная.

Доказательство теоремы 2 приведено в Приложении 1 (см. пункт П.1.4).

Теорема 3. Пусть выполнены условия теоремы 1 и для почти всех

∑

x ∈ K относительно меры Лебега ряд σ^2jϕ^2j(x) сходится. Тогда оценка

j=0

f^0m(x) состоятельная.

Доказательство теоремы 3 приведено в Приложении 1 (см. пункт П.1.5).

4. Зависимость СКО оценки неизвестной функции f(x) ∈ L₂(K, Λ)

от количества используемых ортогональных функций,

числа наблюдений и некоторые ее свойства

∑

∫

4.1. Пусть функции f_N (x) ≜ c_jϕ_j (x), где c_j ≜ f(x)ϕ_j (x)dx, а N ∈

j=0

∈ Z⁺ число ¾использованных¿ ортогональных функций. Очевидно, что

f_N(x) ∈ L₂(K,Λ).

Пуст

f^0m,N(x) ∈ M_2,m(P) оптимальная проекционная оценка неизвест-

ной функции f_N (x) ∈ L₂(K, Λ). Очевидно, что в силу теоремы 1 она имеет

132

вид:

∑

(24)

f^0m,N(x) ≜

c^0j,m(x)ϕ_j

(x).

j=0

Из (24), в силу теоремы Фубини, следует равенство

∫



∑



(25)

f^0m,N(x)2dx = E

c^0j,m2,

j=0

причем c^0j,m имеет вид (21).

Пусть V_m(N) СКО оценк

f^0m,N(x) от функции f(x) ∈ L₂(K,Λ), для

построения которой использован ¾отрезок¿ из N-ортогональных функций и

с числом наблюдений, равным m. Очевидно V_m(N) допускает представление

∫

[

]₂

(26)

V_m(N) ≜ E

f (x)

f^0m,N(x)

dx.

Сформулируем основной результат этого пункта.

Теорема 4. Пусть выполнены условия теоремы 1. Тогда для любых

m ∈ Z⁺ \ 0, N ∈ Z⁺ справедливы следующие утверждения.

1) V_m(N) допускает представление

[

]

∑



²

(27)

V_m(N) =

σ^2j - c²

f

L₂(K,Λ)

j=0



2) Пусть

f

≥ σ²⁰ и существует константа C₁₀ > 0 такая, что

L₂(K,Λ)

σ²⁰ ≥ C₁₀. Тогда справедливы неравенства

)

(



σ²

(28)

0 < C₁₀ ≤ V_m(N) ≤ max

f2

L₂(K,Λ)

Доказательство теоремы 4 приведено в Приложении 2 (см. пункт П.2.1).

4.2. Из утверждения теоремы 4 вытекает простое следствие.

Следствие 2. Пусть выполнены условия теоремы 4. Тогда справедливы

следующие утверждения.

1) При каждом m ∈ Z⁺ \ 0 последовательность {V_m(N)}

N ∈Z⁺ удовлет-

воряет рекуррентному соотношению







V_m(N + 1) = V_m(N) - c^2N+1 +

σ^2N+1

(29)



∑





= c^2j,

 Vm(N)

N=0

j=0

решение которого имеет вид (22).

133

2) При каждом N ∈ Z⁺ частичная последовательность {V_m(N)}

m∈Z⁺\0

удовлетворяет рекуррентному соотношению





∑



V_m+1(N) = V_m(N) -

σ^2j



(m + 1)m

j=0

(30)





∑





c^2j +

σ^2j,

 V

m(N)

m=1

j=N+1

j=0

решение которого имеет вид (22).

Доказательство следствия 2 приведено в Приложении 2 (см. пункт П.2.2).

Замечание 3. Из утверждения 2 следствия 2 и (27), следует, что для

любого N ∈ Z⁺

∑

lim

V_m+1(N) = lim

V_m(N) =

c^2j .

m→∞

j=N+1

Поэтому

lim

V_m(N) = 0 .

N→∞

m→∞

4.3. В этом пункте установим, что при каждом m ∈ Z⁺ \ 0 последователь-

ность {V_m(N)}_N∈Z + имеет единственный минимум.

Теорема 5. Пусть выполнены условия теоремы 4. Тогда при каждом

m ∈ Z⁺ \ 0 существует единственное N⁰(m) ∈ Z⁺ такое, что

(31)

inf

V_m(N) = V_m(N⁰

(m)).

N ∈Z⁺

Доказательство теоремы 5 приведено в Приложении 2 (см. пункт П.2.3).

Замечание 4. Из утверждения теоремы 5 следует:

а) для любого N ∈ Z⁺ имеет место неравенство

(32)

V_m(N) ≥ V_m(N⁰

(m));

б) для всех s ∈ Z⁺ таких, что N⁰(m) - s ≥ 0 и N⁰(m) + s ∈ Z⁺ имеет ме-

сто неравенство

(33)

V_m(N⁰(m) - s) - 2V_m(N⁰(m)) + V_m(N⁰

(m) + s) ≥ 0.

4.4. В этом пункте будет описан конструктивный способ нахождения зна-

чения N⁰(m).

134

Теорема 6. Пусть выполнены условия теоремы 4. Тогда N⁰(m) ∈ Z⁺

допускает представление







∑



σ²

(34)

N⁰(m) = inf

N ∈Z⁺:

≥

c²



^j

j=0

j=N+1

Доказательство теоремы 6 приведено в Приложении 2 (см. пункт П.2.4).

4.5. В этом пункте, основываясь на теореме 6 установлены соотношения

∑

σ^2j

эквивалентности между СКО ПОЧ и

j=0

Теорема 7. Пусть выполнены условия теоремы 6. Тогда для любого

m ∈ Z⁺ \ 0 имеют место неравенства

N⁰(m)∑

σ²

N⁰(m)∑

σ^2j

(35)

≤ V_m(N⁰(m)) ≤ 2

j=0

т.е.

N⁰(m)∑

σ^2j

(36)

V_m(N⁰(m)) ≍

j=0

Доказательство теоремы 7 приведено в Приложении 2 (см. пункт П.2.5).

4.6. Из утверждения теоремы 7 вытекают важные утверждения.

Следствие 3. Пусть выполнены условия теоремы 7. Пусть выполня-

ются условия:

(i) sup σ^2j ≤ C₁₁,

j∈Z⁺

(ii) существует j₀ ∈ {0, . . . , N⁰(m)} такое, что σ2j0 ≥ C₁₂ > 0. Тогда спра-

ведливы следующие утверждения.

N⁰(m)

(37)

C₁₂

≤ V_m(N⁰(m)) ≤ C11

т.е. V_m(N⁰(m)) ≍N0(m)m;

(38)

N⁰

(m) ≍ m.

Доказательство следствия 3 приведено в Приложении 2 (см. пункт П.2.6).

135

5. Проекционные оценки Ченцова и их свойства

В разделе 4 было доказано, что для любого m ∈ Z⁺\0 СКО V_m(N) про-

екционной оценки

f^0m,N(x) имеет единственный минимум (теорема 5), ко-

торый достигается в точке N⁰(m) ∈ Z⁺. В нем также найден конструк-

тивный способ нахождения N⁰(m) (теорема 6). Кроме того, в разделе 4

установлены соотношения эквивалентности (см. теорема 7, следствие

∑

σ^2j

V_m(N⁰(m)) ≍

≍ N⁰(m)m ≍ const.

j=0

5.1. В этом пункте определим, что следует понимать под проекционной

оценкой Ченцова (ПОЧ) неизвестной функции f(x) ∈ L₂(K, Λ).

Для этого обозначим



(39)

f^0m(x)

f^0m,N(x)

N=N⁰(m)

Очевидно, чт

f^0m(x) ∈ M_2,m(P) и допускает, в силу (20), представлениеP-поч-

ти всюду

N⁰(m)∑

(40)

f^0m(x) =

c^0j,mϕ_j

(x),

j=0

∑

где

c^0j,m =^1m

y^jk

j-я компонента бесконечномерного вектора

c^0m ∈

k=1

∈ M_2,m(P), который является коэффициентом Фурье оптимальной оценки

f^0m(x) ∈ M_2,m(P).

Определение 5. F^m ⊗ B(K)-измеримую функцию

f^0m(x) ∈ M_2,m(P)

будем называть проекционной оценкой Ченцова (ПОЧ) функции f(x) ∈

∈ L₂(K,Λ), если она допускает представление (40).

Из этого определения ПОЧ и (25) следует, что СКО ПОЧ от функции

f (x) ∈ L₂(K, Λ), обозначаемое V_m(N⁰(m)), имеет вид

∫

[

]₂

∑

N⁰(m)∑

σ^2j

(41)

V_m(N⁰(m)) = E

f (x)

f^0m(x)

dx =

c^2j +

j=N⁰(m)+1

j=0

5.2. Из утверждения теоремы 7 следует оценка скорости сходимости

ПОЧ к неизвестной функции f(x) ∈ L₂(K, Λ) когда m → ∞. Действительно,

из утверждения следствия 3, поскольку N⁰(m) ∈ Z⁺, имеем

(42)

V_m(N⁰(m)) ≍ m^-1.

Таким образом доказано следующее утверждение.

136

Теорема 8. Пусть выполнены условия теоремы 7 и следствия 3. Тогда



(43)

f

f^0m

M_2,m(P)=O(m-2

5.3. В этом пункте будут установлены статистические свойства ПОЧ (40).

Теорема 9. ПОЧ (40) обладает следующими свойствами:

1) для любого m ∈ Z⁺ \ 0 оценка (40) смещенная;

2) если выполнены условия теоремы 5, то СКО ПОЧ удовлетворяет

неравенству

(44)

V_m(N⁰(m)) ≤ V_m

(∞);

3) оценка (40) асимптотически несмещенная, т.е. для почти всех x ∈ K

(45)

lim

f^0m

(x) = f(x);

m→∞

∑



4) если для любого x ∈ K

σ^2jϕ^2j(x) < ∞ и

∑ c_jϕ_j(x) < ∞, то

j=0

f^0m(x

−---→ f(x).

m→∞

Доказательство теоремы 9 приведено в Приложении 2 (см. пункт П.2.7).

5.4. В этом пункте мы установим условия независимости СКО ПОЧ от

оцениваемой функции f(x) ∈ L₂(K, Λ).

Теорема 10. Пусть выполнены условия теорем 5, 6. Тогда имеем нера-

венство

∫

[

]₂

sup

inf

sup

f (x) - f_m,N (x)

dx ≤

f (x)∈L₂(K,Λ) N∈Z+ fm,N (x)∈M2,m(P)

(46)

∑

σ²

≤2

----→ 0.

m→∞

j=0

Доказательство теоремы 10 приведено в Приложении 2 (см. пункт П.2.8).

5.5. В этом пункте мы приводим пример задачи СВ, который позволит

описать ее решение явно. Из утверждений теорем 8, 9 и явного вида ПОЧ сле-

дует, что решение задачи оптимального СВ сводится к нахождению явного

вида N⁰(m). Поэтому содержание приводимого примера посвящено нахож-

дению значения N⁰(m).

Пример. Предположим, что элементы последовательностей {c^2j}_j≥0 и

{σ^2j}_j≥0 допускают представления

1) σ^2j = σ²⁰q^j1,

2) c^2j = c²⁰q^j2,

137

где σ²⁰ > 0 и c²⁰ > 0, а q_i ∈ (0, 1), i = 1, 2, j ∈ Z⁺. В силу теорем 5, 6 суще-

ствует N⁰(m) ∈ Z⁺ такое, что inf

V_m(N) = V_m(N⁰), причем для любого

N ∈Z⁺

N ≥ N⁰(m) имеет место неравенство

∑

σ²

∑

≥

c^2j,

j=0

j=N+1

которое с учетом предположений 1) и 2) допускает представление

∑

σ²⁰

q^j1 ≥ c²

q^j2.

j=0

j=N+1

Стало быть, в силу теоремы 5, при N = N⁰(m) имеет место равенство

σ²⁰

c²⁰qN0(m)+12

σ²⁰ qN0(m)+11

(47)

m1-q₁

1-q₂

m 1-q₁

Ниже рассмотрим два частных случая, когда N⁰(m) ∈ Z⁺ может быть най-

дено явно.

Для формулировки результатов обозначим, если a ∈ Z⁺ \ 0, то ⌊a⌋ это

целая часть числа a.

Случай 1. Пусть q₁ = q₂. Тогда из (47) следует, что еслиσ0

> q₁, то

c²⁰m+σ²

⌋

⌊ lnσ0

N⁰(m) =c0m+σ0

ln q₁

Случай 2. Пусть q₂ = (q₁)². Тогда из (47) следует, что

σ²⁰

c²⁰q2(N0(m)+1)1

σ²⁰

(48)

qN0(m)+11.

1+q₁

(48) это квадратное уравнение относительно qN0(m)+11. Если выполнено усло-

вие

[√

]

σ²⁰(1 + q₁)

4mc²⁰

-1

> 1,

2mc²⁰q₁

σ²⁰(1 + q₁)

то N⁰(m) имеет вид

[(

]

4mc²⁰

⌊ lnσ0(1+q1)

² -1⌋

2mc²⁰

σ²⁰(1+q₁)

N⁰(m) =

ln q₁

138

ПРИЛОЖЕНИЕ 1

П.1.1. Сначала установим утверждение предложения 2. Пусть f(x) ∈

∈L₂(K,Λ),

f_m(x) ∈ M_2,m(P) некоторая проекционная оценка. Поскольку

система {ϕ_j (x)}_j≥0 полная ортонормированная, то из (1), (13) и теоремы

Фубини для любого m ∈ Z⁺ \ 0 следуют равенства

∫

[

]

∑[

]

∑

[

]₂

f (x)

f_m(x)

²dx = E

c_j - c_j,m

² =

c_j - c_j,m

j=0

Отсюда, в силу предложения 1, имеем

∫

[

]₂

∑

[

]₂

(П.1.1)

inf

f (x)

f_m(x)

dx =

inf

c_j - c_j,m

fm(x)∈M2,m(P)

cj,m∈M2,m(P)j=0

ПосколькуM2,m(P) множество Fmj -измеримых квадратично интегри-

руемых случайных величин. Из (П.1.1) следует неравенство

∫

[

]

∑

[

]₂

inf

f (x)

f_m(x)

²dx ≥

inf

c_j - c_j,m

fm(x)∈M2,m(P)

(P)

j=0cj,m^∈M2,m

Отсюда следует, что оценка c^0j,m является оптимальной тогда и только тогда,

когда

[

]₂

[

]₂

inf

c_j - c_j,m

c_j - c^0j,m

cj,m∈M2,m(P)

Таким образом, если существует c^0j,m, то имеем неравенство

∫

[

]

∑

[

]₂

inf

f (x)

f_m(x)

²dx ≥ E

c_j - c^0j,m

fm(x)∈M2,m(P)

j=0

В силу (П.1.1) и последнего неравенства, имеем

∫

[

]

∑

[

]₂

inf

f (x)

f_m(x)

²dx ≥ E

c_j - c^0j,m

fm(x)∈M2,m(P)

j=0

∫

∑[

]

[

]₂

= inf E

c_j - c_j,m

² =E

f (x)

f^0m(x)

dx,

cj,m∈M2,m(P)

j=0

∑

гд

f^0m(x) ≜

c^0j,mϕ_j(x). Доказательство закончено.

j=0

139

П.1.2. Доказательство утверждения теоремы 1. Из утверждения пред-

ложения 2 следует, что существует оптимальная проекционная оценк

f^0m(x)∈

∈ M_2,m(P) тогда и только тогда, когда выполнено (19). Поэтому имеем

∫

[

]

[

]₂

inf

f (x)

f_m(x)

²dx = E

f (x)

f^0m(x)

dx.

fm(x)∈M2,m(P)

Основным содержанием утверждения теоремы 1 является доказательство ра-

венств (20)

(22).

∫

[

]₂

Поэтому рассмотрим E

f (x)

f^0m(x)

dx. Из утверждения предложе-

ния 2 (см. формулы (П.1.1) и (25)), имеем

∫

[

]

∑



(П.1.2)

f (x)

f^0m(x)

²dx = E

cj - c^0j,m

².

j=0

Отсюда следует, что для каждого j ∈ Z⁺ требуется по результатам наблю-

дений (y^j1, . . . , y^m) построить оптимальную в среднеквадратическом смысле

оценку коэффициента Фурье c_j . Заметим, что в силу (7) распределение слу-

чайной величины y^m является гауссовским, т.е. Law(y^m) = N (c_j , σ^2j). Извест-

но [1, 2], что в данном случае оптимальная оценка коэффициента Фурье c_j,

по результатам наблюдений с ошибками (y^j1, . . . , y^m), обозначаемая c^0j,m, сов-

падает с оценкой максимального правдоподобия. Следовательно, c^0j,m имеет

вид (19). Умножим левую и правую часть (19) на ϕ_j (x), а затем выполним

суммирование по всем j, в результате получим (18).

∫

[

]₂

Теперь найдем значение E

f (x)

f^0m(x)

dx, в силу (П.1.2), (7), (19) и

предложения 1 имеем

∫

[

]

∑



f (x)

f^0m(x)

²dx = E

c^0j,m - c_j

² =

j=0



(

)₂

∑



∑



∑

σ^2j

1



E

y^jk - c_j

n^j

m



j=0

k=1

j=0

k=1

j=0

Доказательство закончено.

П.1.3. Доказательство утверждения следствия 1. Из (20)

(22), и тео-

ремы Фубини вытекает (23), поскольку

∑

f^0m(x) =

c^0j,mϕ_j(x) =

y^jkϕ_j(x) =

j=0

k=1

∑∑

∑

y_k(x).

k=1 j=0

k=1

Доказательство закончено.

140

П.1.4. Доказательство утверждения теоремы 2. Из (7), (20) и (21) для

любых x ∈ K и m ∈ Z⁺ \ 0, в силу теоремы Фубини, имеем

∑

f^0m(x) = E

c^0j,mϕ_j(x) =

E y^jk =

ϕj (x)E

j,m

ϕj (x)

j=0

k=1

∑

(

)

ϕj (x)

c_j + En^jk

= ϕ_j(x)c_j = f(x).

j=0

k=1

j=0

Доказательство закончено.

П.1.5. Доказательство утверждения теоремы 3. Нам надо установить,

что для почти всех x ∈ K

f^0m(x

−---→ f(x).

m→∞

Достаточно доказать, что дисперсия оценк

f^0m(x) стремится к нулю, когда

m → ∞.

Для каждого x ∈ K вычислим дисперсию оценки

f^0m(x), обозначаемую

f^0m(x). Из (20), (7) и (21), в силу теоремы Фубини, имеем



₂

]₂

∑(

)

f^0m(x) = E

f^0m(x) - f(x)

=E

cj,m - cj

ϕj (x)

j=0



₂





∑

)

=E

y^jk - c_j

ϕj (x)

=E

n^jkϕj (x) =

ϕ^2j(x)σ^2j.

j=0

k=1

j=0

k=1

j=0

∑

Так как ряд

ϕ^2j(x)σ^2j для почти всех x ∈ K сходится, то из последнего

j=0

равенства следует утверждение теоремы. Доказательство закончено.

ПРИЛОЖЕНИЕ 2

П.2.1. Доказательство первого утверждения теоремы 4. Из определе-

ния V_m(N) следуют равенства

∫

[

]₂

V_m(N) = E

f (x) - f_N (x) + f_N (x)

f^0m,N(x)

dx =



₂

∫

∑



c_jϕ_j(x) -

c_jϕ_j(x) +

c_jϕ_j(x) -

c^0j,mϕ_j(x) dx =

j=0

K j=0



₂

∫

∑

∑(

)



c_jϕ_j(x) +

c_j - c^0j,m

ϕj (x) dx.

j=0

K j=N+1

141

Отсюда следует, что для любых m ∈ Z⁺ \ 0, N ∈ Z⁺ СКО V_m(N) имеет вид

∑

∑(

)₂

(П.2.1)

V_m(N) =

c^2j + E

c_j - c^0j,m

j=N+1

j=0

∑

Так как c^0j,m =^1m

y^jk, то в силу (7) имеем

k=1

∑(

)

∑

(П.2.2)

c^0j,m =

c_j + n^jk

=c_j +

n^jk.

k=1

Поэтому (П.2.1) с учетом (П.2.2) и условий (n_i), i = 1, 3, в силу теоремы Фу-

бини, имеет вид (23). Действительно

(

)₂

∑

V_m(N) =

c^2j + E

n^j

j=N+1

j=0

k=1

∑

(П.2.3)

c^2j +

E n^j

njk′ =

m²

j=N+1

j=0

k=1

k^′=1

∑

σ²

∑

c^2j +

σ^2j.

j=N+1

j=0

j=N+1

j=0

Отсюда следует первое утверждение теоремы.

Установим второе утверждение теоремы 4. Из первого утверждения теоре-

мы следует, что для любого N ∈ Z⁺ СКО оценки

f^0m,N(x) ∈ M_2,m(P) V_m(N)

имеет вид (П.2.3).

Для V_m(N) требуется установить для каждого m оценку снизу. Ясно, что

V_m(N) состоит из двух слагаемых, причем первое является монотонно убы-

вающей последовательностью, а второе слагаемое это монотонно возрас-

тающая последовательность. Поэтому, в силу условий, имеет место выкладка





∑

σ²ⁱ

inf

V_m(N) = inf



c^2j +

=

N ∈Z⁺

j=N+1

j=0





(

)

∑

∑σ²ⁱ

σ²⁰

= max lim

c^2j, lim

=max

≥ C₁₀ > 0.

N→∞

N→0

j=N+1

j=0

Доказательство закончено.

П.2.2. Доказательство утверждения следствия 2. Из утверждения теоре-

мы 4 (см. формулу (27)) очевидным образом следует утверждение следствия.

142

П.2.3. Доказательство утверждения теоремы 5. В силу теоремы 4

V_m(N) допускает представление (23), из которого следует, что оно состоит

из двух слагаемых:

∑

первое из них это ряд

c^2j, который сходится, поскольку сходится

j=N+1

{

}

∑



∑

f2

ряд

c^2j =

< ∞. Очевидно, что последовательность

c²

L₂(K,Λ)

j=0

j=N

N≥0

∑

(при возрастании N) является невозрастающей, т.е.

c^2j ≤

c^2j,

j=N+1

j=N

поэтому

∑

lim

c^2j = 0;

N→∞

j=N

вт}рое с(гаемое это сх)дящаяся неубывающая последовательность

{

∑

∑σ²

σ^2j = σ² < ∞

. Поэтому при каждом m ∈ Z⁺ \ 0 опреде-

j=0

j=1

N≥0

лены множества

{

}

A^1m ≜ j ∈ Z⁺ :σj

-c^2j ≥0

= ∅,

{

}

A^2m ≜ j ∈ Z⁺ :σj

-c^2j ≤0

= ∅.

Следовательно, если N ∈ A^1m (N ∈ A^2m), то в силу следствия 2 имеем нера-

венство

V_m(N + 1) ≥ V_m(N),

(V_m(N - 1) ≥ V_m(N)).

Очевидно, что A^1m ∩ A^2m = ∅. Поэтому существует такое N⁰(m) ∈ Z⁺, что

A^1m ∩ A^2m = {N⁰(m)}. Отсюда следует (31). Доказательство закончено.

П.2.4. Доказательство утверждения теоремы 6. Из доказательства тео-

ремы 3 следует, что для любых m ∈ Z⁺ \ 0 и N ∈ Z⁺ СКО оценки

f^0m,N(x) ∈

∈ M_2,m(P) имеет вид (П.2.3). Из утверждения теоремы 5 следует, что су-

ществует функция N⁰ : (Z⁺ \ 0) → Z⁺ обозначаемая N⁰(m) такая, что для

каждого m ∈ Z⁺ \ 0 и любого N ∈ Z⁺ имеет место неравенство

V_m(N) ≥ V_m(N⁰(m)).

Обозначим

{ 1, N ≥ N⁰(m)

(П.2.4)

1{N≥N0(m)^}≜

0, N < N⁰(m).

143

Из доказательства теоремы 5 также следует, что N ≥ N⁰(m) тогда и толь-

∑

σ²

∑

ко тогда, когда

≥

c^2j. Поэтому имеем

j=0

j=N+1

}= 1^{

^}.

N≥N⁰(m)

∑σ2j

∑

≥

c²

j=0

j=N+1

Обозначим





∑

σ²

∑

(П.2.5)

ℓ_m(N) ≜

c²

1{

^}.

∑

σ2

∑

N ∈Z⁺ :

≥

c²

j=0

j=N+1

j=0

j=N+1

Очевидно, что для каждого m ∈ Z⁺ \ 0 и любого N ∈ Z⁺

(П.2.6)

ℓ_m

(N) ≥ 0.

Из (П.2.5) и (П.2.6) следует, что ℓ_m(N) допускает представление





∑

σ²

∑

(П.2.7)

ℓ_m(N) = max

c^2j,0 .

j=0

j=N+1

Из графиков функций V_m(N) и ℓ_m(N) для каждого m ∈ Z⁺ \ 0 и любого

N ∈ Z⁺ следуют:

(i) неравенство

(П.2.8)

V_m(N) ≥ ℓ_m

(N),

(ii)

(П.2.9)

N⁰(m) = argmin V_m(N) = argmin ℓ_m

(N).

N ∈Z⁺

Из (П.2.7) и (П.2.9) следует утверждение теоремы 6. Доказательство за-

кончено.

П.2.5. Доказательство утверждения теоремы 7. Сначала заметим, что

из теоремы 4, следствия 2 и (41) следует, что V_m(N⁰(m)) допускает представ-

ление



∑

N⁰(m)∑

σ^2j



(П.2.10)

V_m(N⁰(m)) = V_m(N)



c^2j +

N=N⁰(m)

j=N⁰(m)+1

j=0

Из (П.2.10) следует неравенство

N⁰(m)∑

σ^2j

(П.2.11)

V_m(N⁰(m)) ≥

j=0

которое дает оценку снизу величины V_m(N⁰(m)).

144

Из утверждения теоремы 6 следует, что для любого m ∈ Z⁺ \0 имеет место

неравенство

N⁰(m)∑

σ²

∑

(П.2.12)

≥

c^2j.

j=0

j=N⁰(m)+1

Поэтому из (П.2.10) и (П.2.12) следует неравенство

N⁰(m)∑

σ^2j

(П.2.13)

V_m(N⁰(m)) ≤ 2

j=0

Из (П.2.11) и (П.2.13) следует утверждение теоремы 7,

N⁰(m)∑

σ^2j

V_m(N⁰(m)) ≍

j=0

Доказательство закончено.

П.2.6. Утверждение следствия 3 очевидным образом следует из условий i)

и ii) следствия и доказательства теоремы 7.

П.2.7. Доказательство утверждений теоремы 9.

1) Из (40) следует, что

[

]₂

N⁰(m)∑

∑

N⁰(m)∑

∑

f^0m(x) =

c_jϕ_j(x) +

n^jkϕ_j(x)

= f_N0(m)(x) +

n^jkϕ_j(x).

j=0

k=1

j=0

k=1

Возьмем математическое ожидание относительно левой и правой частей по-

следнего равенства, имеем

N⁰(m)∑

∑

(П.2.14)

f^0m(x) = f_N0_(m)(x) + E

n^jkϕ_j(x) = f_N0_(m)

(x) = f(x).

j=0

k=1

Отсюда следует смещенность оценки (40).

2) Для доказательства второго утверждения теоремы надо установить

неравенство (44). В силу теоремы 4, для любого N ≥ N⁰(m) имеем неравен-

ство

V_m(N⁰(m)) ≤ V_m(N).

Переходя к пределу при N → ∞ в последнем неравенстве имеем

V_m(N⁰(m)) ≤ lim

V_m(N) = V_m(∞).

N→∞

145

3) Теперь установим третье утверждение теоремы 9. Для этого рассмот-

рим (40). Переходя к пределу в нем, когда m → ∞, имеем для почти всех

x∈K

lim

f^0m(x) = lim

f_N0(m)(x).

m→∞

В силу пункта ii) следствия 3 N⁰(m) ----→ ∞. Поэтому

m→∞

lim

f_N0(m)(x) = f(x).

m→∞

Стало быть, оценка (40) асимптотически несмещенная.

4) Докажем теперь свойство состоятельности оценки (40). В силу неравен-

ства Чебышёва имеем для любых m ∈ Z⁺ \ 0 и ε > 0

)

(



(П.2.15)

f^0m(x) - f(x)2 ≥ ε ≤

f^0m(x) - f(x)2.

Рассмотрим правую часть неравенства (43). Из (40) следует, что

∑

N⁰(m)∑

∑

f^0m(x) - f(x) = -

c_jϕ_j(x) +

n^jkϕ_j(x).

j=N⁰(m)+1

j=0

k=1



Поэтому E

f^0m(x) - f(x)2 допускает представление



f^0m(x) - f(x)2 =



∑

N⁰(m)∑

∑



=E-

c_jϕ_j(x) +

n^jkϕ_j(x)



(П.2.16)



 j=N0(m)+1

j=0

k=1



∑



N⁰(m)∑



c_jϕ_j(x)

σ^2jϕ^2j(x).



j=N0(m)+1

j=0



∑



Из следствия 3 и условий теоремы следует, что ряды



c_jϕ_j(x),



j=N0(m)+1

∑

σ^2jϕ^2j(x) для почти всех x ∈ K сходятся, поэтому имеем

j=0



∑



c_jϕ_j(x)

----→ 0,



m→∞



j=N0(m)+1

N⁰(m)∑

σ^2jϕ^2j(x)

-−--→ 0.

m→∞

j=0

146

Отсюда следует, что для любого ε > 0 имеет место равенство

)

(



lim

f^0m(x) - f(x)2 ≥ ε = 0.

m→∞

Теорема доказана полностью.

П.2.8. Доказательство утверждения теоремы 10. Из доказательства

теоремы 7 следует, что СКО ПОЧ удовлетворяет неравенствам

N⁰(m)∑

σ²

N⁰(m)∑

σ^2j

≥ V_m(N⁰(m)) ≥

j=0

Заметим, что из теоремы 4, следствия 2, теорем 5, 6 имеем неравенство

∫

[

]₂

(П.2.17)

V_m(N⁰(m)) = inf

inf

f (x) - f_N,m(x)

dx =

N ∈Z⁺ fm,N (x)∈M2,m(P)

N⁰(m)∑

σ²

∑

N⁰(m)∑

σ²

∑

σ^2j

2σ²

c^2j ≤ 2

≤2

j=0

j=N⁰(m)+1

j=0

Поскольку правая часть неравенства (П.2.17) не зависит от f(x) ∈

∈ L₂(K,Λ), то из него следует утверждение теоремы.

СПИСОК ЛИТЕРАТУРЫ

1. Боровков А.А. Математическая статистика. Новосибирск: Наука, 1997.

2. Ивченко Г.И., Медведев Ю.И. Введение в математическую статистику. М.: ЛКИ,

2010.

3. Parzen E. On Estimation of a Probability Density Function and Mode // Ann. Math.

Statist. 1962. V. 33. No. 3. P. 1065-1076. https://doi.org/10.1214/aoms/1177704472

4. Rosenblatt M. Curve Estimates // Ann. Math. Statist. 1971. V. 42. No. 6. P. 1815-

1842. https://doi.org/10.1214/aoms/1177693050

5. Murthy V.K. Nonparametric estimation of multivariate densities with applications //

Multivariate Analysis. 1966. P. 43-56.

6. Стратонович Р.Л. Эффективность методов математической статистики в зада-

чах синтеза алгоритмов восстановления неизвестной функции // Изв. АН СССР.

Техн. кибернетика. 1969. № 1. С. 32-46.

7. Watson G.S. Density Estimation by Orthogonal Series // Ann. Math. Statist. 1969.

V. 40. No. 4. P. 1496-1498. https://doi.org/10.1214/aoms/1177697523

8. Конаков В.Д. Непараметрическая оценка плотности распределения вероятно-

стей // Теория вероятн. и ее примен. 1972. Т. 17, № 2. С. 377-379.

Konakov V.D. Non-Parametric Estimation of Density Functions // Theory of Pro-

bability & Its Applications. 1973. V. 17 (2). Р. 361-362.

https://doi.org/10.1137/1117042

147

Ченцов Н.Н. Статистические решающие правила и оптимальные выводы.

М.: Наука. Гл. ред. физ.-мат. лит., 1972.

10.

Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука.

Гл. ред. физ.-мат. лит., 1979.

11.

Ибрагимов И.А., Хасьминский Р.З. Ассимптотическая теория оценивания.

М.: Наука, 1979.

12.

Надарая Э.А. Непараметрическое оценивание плотностей вероятностей и кривой

регрессии. Тбилиси: Изд-во Тбилис. ун-та, 1983.

13.

Немировский А.С., Поляк Б.Т., Цыбаков А.Б. Обработка сигналов непарамет-

рическим методом максимума правдоподобия // Пробл. передачи информ. 1984.

Т. 20. № 3. С. 29-46.

Nemirovskij A.S., Polyak B.T., Tsybakov A.B. Signal processing by the nonpara-

metric maximum-likelihood method // Problems of Information Transmission. 1984.

V. 20 (3). P. 177-192.

14.

Дарховский Б.С. О стохастической задаче восстановления // Теория вероятн. и

ее примен. 1998. Т. 43. № 2. С. 357-364.

Darkhovskii B.S. On a Stochastic Renewal Problem // Theory of Probability & Its

Applications. 1999. V. 43 (2). P. 282-288.

https://doi.org/10.1137/S0040585X9797688X

15.

Дарховский Б.С. Стохастическая задача восстановления функционалов //

Пробл. передачи информ. 2008. Т. 44. № 4. С. 20-32.

Darkhovsky B.S. Stochastic recovery problem // Problems of Information Transmis-

sion. 2008. V. 44 (4). P. 303-314. https://doi.org/10.1134/S0032946008040030

16.

Ибрагимов И.А. Об оценке многомерной регрессии // Теория вероятн. и ее при-

мен. 2003. Т. 48. № 2. С. 301-320.

Ibragimov I.A. Estimation of multivariate regression // Theory of Probability & Its

Applications. 2004. V. 48 (2). Р. 256-272.

https://doi.org/10.1137/S0040585X9780385

17.

Tsybakov A.B. Introduction to Nonparametric Estimation. N.Y.: Springer, 2009.

18.

Булгаков С.А., Хаметов В.М. Восстановление квадратично интегрируемой

функции по наблюдениям с гауссовскими ошибками // УБС. 2015. Т. 54.

С. 45-65.

19.

Levit B. On Optimal Cardinal Interpolation // Mathematical Methods of Statistics.

2018. V. 27. No. 4. P. 245-267. https://doi.org/10.3103/S1066530718040014

20.

Юдицкий А.Б., Немировский А.С. Восстановление сигналов с помощью стоха-

стической оптимизации // АиТ. 2019. № 10. С. 153-172.

Juditsky A.B., Nemirovski A.S. Signal recovery by stochastic optimization // Autom.

Remote Control. 2019. V. 80 (10). P. 1878-1893.

https://doi.org/10.1134/S0005231019100088

21.

Голубев Г.К. Об адаптивном оценивании линейных функционалов по наблюде-

ниям в белом шуме // Пробл. передачи информ. 2020. Т. 56. № 2. С. 95-111.

Golubev G.K. On adaptive estimation of linear functionals from observations against

white noise // Problems of Information Transmission. 2020. V. 56 (2). Р. 185-200.

https://doi.org/10.31857/S0555292320020047

148

22. Булгаков С.А., Горшкова В.М. , Хаметов В.М. Стохастическое восстановление

квадратично интегрируемых функций // Вестник Московского государственно-

го технического университета им. Н.Э. Баумана. Серия Естественные науки.

2020. № 6. С. 4-22. https://doi.org/10.18698/1812-3368-2020-6-4-22

23. Ширяев А.Н. Вероятность. М.: Наука, 1980.

24. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального

анализа. 4е, перераб. изд. М.: Наука. Гл. ред. физ.-мат. лит., 1976.

25. Кашин Б.С., Саакян А.А. Ортогональные ряды. М.: Наука. Гл. ред. физ.-мат.

лит., 1984.

26. Бертсекас Д., Шрив С. Стохастическое оптимальное управление: случай дис-

кретного времени. М.: Наука. Гл. ред. физ.-мат. лит., 1985.

Статья представлена к публикации членом редколлегии О.Н. Граничиным.

Поступила в редакцию 09.11.2020

После доработки 09.08.2022

Принята к публикации 29.09.2022

149