ПРОБЛЕМЫ ПЕРЕДАЧИ ИНФОРМАЦИИ

Том 56

2020

Вып. 2

УДК 621.391.1 : 519.2

Г.К. Голубев

ОБ АДАПТИВНОМ ОЦЕНИВАНИИ ЛИНЕЙНЫХ ФУНКЦИОНАЛОВ

ПО НАБЛЮДЕНИЯМ В БЕЛОМ ШУМЕ

Рассматривается задача оценивания линейного функционала от неизвестного

многомерного вектора по его наблюдениям в гауссовском белом шуме. В каче-

стве семейства оценок функционала используются оценки, порождаемые про-

екционными оценками неизвестного вектора, и основная задача состоит в том,

чтобы выбрать наилучшую оценку в этом семействе. Цель статьи объяснить

и обосновать математически простую статистическую идею, которая исполь-

зуется при адаптивном, т.е. основанном на наблюдениях, выборе наилучшей

оценки линейного функционала из заданного семейства оценок. Обсуждаются

также обобщения рассматриваемой статистической модели и предлагаемого ме-

тода оценивания, которые позволяют охватить широкий класс статистических

задач.

Ключевые слова: линейный функционал, белый гауссовский шум, винеровский

процесс, проекционная оценка, огибающая риска, адаптивная оценка, метод

Акаике, мягкое пороговое ограничение, метод главных компонент, спектраль-

ная регуляризация.

DOI: 10.31857/S0555292320020047

§ 1. Введение

В этой статье рассматривается задача оценивания линейного функционала

∑

L(θ) =

θ_k

k=1

от неизвестного вектора θ = (θ₁, θ₂, . . .)^⊤ по наблюдениям

Y_k = θ_k + σξ_k, k = 1, 2, . . .,

(1)

где ξ_k - случайные шумы, точнее, независимые стандартные гауссовские случай-

ные величины, а σ > 0 - уровень шума, который далее для простоты считается

известным. При этом естественно предполагается, что θ ∈ ℓ₂(Z⁺).

В качестве оценок L(θ) будут использоваться оценки

∑

^L(ω; Y ) =

Y_k, ω ∈ Z⁺,

(2)

k=1

где величина ω, называемая далее частотой среза, может выбираться на основе на-

блюдений Y = {Y₁, Y₂, . . .}. За идеей использовать это семейство оценок лежит эв-

ристическая гипотеза, что θ_k становятся малыми, начиная с некоторого k_◦, и они не

вносят ощутимый вклад в значение L(θ), но при этом значение k_◦ неизвестно.

Скажем сразу же несколько слов об используемых в статье обозначениях. В (2) и

всюду далее аргументы функций разделяются символом “;” на два класса. До этого

символа находятся фактические аргументы, т.е. те, которые меняются, а после него

аргументы, которые рассматриваются как “замороженные”, т.е. параметры.

Основная задача в этой статье - выбрать ω так, чтобы минимизировать ошибку

оценивания



_;

R(ω; θ) = EL(θ) -

^L(ω; Y )

здесь и далее E - усреднение по мере, порожденной наблюдениями (1) при фикси-

рованном θ.

Ответ на вопрос, почему рассматривается именно эта статистическая модель,

прост. Цель этой статьи - объяснить на элементарном уровне очень простую идею,

которая лежит в основе адаптивного выбора ω, сведя при этом к минимуму тех-

нические математические детали. Возможные обобщения рассматриваемой модели

обсуждаются в § 4.

Очевидно, что принципиальная проблема при выборе хорошей оценки из семей-

ства

^L(ω; Y ), ω ∈ Z⁺, заключается в том, что θ_k неизвестны. Ранние подходы к

ее решению (см., например, [1]) основывались на предположении, что эти величи-

ны принадлежат некоторому известному множеству Θ и частота среза выбирается

так, чтобы минимизировать sup R(ω; θ). Очевидно, что с практической точки зрения

θ∈Θ

такой метод является излишне пессимистичным, так как ориентируется на самые

“плохие” векторы в Θ. Кроме того, гипотеза о том, что множество Θ известно точно,

является мало правдоподобной с практической точки зрения. Однако с математи-

ческой точки зрения значение минимаксного подхода невозможно переоценить, по-

скольку только он позволяет определить достаточно узкий класс оценок, в котором

имеет смысл искать наилучшую. В качестве такого класса оценок можно использо-

вать, например, проекционные оценки из (2). Конечно, это справедливо отнюдь не

для всех множеств Θ, но их достаточно много, например, такими являются

{

}

∑

Θ = θ_k : a_k|θ_k| ≤ 1

(3)

k=1

где a_k - некоторая возрастающая по k последовательность.

Очевидно, что если у нас нет никакой априорной информации о векторе θ, един-

ственное, что остается, это выбирать оценку

^L(ω; Y ) или, что эквивалентно, ω на

основе наблюдений. Сама по себе эта идея в статистике, конечно, не нова, но ее

первая простая и эффективная реализация появилась относительно недавно в [2].

Причем она касалась не оценивания линейных функционалов, а восстановления все-

го вектора θ при квадратичном критерии качества. В данном случае речь идет о

проекционных оценках θ

θk(ω; Y ) = Yk1{k ≤ ω},

и задача состоит в том, чтобы выбрать ω на основе наблюдений так, чтобы средне-

квадратичный риск

∑

r(ω; θ) = E

[θ_k -θk(ω; Y )]²

k=1

был минимален. Ее решение основано на следующих простых соображениях:

• При фиксированной частоте среза ω

∑

r(ω; θ) =

θ2k + σ²ω,

k=ω+1

и если бы мы знали θ_k, то выбрали бы

{

}

∑

ω(θ) = arg min

θ2k + σ²ω

(4)

k=ω+1

• Очевидно, что

∑

θ2k = ∥θ∥² -

θ2k,

k=ω+1

k=1

и поэтому

}

∑

ω(θ) = arg min

- θ2k +σ²ω .

(5)

k=1

∑

• Для величины

θ2k можно использовать ее несмещенную оценку (Y2k - σ²).

k=1

Эти аргументы приводят к методу Акаике

}

∑

ω_A(Y ) = arg min

- Y 2k + 2σ²ω .

(6)

k=1

Несмотря на простоту этой мотивации, ее строгое математическое обоснование и

практически важные обобщения появились лишь спустя 20 лет в работе [3]. Общая

форма этого метода часто называется принципом несмещенного оценивания риска.

Ключевым элементом в методе Акаике и его понимании является эквивалент-

ность формул (4) и (5). Это свойство присуще исключительно задачам, в которых

риск оценивания измеряется аддитивными квадратичными потерями. Рассматрива-

емая в этой статье задача таковой, очевидно, не является, и поэтому для ее решения

нужны принципиально другие методы.

По-видимому, работа [4] была первой, в которой предлагался математически обос-

нованный подход к адаптивному выбору сглаживающих параметров (в нашем слу-

чае это частота среза ω) в задачах, в которых не применим принцип несмещенного

оценивания риска. Эта работа была безусловно революционной в математической

статистике. За ней, естественно, последовало много работ, в которых предложенный

метод применялся в различных статистических моделях, и ссылки на которые мы

приводить не будем ввиду их многочисленности. К сожалению, ни из оригиналь-

ной работы, ни из последующих совсем не просто извлечь простые для понимания

статистические аргументы, поясняющие, почему надо делать так, а не иначе. Оп-

тимальность предложенного метода доказывалась с помощью довольно непростых

вычислений, как правило, нагруженных многочисленными техническими условия-

ми и деталями. Поэтому совсем не удивительно, что позднее оказалось, что можно

адаптивно выбирать ω несколько проще [5, 6]. Но опять же, вычленить из этих ста-

тей простые для понимания аргументы, объясняющие статистическую суть мето-

да, довольно сложно, поскольку она скрывается в доказательствах, переполненных

важными, но по сути второстепенными математическими деталями.

Цель этой статьи - объяснить на элементарном уровне без несущественных ма-

тематических деталей несколько простых идей, которые позволяют адаптивно вы-

бирать частоту среза. Как мы увидим, эти идеи и их математическое обоснование

оказываются не сложнее тех, которые лежат в методе несмещенного оценивания

риска.

§ 2. Основные результаты

Заметим, что для риска R(ω; θ) справедлива следующая тривиальная граница

сверху:



∑



∑



R(ω; θ) ≤ E

θ_k

+σE

ξ_k



k=ω+1

k=1

Поэтому мы хотели бы выбрать ω с помощью наблюдений Y так, чтобы правая часть

в этом неравенстве была как можно меньше. При этом понятно, что желательно

решить две следующие задачи:

1. Поскольку случайные величины ξ_k ненаблюдаемы, а выбираемое ω от них зави-

сит, то нужно ограничить сверху E |W (ω)|, где

∑

W (ω) = ξ_k,

k=1

при любых ω, зависящих от ξ_k. (Для кумулятивной суммы мы использовали обо-

значение W (·), чтобы подчеркнуть, что это винеровский процесс.)

2. Так как θ_k неизвестны, то ясно, что необходимо оценить по наблюдениям абсо-

лютную величину смещения |B(ω; θ)|, где

∑

B(ω; θ) =

θ_k.

k=ω+1

Хотя на первый взгляд эти две задачи кажутся разными, в действительности

для их решения используется одна и та же идея. Она состоит в замене случайных

процессов некоторыми детерминированными функциями, которые их ограничивают

либо сверху, либо снизу.

Проще всего пояснить этот подход на примере вычисления верхней границы для

E |W (ω)|.

Чтобы максимально упростить технические детали, будем далее считать, что ω

лежит на геометрической решетке

Ω_h = {1, ω₂, ω₃, . . .},

где

{

}

ωk+1 = min

k ∈ Z⁺ : k ≥ (1 + h)ω_k

а величина h > 0 является фиксированной.

Отметим, что в принципе, вместо геометрической решетки можно использовать

множество положительных целых чисел. Для этого нужно немного модифициро-

вать леммы 1 и 3, в доказательстве которых эта решетка реально применяется. Сде-

лать это несложно, если воспользоваться стандартным методом, который применя-

ется при доказательстве закона повторного логарифма для винеровского процесса.

С другой стороны, геометрическая решетка может быть реально полезной, посколь-

ку она позволяет существенно снизить вычислительную сложность предлагаемого

далее метода.

Предположим, что найдена некоторая детерминированная функция V_h(ω) > 0,

такая что

[

]

E sup

|W (ω)| - V_h(ω)₊ ≤ K_h,

(7)

x∈Ω_h

где K_h - некоторая постоянная. Тогда очевидно, что для любой частоты среза ω,

зависящей от ξ_k, k = 1, . . ., выполнено неравенство

E |W (ω)| ≤ E V_h(ω) + K_h.

При этом ясно также, что чем меньше будет функция V_h(·), тем лучше будет эта

граница.

Хотя на первый взгляд кажется, что задача вычисления минимальной функ-

ции V_h(·), удовлетворяющей (7) при заданной постоянной K_h, является простой, ее

точное решение, по-видимому, не известно. Близкую к минимальной функции дает

следующая лемма. В ней и далее для краткости будем обозначать

log[1 + log(x)] = log^∗(x).

Лемма 1. Если

√

V_h(t) =

tv_h(t),

(8)

где

2 log^∗(t + 1)

v_h(t) = log(t + 1) +

log(1 + 1/h)

то неравенство (7) выполняется с

(

1⁾

K_h =

log 1+

(9)

а K - универсальная постоянная.

Доказательство этой леммы и нижеследующих лемм 2, 3 приведены в § 5.

Таким образом, мы приходим к следующей верхней границе для риска:



[

]

R(ω; θ) = EL(θ) - L(ω; Y )≤E

|B(ω; θ)| + σV_h(ω)

+ σK_h.

(10)

В данной статье мы будем использовать правую часть этого неравенства для

выбора частоты среза, т.е. пытаться приблизиться к выбору, который сделал бы

оракул, знающий все θ_k, а именно

{

}

ω_◦(θ) = argmin

|B(ω; θ)| + σV_h(ω)

(11)

ω∈Ω_h

Тогда ясно, что нам потребуется оценка для абсолютной величины смещения

|B(ω; θ)|, построенная на основе наблюдений Y . Если такая оценка

B(ω; Y ) найдена,

то заменив в (11) неизвестное смещение на его оценку, придем к следующему методу

выбора частоты среза:

}

ω(Y ) = arg min

B(ω; Y ) + σV_h(ω)

ω∈Ω_h

Задача оценивания |B(ω; θ)| является ключевой в данной статье. Ее сложность

связана прежде всего с тем, что построить хорошую оценку для этой величины

невозможно. Достаточно надежно можно оценивать только лишь модули конечных

сумм



∑



θ_k

= |L(w^′; θ) - L(w; θ)|,



k=w

√

да и то лишь в случае, когда они существенно превосходят уровень шума σ

w^′ - w.

Чтобы пояснить, как можно трансформировать этот простой факт в оценку для

|B(ω; θ)|, рассмотрим следующую вспомогательную прокси-задачу. Предположим,

что мы хотим минимизировать по ω функцию

r(ω) = |b(ω)| + p(ω),

где p(ω) ≥ 0 - известная неубывающая функция. При этом функцию b(ω) мы не

знаем полностью, а знаем только лишь величины

{

}

Δ(ω, ω^′) = |b(ω) - b(ω^′)|1

|b(ω) - b(ω^′)| ≥ u(ω^′ - ω)

;

(12)

здесь u(ω) ≥ 0 - известная неубывающая функция. Ясно, что без ограничения общ-

ности можно считать, что u(0) = 0. Чтобы избежать излишних математических

формальностей, будем считать для простоты, что ω принадлежит некоторому ко-

нечному множеству.

Обозначим через W^N (ω, ω^′) подмножество векторов w = (w₁, w₂, . . . , w_N )^⊤ ∈ Ω^Nh ,

у которых первый и последний элементы фиксированы и равны, соответственно,

ω и ω^′, а остальные упорядочены:

ω=w₁ ≤w₂ ≤...≤w_N =ω^′.

Подмножество W^N (ω) определяется аналогично, за исключением того, что послед-

ний элемент в нем не фиксирован.

Кроме того, нам потребуется любая монотонная огибающая функции |b(ω)|, т.е.

невозрастающая функция

^b(ω), такая что

^b(ω) ≥ |b(ω)|.

Оценим сверху |b(ω)| с помощью следующего тривиального неравенства:

∑

|b(ω)| ≤

|b(wk+1) - b(w_k)| + |b(ω^′ + 1)|,

k=1

которое справедливо для любого вектора w ∈ W^N (ω, ω^′). Поэтому ясно, что

∑

|b(ω)| ≤

min

|b(wk+1) - b(w_k)| +^b(ω^′ + 1),

(13)

w∈W^N(ω,ω^′)

k=1

и наш следующий шаг - ограничить сверху правую часть этого неравенства с помо-

щью функций Δ(· , ·) из (12).

Обозначим [x]₊ = max{0, x}, и воспользовавшись элементарным неравенством

min[f(x) + g(x)] ≤ max

f (x) + min g(x),

100

продолжим (13) следующим образом:

{

∑[

]

|b(ω)| ≤

min

|b(wk+1) - b(w_k)| - u(wk+1 - w_k)₊ +

w∈W^N(ω,ω^′)

k=1

}

∑

+^b(ω^′ + 1) +

u(wk+1 - w_k)

≤

k=1

{

}

∑[

]

≤ max

|b(wk+1) - b(w_k)| - u(wk+1 - w_k)₊

w∈W^N(ω,ω^′)

k=1

{

}

∑

+ min

^b(ω^′ + 1) +

u(wk+1 - w_k)

≤

w∈W^N(ω,ω^′)

k=1

{

}

∑[

]

≤ max

max

|b(wk+1) - b(w_k)| - u(wk+1 - w_k)₊

ω^′≥ω

w∈W^N(ω,ω^′)

k=1

+ min

^{b(ω + ω^′) + u(ω^′)^}.

(14)

ω^′≥1

Заметим, что первое слагаемое в правой части этого неравенства можно выра-

зить через величины Δ(ωk+1, ω_k), а второе - нет. Поэтому единственное, что можно

сделать в такой ситуации, это минимизировать по ω функцию

max{bN (ω) + p(ω)},

ω^′>ω

где

∑[

]

= max

|b(wk+1) - b(w_k)| - u(wk+1 - w_k)₊

w∈W^N(ω)

k=1

Таким образом, приходим к следующему методу минимизации |b(ω)| + p(ω):

ω^∗ = argmin{bN (ω) + p(ω)}.

Для этого алгоритма в силу (14) справедливо

Предложение. Для ω^∗ справедливо неравенство

|b(ω^∗)| + p(ω^∗) ≤

{

}

N-1

≤ min max

|b(wk+1) - b(w_k)| + p(ω)

+ min{b(ω + 1) + u(ω)}.

ω w∈W^N(ω)

k=1

Доказательство. При ω = ω^∗ для первого слагаемого в правой части (14)

справедлива тривиальная граница сверху

∑[

]

max

|b(wk+1) - b(w_k)| - u(wk+1 - w_k)₊ ≤

w∈W^N(ω^∗)

k=1

∑[

≤ max

|b(wk+1) - b(w_k)|,

w∈W^N(ω^∗)

k=1

101

а последнее слагаемое в (14) в силу монотонности

^b(ω) оценивается сверху как

min{b(ω∗ + ω′) + u(ω′)} ≤ min{b(ω + 1) + u(ω)}.

▴

ω^′≥1

Чтобы использовать этот подход для минимизации |B(ω; θ)| + σV_h(ω) по наблю-

дениям Y , возьмем

b(ω) = B(ω; θ), p(ω) = σV_h(ω),

и пусть

^B(ω; θ) - любая невозрастающая огибающая |B(ω; θ)|.

Тогда в силу сказанного выше справедлива следующая граница сверху:

∑

[

]

|B(ω; θ)| ≤ max

ΔL(w_s; θ); u(Δw_s)

+ min{ B(ω; θ) + u(ω)};

(15)

w∈W^N(ω)

s=1

здесь

• ΔL(w_s; θ) = L(ws+1; θ) - L(w_s; θ),

• Δw_s = ws+1 - w_s,

• u(x): Z⁺ → R⁺ - любая неубывающая функция, такая что u(0) = 0.

Функцию

ϕ(x, t) = [|x| - t]₊, x ∈ R,

часто называют мягким пороговым ограничением (soft thresholding), а параметр

t > 0 - порогом. В статистике она обычно возникает и используется при оценивании

разреженных векторов. Эта функция обладает простыми, но полезными свойствами.

Например,

min ϕ(x + ξ; t) = ϕ(x; 2t),

|ξ|≤t

max ϕ(x + ξ; t) = ϕ(x; 0) = |x|.

|ξ|≤t

Далее потребуется несколько более общий факт, обобщающий эти тождества,

а именно следующая

Лемма 2. Справедливы неравенства

ϕ(x; 2t) - ϕ(ξ; t) ≤ ϕ(x + ξ; t) ≤ ϕ(x; 0) + ϕ(ξ; t).

Из вероятностных свойств мягкого порогового ограничения будет нужен только

один простой результат.

Лемма 3. Пусть W(·) - стандартный винеровский процесс. Тогда

[

]

E sup

W (ω₂) - W (ω₁); V_h(ω₂ - ω₁)

≤CK2h,

ω2,ω1∈Ωh

ω2≥ω1

где величина K_h определена в (9), а C - некоторая константа.

Основная идея в этой статье - использовать первое слагаемое в правой части

неравенства (15) для выбора частоты среза на основе наблюдений. Взяв u(ω) =

= σV_h(ω) и заменив величины ΔL(w_s; θ) их несмещенными оценками

Δ^L(w_s; θ) =

^L(ws+1; Y ) -

^L(w_s; Y ) = ΔL[w_s; θ] + σ[W (ws+1) - W (w_s)],

102

придем к

{

}

N-1

[

]

ω^N (Y ) = argmin max

Δ^L(w_s; Y ); σV_h(Δw_s)

+ σV_h(ω)

(16)

ω∈Ω_h w∈W^N(ω)

s=1

Оценка линейного функционала L(θ) вычисляется, естественно, как

L^N (Y ) =

^L[ω^N (Y ); Y ].

(17)

Задача контроля риска этого метода имеет довольно простое решение. Дело

в том, что с помощью лемм 2 и 3 она сводится к детерминированному случаю.

Точнее, из этих результатов сразу же вытекают следующие неравенства:

{

}

N-1

[

]

E max

Δ^L(w_s; θ); σV_h(Δw_s)

+ σV_h(ω^N )

≥

w∈W^N(ω^N)

s=1

{

}

N-1

[

]

≥ E max

ΔL(w_s; θ); 2σV_h(Δw_s)

+ σV_h(ω^N )

- C(N - 1)σK2h

w∈W^N(ω^N)

s=1

и в силу (16) для любого ω ∈ Ω_h

{

}

N-1

[

]

E max

Δ^L(w_s; θ); σV_h(Δw_s)

+ σV_h(ω^N )

≤

w∈W^N(ω^N)

s=1

∑



≤ max

^ΔL(w_s; θ)+ σVh(ω) + C(N - 1)σK2h.

w∈W^N(ω)

s=1

Поэтому очевидно, что для любого ω ∈ Ω_h

{

}

N-1

[

]

E max

ΔL(w_s; θ); 2σV_h(Δw_s)

+ σV_h(ω^N )

≤

w∈W^N(ω^N)

s=1

∑



≤ max

^ΔL(w_s; θ)+ σVh(ω) + CNσK2h.

w∈W^N(ω)

s=1

Отсюда и из (10) и (15) c u(ω) = 2σV_h(ω) получаем



≤

EL(θ) -

L^N (Y )

{

}

N-1

[

]

≤ E max

ΔL(w_s; θ); 2σV_h(Δw_s)

+ σV_h(ω^N )

w∈W^N(ω^N)

s=1

+ min

^{ B(ω; θ) + 2σV_h(ω)^} + σK_h ≤

ω∈Ω_h

{

}

∑



≤ min

max

^ΔL(w_s; θ)+ σVh(ω)

ω∈Ω_h

w∈W^N(ω)

s=1

+ min

^{ B(ω; θ) + 2σV_h(ω)^} + CNσK2h.

(18)

ω∈Ω_h

103

Более компактная, но несколько более грубая версия этого неравенства представ-

лена в следующей теореме. Определим огибающую

B^N(ω; θ) следующим образом:

{

}

∑



= max

max

^ΔL(w_s; θ)

+ |B(w^′′; θ)|

ω^′′>ω^′>ω w∈W^N (ω^′,ω^′′)

s=1

Теорема 1. Для риска оценки

L^N (Y ), определенной в (16), (17), справедливо

неравенство



EL(θ) -

L^N (Y )≤ 3 min

^{ BN(ω; θ) + σV_h(ω)^} + CNσK2h.

(19)

ω∈Ω_h

Доказательство вытекает практически непосредственно из (18). ▴

Замечание 1. По-видимому, константу 3 в (19) можно уменьшить (сделать близ-

кой к 1), но для этого потребуются более сложные вероятностные методы, чем ис-

пользуемые в этой статье.

Замечание 2. Если формально интерпретировать неравенство (19), то оно кажет-

ся в некоторой степени абсурдным, потому что чем больше N, тем хуже граница

сверху, и самая лучшая граница получается при N = 2. На самом деле ситуация

не столь очевидна. Дело в том, что эта граница является заведомо завышенной,

и если бы мы попытались ее улучшить (уменьшить постоянную 3 в (19)), то уви-

дели бы “правильную” зависимость от N. Результаты моделирования в следующем

параграфе подтверждают эту гипотезу.

Замечание 3. Для огибающей

B^N(ω; θ) справедлива простая граница сверху

∑

B^N(ω; θ) ≤

|θ_k|.

k=ω+1

Ее достаточно для доказательства многих классических минимаксных теорем, на-

пример, для множеств Θ, определенных в (3). Но если рассматривать байесовскую

постановку задачи, т.е. считать θ_k случайными величинами с нулевым средним, то

она может привести к плохой верхней границе для риска.

§ 3. Моделирование

Практическое сравнение непараметрических методов оценивания является без-

условно сложной задачей, не имеющей однозначно хорошего решения. Ее трудность

связана прежде всего с тем, что рассматриваемая статистическая модель описыва-

ется многомерным параметром.

Грубо говоря, подход, который наиболее часто встречается в литературе по мате-

матической статистике, состоит в том, что выбирается от двух до двенадцати много-

мерных параметров θ, и для них методом Монте-Карло (как правило, с небольшим

объемом выборки) вычисляются риски сравниваемых методов оценок. При таком

подходе очевидно, что сказать что-либо определенное о том, как поведут себя срав-

ниваемые методы при других параметрах, довольно затруднительно.

Чтобы охватить как можно более широкий класс неизвестных параметров, в этой

статье для сравнения оценок будем использовать байесовский подход. Как хорошо

известно, только он позволяет сравнивать статистические методы математически.

Наряду с этим неоспоримым преимуществом существенный недостаток байесовского

подхода заключается в том, что он зависит от априорного распределения многомер-

ного параметра. Поскольку очевидно, что никаких сколько-нибудь существенных

104

Гауссовское распределение θ_k

Равномерное распределение θ_k

1,3

1,4

ω²

ГЛ

1,3

ГЛ

1,2

Акаике

оракул

1,2

оракул

1,1

0,9

0,8

0,7

0,6

0,5

100

150

200

250

300

100

150

200

250

300

Рис. 1. Нормированные риски адаптивных частот среза при β = 2. Левый график -

гауссовское распределение θ_k, правый - равномерное

аргументов в пользу выбора того или иного априорного распределения не суще-

ствует, мы будем рассматривать классы априорных распределений.

Конкретно, в этой статье для сравнения статистических методов используется

следующая стохастическая модель для θ_k: эти величины предполагаются независи-

мыми и представимыми в виде

θ_k =

ζ_k,

k^β

где ζ_k - случайные величины, имеющие либо стандартное гауссовское, либо равно-

мерное распределение. Параметр β характеризует скорость убывания θ_k, а A - их

амплитуду. Таким образом, мы описываем бесконечномерный параметр θ с помощью

пары положительных чисел A ≥ 0 и β > 1. Для простоты будем считать, что σ = 1,

но при этом изменять величину A, которая в этом случае играет роль отношения

сигнал/шум, будем в достаточно широком диапазоне.

Далее сравним с помощью байесовского подхода три следующих метода адаптив-

ного, т.е. основанного на наблюдениях, выбора частоты среза:

1. Метод Акаике ω_A(Y ) из (6).

2. Метод, предложенный Гольденшлюгером и Лепским (ГЛ) в [5].

3. Оценки

L²(Y ) и

L³(Y ) из (16), (17).

То, что метод Акаике можно применять не только для оценивания векторов, но

также и линейных функционалов, было показано в [7]. При этом принципиально

важно, чтобы θ_k были случайными величинами с нулевым средним.

В методе ГЛ частота среза вычисляется как

{

}

[

]

ω_GL(Y ) = arg min

max

|L(w^′; Y ) - L(w; Y )| - σV_h(w^′)₊ + σV_h(w)

w^′>w

Отметим, что мы немного упростили и оптимизировали оригинальный метод из [5].

При этом была использована работа [8].

На рис. 1 показаны нормированные риски трех описанных выше методов выбора

частоты среза, а именно ω_A(Y ), ω_GL(Y ) и ω²(Y ) как функции от амплитуды A при

β = 2. В качестве нормировки был использован риск частоты среза ω_◦(θ) из (11),

выбираемой оракулом. Другими словами, для каждого из описанных выше методов

105

Гауссовское распределение θ_k

Равномерное распределение θ_k

1,3

2,2

ω²

ГЛ

1,2

Акаике

оракул

1,8

1,1

1,6

1,4

1,2

0,9

0,8

0,7

0,6

100

150

200

250

300

100

150

200

250

300

Рис. 2. Нормированные риски адаптивных частот среза при β = 1,1. Левый график -

гауссовское распределение θ_k, правый - равномерное

на этом рисунке показаны графики функций



EL(θ)- L[ω(Y ); Y ]

ρ(A) =



;

EL(θ) -

^L[ω_◦(θ); Y ]

здесь математическое ожидание вычисляется по совместному распределению слу-

чайных величин Y_k, θ_k, k = 1, 2, . . . , с помощью метода Монте-Карло с объемом

выборки 3 · 10⁴. Из этого рисунка, в частности, видно, что все три метода практи-

чески эквивалентны. Они в некотором смысле являются суперэффективными, так

как выбирают частоту среза лучше, чем это делает оракул. К сожалению, этот эф-

фект невозможно объяснить на основе результатов статьи. Он связан с тем, что θ_k

случайны.

На рис. 2 показаны те же самые нормированные риски, но при β = 1,1. Мы

видим, что при гауссовских θ_k метод Акаике является лучшим, что в силу результа-

тов [7] неудивительно. В случае же равномерного распределения его оптимальность

естественно теряется, так как в этом случае θ_k уже не имеют нулевого среднего.

Завершим этот параграф кратким сравнением оценок

L²(Y ) и L³(Y ). Из правого

графика на рис. 2 видно, что оценка

L²(Y ) проигрывает методу Акаике при гаус-

совских ζ_k и β = 1,1. Естественный вопрос - что будет происходить, если вместо

этой оценки использовать

L³(Y )? Как видно из левого графика на рис. 3, оценка

L³(Y ) оказывается лучше, чем

L²(Y ). При этом надо отметить, что, во-первых, ре-

альное улучшение не очень велико, а во-вторых, вычислительная сложность

L³(Y )

существенно выше. Поэтому оценки

L^N(Y ) при N > 3 представляют скорее тео-

ретический интерес. Для большинства практических задач

L²(Y ) и

L³(Y ) являют-

ся разумными компромиссами между статистическим качеством и вычислительной

сложностью.

§ 4. Некоторые возможные обобщения

В этом параграфе кратко обсудим некоторые практически очевидные обобщения

рассмотренной задачи, которые не влекут кардинального изменения предлагаемого

метода оценивания.

1. Статистическая модель. Сама по себе статистическая модель (1) практически

никогда не возникает в реальных статистических задачах. По существу, она пред-

106

Гауссовское распределение θ_k

Равномерное распределение θ_k

1,3

2,2

ω²

ω³

1,2

Акаике

оракул

1,8

1,1

1,6

1,4

1,2

0,9

0,8

0,7

0,6

100

150

200

250

300

100

150

200

250

300

Рис. 3. Сравнение рисков оценок

L²(Y ), L³(Y ) и метода Акаике при β = 1,1. Левый

график - гауссовское распределение θ_k, правый - равномерное

ставляет собой так называемое спектральное представление линейных моделей боль-

шой размерности, имеющих очень широкие практические применения. Речь идет о

моделях, в которых наблюдаемые данные Z ∈ Rⁿ описываются следующей вероят-

ностной моделью:

Z =Xβ+σξ,

(20)

где X - известная (n×m)-матрица, β ∈ R^m - неизвестный вектор, а ξ - стандартный

дискретный белый гауссовский шум. При этом размерности n и m, как правило,

велики и таковы, что n ≥ m. В частности, они могут быть равны ∞.

Эта модель приводится к (1) с помощью метода главных компонент. А именно,

пусть e_k ∈ R^m и λ_k ∈ R⁺ - соответственно, собственные векторы и собственные

числа матрицы X^⊤X:

X^⊤Xe_k = λ_ke_k, k = 1, . . ., m.

Для определенности будем считать, что

λ₁ ≥ λ₂ ≥ . . . ≥ λ_m.

Тогда

∑

X^⊤X = λ_ke_ke^⊤k

k=1

∑

X^⊤Z = λ_ke_k〈e_k, β〉 + σξ;

k=1

здесь 〈· , ·〉 - скалярное произведение в R^m.

Поэтому для Y_k = 〈e_k, X^⊤Z〉 получаем следующее представление:

Y_k = λ_k〈e_k, β〉 + σξ_k, k = 1, . . ., m,

и положив

θ_k = λ_k〈e_k, β〉,

(21)

107

приходим к (1).

2. Линейные функционалы. Прежде всего заметим, что в доказательстве тео-

ремы 1 практически ничего не изменится, если вместо линейного функционала

∑

L(θ) =

θ_k оценивать линейный функционал

k=1

∑

L(θ) =

l_kθ_k,

(22)

k=1

где l_k таковы, что для всех ω

∑

cω ≤ l2k ≤ Cω;

(23)

k=1

здесь и далее c, C - некоторые строго положительные постоянные. При этом надо,

естественно, сделать замену (см. (8))

( ∑t

)

V_h(t) → V_h

l²k

k=1

Для линейной модели (20) семейство линейных функционалов из (22), (23) до-

пускает следующее представление (см. (21)):

∑

L_X(β) = l_kλ_k〈e_k, β〉 =

l_k〈e_k, X^⊤Xβ〉 = 〈l, X^⊤Xβ〉,

k=1

где вектор l ∈ R⁺ таков, что

∑

cs ≤

〈l, e_k〉² ≤ Cs.

k=1

3. Семейства оценок. Чтобы использовать проекционные оценки для оценивания

линейных функционалов в модели (20), необходимо вычислять собственные векто-

ры большой матрицы X^⊤X. Эта и так достаточно непростая в вычислительном

отношении задача станет очень сложной, если матрица X^⊤X окажется плохо обу-

словленной.

Один из возможных подходов к решению этой проблемы состоит в замене проек-

ционных оценок на упорядоченные [3]. Это несколько более общий класс статисти-

ческих методов, и в нем уже содержатся оценки, которые по своим статистическим

свойствам так же хороши, как и проекционные, но не требуют применения метода

главных компонент.

Очень кратко, упорядоченная оценка вектора β имеет вид

β(α; Y ) = H(X^⊤X, α)(X^⊤X)-1+X^⊤Y ;

здесь

• (X^⊤X)-1+ - псевдообратная матрица к (X^⊤X);

• H(X^⊤X,α) - некоторая специальная матрица, которая зависит от сглаживаю-

щего параметра α ∈ R⁺ и допускает следующее представление:

∑

H_α(X^⊤X, α) = H(λ_k, α)e_ke^⊤k.

k=1

108

При этом функция H(· , α): R⁺ → [0, 1] такова, что при любых фиксированных

α₁, α₂ ∈ R⁺ и всех λ ∈ R⁺

либо H(λ, α₁) ≤ H(λ, α₂), либо H(λ, α₁) ≥ H(λ, α₂).

Кроме того, как правило,

lim H(λ, α) = 0, α > 0,

λ→0

lim H(λ, α) = 1, λ > 0.

α→0

Оценки

^β(α; Y ) порождают, естественно, следующее семейство оценок линейного

функционала L_X(β):

L_X(α; Y ) =

β(Y ; α), X^⊤Xl

α∈R⁺.

Метод выбора наилучшей оценки в этом семействе совершенно аналогичен рас-

смотренному ранее. Для его статистического анализа требуются некоторые допол-

нительные свойства упорядоченных оценок, которые можно найти, например, в [3]

или [9].

4. Функция потерь. В этой статье качество оценивания линейного функциона-

ла измерялось величиной E |L(Y ) - L(θ)|. Переход к другим потерям, например,

[

]1/p

E|L(Y ) - L(θ)|^p

, p ≥ 1, не влечет принципиальных и больших изменений.

Единственное, что меняется, - это функция V_h(t). Новая функция V_h,p(t) будет те-

перь определяться из условия (см. лемму 3)

{

[

E sup

W (ω₂) - W (ω₁); V_h,p(ω₂ - ω₁)]}p ≤ (CK2h)p.

ω2,ω1∈Ωh

ω2≥ω1

Ее вычисление очень просто, и мы его опустим.

§ 5. Доказательства

Доказательство леммы 1. Воспользуемся тривиальным неравенством

[

]

∑

[

]

E sup

|W (t)| - V_h(t)₊ ≤

t∈Ω

t∈Ω_h

∑

]

≤

√ω_k E^[|ξ| -^√vh(ωk)+;

(24)

k=1

здесь ξ - стандартная гауссовская случайная величина.

Далее применим известное неравенство

(

x² )

E[|ξ| - x]₊ ≤

√

exp -

x²

2π

которое нетрудно проверить с помощью интегрирования по частям.

109

t = 1, x = 3,5

t = 1, x = 0,5

F (ξ)

g(ξ)

G(ξ)

-2

-4

-2

-4

-6

-8

-6

-4

-2

-8

-6

-4

-2

Рис. 4. Графики функций F (ξ), g(ξ) и G(ξ) при t = 1, x = 3,5 и при t = 1, x = 0,5

Обозначив для краткости ε = 1/ log(1 + 1/h), с помощью этого неравенства про-

должим (24) следующим образом:

[

]

[

]

∑

√ω_k

v_h(ω_k)

E sup

|W (t)| - V_h(t)₊ ≤ K

exp -

≤

t∈Ω_h

v_h(ω_k)

k=1

∑

K log(1 + 1/h)

≤K

≤

▴

(25)

[log(ω_k)]1+ε

(hk)1+ε

ε(h)1+ε

k=1

Доказательство леммы 2. Рассмотрим следующие функции:

F (ξ) = ϕ(x + ξ; t),

g(ξ) = ϕ(x; 2t) - ϕ(ξ; t),

G(ξ) = ϕ(x; 0) + ϕ(ξ; t).

Проще всего проверить, что g(ξ) ≤ F(ξ) ≤ G(ξ), посмотрев на графики этих функ-

ций на рис. 4. ▴

Доказательство леммы 3 практически аналогично доказательству лем-

мы 1 и приводится здесь только для полноты изложения. Пусть, как и ранее, ε =

= log-1(1 + h-1). Тогда аналогично (25) получим

[

√

]

E sup supϕ

W (t) - W (ω);

(t - ω)v_h(t - ω)

≤

ω∈Ω_h t>ω

∑∑

]

[

√

≤E

W (ω_k) - W (ω_s);

(ω_k - ω_s)v_h(ω_k - ω_s)

s=1 k>s

[

]

∑

√ω_k - ω_s

v_h(ω_k - ω_s)

exp -

≤

v_h(ω_k - ω_s)

s=1 k=s+1

∑

≤C

≤

1+ε

[log(ω_k - ω_s)]

log1+ε[(1 + h)^k - (1 + h)^s)]

s=1 k=s+1

]₂

[_∞∑

≤C

≤

=CK2h.

▴

(hs)1+ε

ε²h2+2ε

s=1

110

В заключение автор хотел бы поблагодарить рецензента за сделанные замечания,

способствовавшие улучшению статьи.

СПИСОК ЛИТЕРАТУРЫ

1. Ибрагимов И.А., Хасьминский Р.З. О непараметрическом оценивании значения линей-

ного функционала в гауссовском белом шуме // Теория вероятн. и ее примен. 1984. Т. 29.

№ 1. С. 19-32.

2. Akaike H. Information Theory and an Extension of the Maximum Likelihood Principle //

Proc. 2nd Int. Symp. on Information Theory. Tsaghkadsor, Armenia, USSR. Sept. 2-8, 1971.

Budapest: Akad. Kiadó, 1973. P. 267-281.

3. Kneip A. Ordered Linear Smoothers // Ann. Statist. 1994. V. 22. № 2. P. 835-866.

4. Лепский О.В. Об одной задаче адаптивного оценивания в гауссовском белом шуме //

Теория вероятн. и ее примен. 1990. Т. 35. № 3. С. 459-470.

5. Goldenshluger A., Lepski O. Universal Pointwise Selection Rule in Multivariate Function

Estimation // Bernoulli. 2008. V. 14. № 4. P. 1150-1190.

6. Laurent B., Ludeña C., Prieur C. Adaptive Estimation of Linear Functionals by Model

Selection // Electron. J. Stat. 2008. V. 2. P. 993-1020.

7. Golubev Yu., Levit B. An Oracle Approach to Adaptive Estimation of Linear Functionals

in a Gaussian Model // Math. Methods Statist. 2004. V. 13. № 4. P. 392-408.

8. Lacour C., Massart P. Minimal Penalty for Goldenshluger-Lepski Method // Stochastic

Process. Appl. 2016. V. 126. № 12. P. 3774-3789.

9. Голубев Г.К. Концентрации рисков выпуклых комбинаций линейных оценок // Пробл.

передачи информ. 2016. Т. 52. № 4. С. 31-48.

Голубев Георгий Ксенофонтович

Поступила в редакцию

Институт проблем передачи информации

14.02.2020

им. А.А. Харкевича РАН

После доработки

golubev.yuri@gmail.com

25.02.2020

Принята к публикации

28.02.2020

111