Автоматика и телемеханика, № 9, 2019
© 2019 г. А.С. ПОЗНЯК, д-р техн. наук (apoznyak@ctrl.cinvestav.mx)
(CINVESTAV-IPN, Мехико, Мексика)
РОБАСТНАЯ ИДЕНТИФИКАЦИЯ
ПРИ КОРРЕЛИРОВАННЫХ И НЕГАУССОВЫХ ШУМАХ:
ПРОЦЕДУРА WMLLM1
Изложены основные идеи теории робастной идентификации, иниции-
рованной Я.З. Цыпкиным в 80-х гг. XX в. Показано, что параллельное
применение “процедуры отбеливания” и рекуррентной версии min-max
“метода максимального правдоподобия” (ММП) гарантирует свойство
асимптотической согласованности процедуры. Также получено информа-
ционное неравенство Рао-Крамера и показано, что комбинированная про-
цедура достигает информационной границы. Это означает, что для широ-
кого класса регулярных наблюдений моделей ARX (авторегрессия с внеш-
ним входом) не существует никакого другого алгоритма идентификации,
оценивающего неизвестные параметры асимптотически “быстрее”, чем об-
суждаемая здесь процедура, если распределение белого шума входа фор-
мирующего фильтра известно точно. Основная особенность этого метода
заключается в возможном учете внешнего негауссовского белого шума,
определенного (для данного класса допустимых распределений) на вхо-
де формирующего фильтра, создавая негауссовскую и коррелированную
шумовую последовательность, влияющую на вход ARX-модели. Форму-
лируется почти наверное сходимость и асимптотическая нормальность
ошибки оценки. Если информация на входе формирующего фильтра яв-
ляется неопределенной, т.е. когда распределение принадлежит данному
классу, то применяется подход Хубера с использованием робастной вер-
сии ММП.
Ключевые слова: робастная идентификация, процедура отбеливания, ре-
куррентный ММП, негауссовский белый шум, неравенство Рао-Крамера.
DOI: 10.1134/S0005231019090071
1. Введение
1.1. Основные подходы к описанию неопределенности
в робастной идентификации
Идентификация, ориентированная на управление, направлена на разра-
ботку некоторых числовых процедур, обеспечивающих оценку моделей, под-
ходящих для робастных методов синтеза управления [1, 2]. Такие процедуры
идентификации должны обеспечивать не только номинальную модель, но и
надежную оценку неопределенности, связанную с этой моделью. Различные
подходы для описания неопределенности имеются в публикациях (например,
[3-5]). Наиболее современные из них:
1 WMLLM — от англ. “Whitening plus Maximum LikeLihood Method”.
91
— Стохастическое вложение (СВ) [6, 7] — метод частотной области, кото-
рый предполагает, что немоделированная динамика может быть адекватно
представлена нестационарным случайным процессом, дисперсия которого
увеличивается с частотой. Номинальная модель обычно получается пу-
тем оценки метода наименьших квадратов из данных частотной области;
следовательно, необходимы гармонические входы. Неопределенность, свя-
занная с моделью, оценивается из статистических свойств процесса слу-
чайного блуждания, описывающего немоделированную динамику;
— Моделирование ошибки модели (МОМ) [8] использует стандартные мето-
ды ошибки прогнозирования для определения номинальной модели по
данным ввод-вывода во временной области [9]. Затем можно оценить
немоделированную динамику, посмотрев на ту часть идентификационных
невязок, которая исходит из входных данных. Идентификация динамики
невязки (которая может быть выполнена с использованием снова методов
ошибки прогнозирования) обеспечивает так называемую “модель ошиб-
ки модели”. Область доверия модели ошибки модели позволяет оценить
неопределенность, связанную с номинальной моделью, и может быть ис-
пользована в качестве инструмента проверки модели;
— Идентификация на множестве моделей (ИММ) (см. обзор [10]) предос-
тавляет эффективные алгоритмы для оценки набора выполнимых мо-
делей, совместимых с имеющимися данными и равномерно граничен-
ных (РО) ошибок допущения. Выбор номинальной модели обычно выпол-
няется путем минимизации функции стоимости, связанной с возможным
набором. Сам возможный набор дает размер неопределенности, связанной
с номинальной моделью [11-13].
Каждый из этих методов явно использует наличие смещения ошибки мо-
дели, что может мотивировать термин “робастная идентификация”. Первые
два подхода были разработаны в статистической структуре, последний осно-
ван на предположениях о равномерно ограниченной ошибке (РОО).
1.2. Неформальное описание проблемы и полученные результаты в ИПУ
под руководством профессора Я.З. Цыпкина
Эта статья представляет основные идеи робастной теории идентифика-
ции, которая была инициирована Я.З. Цыпкиным в 80-е гг. XX в. в Институ-
те проблем управления (ИПУ) [14, 15] и относится к MОM-классу подходов,
связанных с проблемой идентификации. Далее показано, что параллельное
применение “процедуры отбеливания” и периодической версии min-max “ме-
тода максимального правдоподобия” (ММП) гарантируют свойство асимп-
тотической состоятельности этих процедур. Показывается, что комбини-
рованная процедура достигает соответствующей информации Рао-Крамера.
Это означает, что для широкого класса регулярных наблюдений ARX-модели
(авторегрессия с внешним входом), не существует никакого другого алго-
ритма идентификации, оценивающего в асимптотике неизвестные параметры
“быстрее” процедуры, обсуждаемой далее, если распределение белого шума
на входе формирующего фильтра известно точно. Основная особенность это-
го метода заключается в возможном учете внешнего негауссова белого шу-
92
Рис. 1. Последний день А.С. Позняка в лаб. 7. 19 февраля 1993 г.
ма (определенного на заданном классе допустимых распределений) на входе
формирующего фильтра, составляющего шумовую последовательность, дей-
ствующего на входе ARX-модели, негауссовского и коррелированного. Также
будут сформулированы сходимость почти наверное, а также асимптотиче-
ская нормальность ошибки оценки. Если информация на входе формирую-
щего фильтра неопределенная, а именно когда распределение шума принад-
лежит данному классу, то применяется подход Хубера с использованием ро-
бастной (max-min) версии ММП [16]. Обратите внимание, что статьи [14-16]
рассматривали только случай “белого шума”, хотя и негауссовской природы.
Далее рассмотрим некоторые публикации группы Цыпкина, которые ка-
сались стохастических коррелированных шумовых возмущений, генерируе-
мых формирующим фильтром известной или неизвестной структуры. Итак,
в [17, 18] можно найти обзоры соответствующих статей, опубликованных до
1983 и 1990 гг. соответственно. Главные свойства стохастических градиент-
ных процедур (как оптимизации, так и идентификации) изучались в [19].
Оценка параметров авторегрессионных процессов рассмотрена в [20]. Пуб-
ликации [21, 22] имели дело с анализом асимптотических свойств (таких,
как сходимость и асимптотическая нормальность) стохастических процедур
при наличии коррелированного шума. Свойства стохастических алгоритмов,
“оптимальных на классе” при наличии коррелированного шума (с извест-
ным формирующим фильтром), были проанализированы в [23]. Обобщенная
версия метода инструментальных переменных, специально применяемая для
93
Рис. 2. Г.Н. Архипова, А.С. Позняк, Б.Т. Поляк, Я.З. Цыпкин и С.Р. Фаи-
на. 1994 г.
идентификации модели ARMA, была предложена и изучена в [24]. Публика-
ции [25-27] были посвященны анализу нелинейных рекуррентных алгорит-
мов идентификации с использованием нелинейных преобразований невязок
и рекуррентных алгоритмов параметрических предсказаний вместе с расши-
ренной версией метода наименьших квадратов (МНК). Свойство асимпто-
тической нормальности и скорость сходимости алгоритмов идентификации
с нелинейным преобразованием невязки как для стационарных, так и для
нестационарных моделей изучены в [27, 28]. Публикации [29, 30] посвящены
сходимости рекуррентных оценок моделей ARX с помехами, создаваемыми
процессами ARMA. Некоторые версии обобщенных ускоренных алгоритмов
идентификации были представлены в [31, 32]. Сводка основных результатов,
касающихся анализа и разработки робастных процедур оптимизации и иден-
тификации, может быть найдена в [33, 34].
1.3. Структура статьи
Раздел 2 представляет постановку задачи и обсуждает априорную доступ-
ную информацию. В разделе 3 основные определения (такие, как регуляр-
ные наблюдения и другие), используемые в этой статье, вводят неравенство
Крамера-Рао и дают точное представление информационной матрицы Фи-
94
шера, рассчитанной специально для рассматриваемой проблемы идентифи-
кации. В разделе 4 представлен анализ процедуры идентификации WMLLM.
Раздел 5 представляет робастную (оптимальную на классе) версию WMLLM-
процедуры и представляет два примера выбора нелинейного преобразования.
Заключительные замечания завершают статью.
2. Постановка задачи и доступная априорная информация
2.1. ARX модель и формирующий фильтр
Рассмотрим ARX модель
∑
∑
yn = alyn-l +
bkwn-k + ηn,
l=1
k=0
(2.1)
∑
∑
ηn + d2,sηn-s = ξn +
d1,sξn-s,
s=1
s=1
где yn ∈ R1 — доступные скалярные наблюдения, wn — измеримая детерми-
нированная (или, вообще говоря, случайная) входная последовательность, а
ηn ∈ R1 — цветной шум, который является результатом формирующего филь-
тра с функцией перехода
(
)
(
)
(
)
H
q-1
=H1
q-1
/H2
q-1
,
(2.2)
(
)
∑
(
)
∑
H1
q-1
=1+ d1,sq-s, H2
q-1
=1+ d2,sq-s
s=1
s=1
(q-1 — одношаговый оператор задержки, действующий как yk-1 = q-1yk) с
независимой стационарной последовательностью {ξt} с нулевым средним и
ограниченной мощностью.
2.2. Основные предположения
1. Все случайные величины {wn, ξn}n≥0 заданы на вероятностном про-
странстве (Ω, F, P ) с потоком σ-алгебр Fn ⊆ Fn+1 ⊂ F:
Fn-1:=σ (y-l, . . . , y-1, . . . , yn-1; w0, . . . , wn; η-K2 , . . ., ηn-1; ξ-K1 , . . . , ξn-1
(2.3)
).
2. Для всех n ≥ 0
(2.4)
= σ2ξ
< ∞ (п.н. - почти наверное).
3. Измеряемая входная последовательность {wn}n≥0 имеет ограниченную
мощность
{
} п.н.
(2.5)
E
w2n | Fn-1
= σ2w,n
<∞
95
и не зависит от {ξn} , т.e.
(2.6)
= wnE {ξn | Fn-1}п=.
0.
4. Формирующий фильтр п(едп)олагае(ся )стойчивым и “минимально-
фазовым”, т.е. оба полинома H1
q-1
иH2
q-1
гурвицевы, имеют все корни
внутри единичного круга в комплексной плоскости и предполагаются извест-
ными.
5. ARX-объект (2.1) устойчивый: полином
(
)
∑
(2.7)
H0
q-1
:= 1 - alq-l
l=1
— гурвицев.
(
)
(
)
(
)
6. Формирующий фильтр H
q-1
=H1
q-1
/H2
q-1
устойчивый и име-
ет (ин)мальн(-фа)овую структуру, т.е. предполагается, что оба полинома
H1
q-1
и H2
q-1
устойчивые.
2.3. Формат регрессии представления
Система (2.1) может быть представлена в так называемом формате ре-
грессии
(2.8)
yn = z⊤nc + ηn,
где вектор
(2.9)
c = (a1,...,aL;b0,... ,bK)⊺ ∈ RL+K+1
представляет набор неизвестных параметров для оценивания и вектор
(2.10)
zn := (yn-1,... ,yn-L;wn,... ,wn-K)⊺ ∈ RL+K+1
означает обобщенный регрессионный измеримый (доступный онлайн) вход.
2.4. Процесс отбеливания для робастных и
минимально-фазообразующих фильтров
Модель (2.8) может быть символически представлена как
H1 (q)
(2.11)
yn = z⊺nc + ηn = z⊺nc +
ξn .
H2 (q)
С учетом предположения 6 полиномы H1 (q) и H2 (q) устойчивы и, следо-
вательно, можно применить обратный операторH2(q)H
с обеих сторон моде-
1(q)
ли (2.11), получая
H2 (q)
yn =
yn,
y-s := 0, s = 0, 1, . . . , K1,
H1 (q)
H2 (q)
(2.12)
zn =
zn,
z-s := 0, s = 0, 1, . . . , K1,
H1 (q)
H2 (q) H1 (q)
ξn :=
ξn = ξn + Oω (λn),
|λ| < 1,
H1 (q) H2
(q)
96
где λ — одно из собственных значений (корней) многочленов H1 (q) и H2 (q),
наиболее близкое к единичному кругу. Итак, наконец, после приложения
“процесса отбеливания” (обратный оператор) получаем
(2.13)
yn = znc
ξn.
Замечание 1. Это означает, что интерактивное применение “процесса
отбеливания” к рассматриваемой исходной модели (2.11) позволяет рассмот-
реть соответствующую преобразованную модель (2.12), которая имеет дело
с “квази” белым шумо
ξn, экспоненциально быстро стремящимся к точному
белому шуму ξn, выполняя равенство
ξn - ξn = Oω (λn) -→ 0
при n -→ ∞.
2.5. Класс рекуррентных процедур идентификации с
нелинейным преобразованием невязки
Рассмотрим следующий класс процедур рекуррентной идентификации, ко-
торые применяются к преобразованной модели (2.13) (после отбеливания):
cn = cn-1 + Γnznϕ(yn - z⊺ncn-1) ,
c0 - произвольное начальное заданное значение,
(2.14)
(
)-1
{
}
∑
∑
Γn =
zt zt
,
n ≥ n0 := min
zt zt
> 0.
k
t=0
t=0
Замечание 2. Обратите внимание, что Γn в (2.14) можно вычислить ре-
куррентно (как в методе наименьших квадратов):
Γn-1znznΓn-1
(2.15)
Γn = Γn-1 -
,
n ≥ n0 := inf {n : Γn
> 0} ,
1+znΓn-1zn
и Γn обладает (в принятых допущениях) следующим свойством:
Γn
п.н.≃1R-1,
n
(2.16)
1
∑
{
}
R = lim
E
z⊺k zk
> 0.
n-→∞ n
k=1
Здесь R — матрица ковариаций, E — математическое ожидание.
Замечание 3. Эта процедура была предложена и описана в [13, раз-
дел 13.6.4; 34], но не было представлено никакого анализа.
97
2.6. Постановка задачи
Задача. Рассматриваемая проблема заключается в анализе последо-
вательности {cn}n≥0, сгенерированной процедурой (2.14), и в демонстра-
ции, что при специальном выборе нелинейной функции ϕ (с использова-
нием ММП) процедура асимптотически оптимальна (или оптимальна на
классе) в некотором вероятностном смысле, обеспечивая наиболее быст-
рую сходимость cn к действительному вектору параметров c. Будем назы-
вать эту процедуру “отбеливание плюс метод максимального правдоподо-
бия” (WMLLM).
Чтобы сформулировать эту проблему в строго математической форме,
необходимы следующие понятия и определения.
3. Регулярные наблюдения и информационное неравенство
Данные наблюдений, доступные на первых n шагах рекурсии (2.8),
(3.1)
yn := {y1,y2,... ,yn
},
содержат всю доступную до времени n информацию о параметре оценивания
c ∈ RN. Функция
(3.2)
p (yn | c) , c ∈ C ⊆ RN
называется совместной плотностью распределения вектора yn.
3.1. Основные определения
Любая борелевская функция
(3.3)
cn = cn (yn) ∈ RN
может рассматриваться как оценка c.
Определение 1. 1.Вектор-функцией
∫
mn(c) := E {cn} = cn (yn) p (yn | c) dyn ∈ RN,
(3.4)
Yn
Yn := {yn | p (yn | c) > 0, c ∈ C},
называют среднее значение оценки cn, основанное на доступных наблю-
дениях yn.
2. Если
(3.5)
mn(c) = c,
тогда оценка cn называется несмещенной, и
— асимптотически
несмещенной, если
lim
mn(c) = c.
n-→∞
98
3. Наблюдения yn называются регулярными на классе C параметров,
если
{
}
supE
∥∇c ln p (yn
| c)∥2
=
c∈C
∫
(3.6)
= sup
∥∇c ln p (yn | c)∥2 p (yn | c) dyn < ∞,
c∈C
Yn
и для всех c ∈ C
{
}
IF (c,n) := E ∇c ln p (yn | c) ∇⊺c ln p (yn | c)
=
∫
(3.7)
=
[∇c ln p (yn | c) ∇⊺c ln p (yn | c)] p (yn | c) dyn > 0.
Yn
Матрица IF (c, n) называется информационной матрицей Фишера для
набора доступных наблюдений yn.
3.2. Информационное неравенство Крамера-Рао
Теорема 1. Для любого множества регулярных наблюдений Yn и для
любой оценки cn с дифференцируемой функцией среднего значения mn(c) вы-
полняется следующее неравенство:
{
}
E (cn - c) (cn
- c)⊺
≥ [mn(c) - c] [mn(c) - c]⊺ +
(3.8)
+ ∇mn(c)I-1F (c,n) ∇⊺mn(c).
Следствие. Для несмещенных оценок, удовлетворяющих
mn(c) = c,
∇mn(c) = In×n,
неравенство Крамера-Рао принимает вид
{
}
(3.9)
E (cn - c) (cn
- c)⊺
≥I-1F
(c, n) .
Доказательство следствия. См., например, доказательство теоре-
мы 13.3 в [34].
Замечание 4. Это неравенство означает, что после n регулярных на-
блюдений yn ковариационная матрица ошибки оценки (cn - c), определяю-
щая качество оценки, не может быть меньше соответствующей информаци-
онной матрицы Фишера (3.7). Другими словами, информационная матрица
Фишера (3.7) определяет максимально возможное качество процесса иденти-
фикации, которое не может быть улучшено ни одним алгоритмом идентифи-
кации.
99
3.3. Вычисление информационной матрицы Фишера
Используя формулу Байеса
p (yn | c) = p (yn | yn-1; c) p (yn-1 | c) =
[
]
∏
=···=
p (yk | yk-1; c) p (y0 | c) ,
k=1
для функции вероятности Ln (yn | c) получаем представление:
∑
(3.10)
Ln (yn | c) := - ln p (yn | c) = -
ln p (yk | yk-1; c) - ln p (y0
| c) .
k=1
Определим также
ut (c) := ∇cLt (yt | c) - ∇cLt-1 (yt-1 | c) =
∇cp (yt | yt-1;c)
=-
= -∇c ln p (yt | yt-1;c) ,
p (yt | yt-1; c)
что является мартингал-разностью, а именно
= 0,
и удовлетворяет свойству
∇2cp (yt | yt-1;c)
∇cp (yt | yt-1;c) ∇cp (yt | yt-1;c)
(3.11)
∇cut (c) = -
+
p(yt | yt-1;c)
p2 (yt | yt-1;c)
Лемма 1. Для регулярных несмещенных наблюдений информационная
матрица Фишера IF (c, n) может быть вычислена как
∑
{
∑
IF (c,n) =
E
uku⊺k
= E{∇cuk (c)} =
k=1
k=1
(3.12)
{
}
∑
∇cp (yk | yk-1;c) ∇cp (yk | yk-1;c)
=E
p2 (yk | yk-1; c)
k=1
3.4. Асимптотическое неравество Крамера-Рао
Умножая обе части (3.9) на n, получаем
(
)-1
1
nE {(cn - c) (cn - c)⊺} ≥
IF (c,n)
n
Взяв n -→ ∞, получаем
(3.13)
lim inf
nE {(cn - c) (cn - c)⊺} ≥ I-1F
(c) ,
n-→∞
где
{
}
n
1
1
∑
IF (c) := lim sup
IF (c,n) = lim supE
uk (c) u⊺k (c)
> 0.
n-→∞ n
n-→∞
n
k=1
100
Замечание 5. Ввиду (3.11) следует
1
{
}
(3.14)
IF (c) = lim sup
E
∇2cLn (yt | c)
n-→∞ n
Действительно,
{
}
n
∑
1
1
IF (c) = lim sup
IF (c,n) = lim supE
∇cut (c)
=
n-→∞ n
n-→∞
n
k=1
{
}
n
∑
1
= lim supE
∇2c [Lt (yt | c) - Lt-1 (yt-1 | c)]
=
n-→∞
n
k=1
{
}
n
1
∑
= lim sup
E
∇2
[Lt (yt | c) - Lt-1 (yt-1 | c)]
=
c
n
n-→∞
k=1
1
{
}
1
{
}
= lim sup
E
∇2c [Ln (yt | c) - L0 (y0 | c)]
= lim sup
E
∇2cLn (yt | c)
n
n-→∞ n
n-→∞
3.5. Вычисление информации Фишера для ARX-модели
с негауссовым цветным шумом
Используя (3.14) и вычисляя ∇cp (yk | yk-1; c), можно показать, что
∑
{
}
(3.15)
IF (c,n) = IF,ξ
E
zk zk
,
k=1
где IF,ξ — информация Фишера о случайном стационарном значении ξk (3.18).
Ввиду (3.13) имеем
(
)-1
lim inf
nE {(cn - c) (cn - c)⊺} ≥ I-1F (c) = lim sup1IF (c,n)
=
n-→∞
n-→∞
n
(3.16)
(
)-1
n
1
∑
{
}
= I-1F,ξ limsup
E
zk zk
=I-1F,ξR-1
n-→∞ n
k=1
с
∑
{
}
1
(3.17)
R := lim sup
E
zk zk
n-→∞ n
k=1
и
∫
)2
(∂
pξ (x) |x=vk
∂x
IF,ξ :=
dvk,
pξ (vk)
vk
(3.18)
∑
∑
vk = vk - c⊺zk + d2,sηk-s +
d1,sξk-s.
s=1
s=1
101
Остальная часть статьи посвящена разработке численных процессов иден-
тификации, которые являются асимптотически оптимальными, а именно та-
1
кими, которые достигают скорости сходимости ∼
I-1F,ξR-1, или, что эквива-
n
лентно, обеспечивают выполнение точного равенства (=) вместо (≥) в (3.16).
4. Анализ процедуры идентификации WMLLM
4.1. Асимптотическая сходимость с вероятностью единица
Теорема 2. Если:
1) ξn — независимая одинаково распределенная последовательность с
{
}
{
}
{
}
E {ξn} = 0, E
ξ2n
= σ2 > 0, E
ξ4n
=E
ξ41
< ∞;
2) нелинейное преобразование ϕ : R -→ R удовлетворяет условиям
xψ (x) ≥ δx2, δ > 0, ψ (0) = 0, S (x) ≤ k0 + k1x2
с
{
}
ψ (x) := E {ϕ(x + ξn)} , S (x) := E
ϕ2 (x + ξn)
,
то
−→ 0.
n-→∞
Доказательство. Следует схема доказательства теоремы 13.5 в [34],
которая не учитывает процесс отбеливания. Итак, для доказательства дан-
ной теоремы достаточно изменить yn и zn на yn и zn соответственно. Перво-
начально этот метод был предложен и использован в [15].
Замечание 6. Обратите внимание, что если ψ (x) дифференцируемо в
точке x = 0, что соответствует ψ′t(0) > 0, то для достаточно больших n вви-
ду (2.14) имеем
[
]
ψ′ (0)
1
(4.1)
Δn = In×n -
R-1znz⊺
Δn-1 +
R-1zn (oω (1) + ζn
),
n
n
n
где
ζn := ϕ(ξn + Oω (λn) - z⊺nΔn-1) - ψ (-z⊺nΔn-1) ,
удовлетворяя
= 0.
102
Действительно,
1
Δn = Δn-1 +
R-1znϕ(yn - z⊺n [Δn-1 + c]) =
n
⎛
⎞
1
⎟
=Δn-1 +
R-1znϕ⎝ yn - z⊺nc
-z⊺nΔn-1
⎠=
n
% &'
(
ξn+Oω(λn)
1
=Δn-1 +
R-1znϕ(ξn + Oω (λn) - z⊺nΔn-1) =
n
⎡
⎤
1
⎢
⎥
=Δn-1 +
R-1zn
⎢
ψ (-z⊺nΔn-1)
+ζn⎥
⎣
⎦=
n
%
&'
(
ψ(0)+ψ′(0)(-znΔn-1)+oω(1)
1
[
]
=Δn-1 +
R-1zn
-ψ′ (0) z⊺nΔn-1 + oω (1) + ζn
n
{
}
Δ
Следуя лемме 13.7 в [34] и определяя новый процесс
n
как
n≥0
[
]
ψ′ (0)
(4.2)
Δn = 1-
Δn-1 +1R-1zn (oω (1) + ζn),
Δ0 = Δ0,
n
n
можно сформулировать следующий вспомогательный результат.
4.2.
√n-эквивалентность
Теорема 3 (о
√n-эквивалентности). В предположениях теоремы 2
про-
цесс (4.1) является
√n-эквивалентным процессом (4.2), т.е.
)
√ (
п.н.
(4.3)
n Δn -Δn
-→
0.
n-→∞
Доказательство. Вытекает из леммы 13.7 в [34].
4.3. Асимптотическая нормальность процесса {
√nΔn}n≥0
Свойство асимптотической нормальности процесса {√nΔn}n≥0 помогает
оценить точную скорость сходимости (не только порядок сходимости, но и ее
постоянную) процедуры идентификации (2.14).
Теорема 4 (об асимптотической нормальности). Предположим, что вы-
полняются условия теоремы 2 и, кроме того,
(4.4)
ψ (0) = 0, S (0) > 0, ψ′
(0) > 0,5.
Тогда процесс {√nΔn}n≥0 асимптотически нормален
(4.5)
−→
N (0, V )
n-→∞
103
с ковариационной матрицей V , равной
S (0)
(4.6)
V =
R-1.
2ψ′ (0) - 1
Доказательство. Вытекает непосредственно из теоремы 13.6 в [34].
Замечание 7. Матрица V определяет скорость сходимости процеду-
ры (2.14), т.е.
(
)
−→ N
0, n-1V
n-→∞
Лемма 2. Согласно принятым предположениям
(4.7)
V ≥I-1F,ξR-1,
где нижняя граница в (4.7) совпадает с границей Крамера-Рао (3.16) и до-
стигается при нелинейной функции в (2.14)
d
(4.8)
ϕ(v) = ϕ∗ (v) := -I-1
ln pξ
(v) .
F,ξ dv
Доказательство. Вытекает непосредственно из очевидных соотноше-
ний
[
]2
[
]2
0≤
1 - ψ′ (0)
= 1 - 2ψ′ (0) +
ψ′ (0)
,
[
]2
ψ′ (0)
≥ 2ψ′ (0) - 1,
с применением неравенства Коши-Шварца.
Итак, лучшая (асимптотически оптимальная) процедура идентификации
ММП для цветных шумовых возмущений в (2.14), когда функция плотности
распределения ln pξ (v) шума на входе формирующего фильтра точно извест-
на, выглядит следующим образом
d
(4.9)
cn = cn-1 - I-1Γnzn
F,ξ
ln pξ (v) |v=˜yn-z⊺ncn-1 .
dv
Замечание 8. Обратите внимание, что не существует никакого другого
алгоритма, обеспечивающего асимптотическую скорость сходимости лучше,
чем процедура (4.9).
5. Робастная версия процедуры WMLLM
5.1. Робастность Хубера-Поляка-Цыпкина
Как только что отмечено, процедура численной оценки (4.9) асимптоти-
чески эффективна, только если точная информация о функции плотности
распределения шума pξ имеется в наличии. Это предположение практиче-
ски никогда не может быть реализовано в точности, поскольку оно, по сути,
104
является статистическим по своей природе и может быть обеспечено толь-
ко с некоторым “уровнем достижимости”. Это в точности означает, что на
практике приходится иметь дело не с точной плотностью шума pξ, а с классом
возможных шумов и их плотностей, а именно: иметь дело с классом шумов,
соответствующие плотности которых принадлежат некоторому классу P, т.е.
(5.1)
pξ
∈P.
Процедура рекуррентного оценивания (2.14) с нелинейным преобразованием
невязки ϕ обеспечивает скорость сходимости, равную (в “смысле распределе-
ния”) (4.6), т.е.
• порядок скорости сходимости равен 1/n,
• и константа (фактически, матрица) сходимости равна V .
Как следует из (4.6), V зависит от реального распределения плотности
шума pξ (так как S(0), ψ′ (0) и R могут зависеть от pξ) и от нелинейной
функции ϕ (через S(0) и ψ′ (0)). Поэтому чтобы подчеркнуть эту зависимость,
будем использовать обозначение
V = V (pξ,ϕ).
Следуя [33] и [16], введем основное определение этого раздела.
(
)
Определение 2. Пара функций p∗ξ,ϕ∗∗ определяет процедуру оцен-
ки (4.9) с нелинейным преобразованием невязки ϕ∗, которая является ро-
бастной относительно плотности распределения pξ, принадлежащей клас-
су P, если для любой допустимой ϕ, удовлетворяющей условиям теоремы 4,
и любой плотности распределения шума pξ ∈ P выполняются следующие
неравенства “седловой точки”:
(
)
(
)
(5.2)
V (pξ,ϕ∗∗) ≤ V
p∗ξ,ϕ∗∗
≤V
ϕ, p∗ξ
Здесь оба неравенства следует рассматривать в “матричном смысле”, т.е.
A = A⊺ ≤ B = B⊺, если B - A ≥ 0.
Другими словами, распределение p∗ξ является “наихудшим” в классе P,
и нелинейное преобразование ϕ∗∗ является “нилучшим”, рассчитанным на
“наихудший” шум с распределением p∗ξ. Это можно выразить математически
следующим образом:
ϕ∗∗ := arg inf sup V (pξ, ϕ) ,
ϕ pξ∈P
(5.3)
p∗ξ := arg sup
infV (pξ, ϕ) ,
ϕ
pξ∈P
так что
(5.4)
inf supV (pξ, ϕ) = supinfV (pξ,ϕ) := V∗.
ϕ
ϕ pξ∈P
pξ∈P
105
В соответствии с (4.7) для любого pξ ∈ P справедливо неравенство
(5.5)
infV (pξ,ϕ) = [IF (pξ) R]-1 ,
ϕ
где inf достигается при ϕ∗ (v) (4.8). Итак, окончательно, робастная процедура
ϕ
синтеза ММП сводится к решению задачи
[
]
(5.6)
supinfV (pξ, ϕ) = sup
IF (pξ)R-1
,
ϕ
pξ∈P
pξ∈P
что означает, что нелинейное преобразование невязки ϕ∗∗, которое робастно
по отношению к распределениям pξ ∈ P, есть:
(
) d
(5.7)
ϕ∗∗ = -I-1F,ξ
p∗
ln p∗ξ
(v) .
ξ dv
5.2. Примеры робастной версии процедуры WMLLM
Для процессов ARX (2.13) с bk = 0 (k = 0, . . . , K) ковариационная матри-
ца R (3.17) удовлетворяет матричному уравнению
R = ARA + σ2ξΞ0
с
a1
a2
···
··· aL
1
0
···
···
0
1
0
···
···
0
0
0
···
···
0
0
1
0
···
0
0
0
0
···
0
A=
,
Ξ0 :=
0
···
0
0
0
···
0
0
0
0
···
0
1
0
···
0
0
0
Очевидно, R может быть представлена как
R= σ2ξR0,
где R0 является решением уравнения
R0 = AR0A + Ξ0.
Так что задача (5.6) сводится к отысканию
[
sup
σ2 (pξ) IF (pξ)]-1 ,
pξ∈P
или, что эквивалентно, к
[
]
(5.8)
inf
σ2 (pξ) IF (pξ)
pξ∈P
106
Пример 1. Рассмотрим класс PAR1, содержащий среди прочего распреде-
ление Гаусса pN (0,σ20)(x),т.е.
{
}
PAR1 :=
pξ | σ2 (pξ)IF (pξ) < ∞
,
pN(0,σ20)∈P1R.
Лемма 3.
[
]
p∗ξ (x) = arg inf
σ2 (pξ) IF (pξ)
= pN(0,σ20) (x),
pξ∈PAR
1
т.е. наихудшая на PAR1 плотность распределения равна в точности плот-
ности гауссовского распределения pN(0,σ20)(x).
Доказательство. Используя неравенство Коши-Шварца
⎞2
⎛∫
∫
∫
⎝ f (x)ϕ(x)dx⎠ ≤ f2 (x)dx ϕ2 (x)dx
R
R
R
при
f (x) = x, ϕ(x) = p′ξ (x)/pξ (x),
получим
⎞2
⎞2
⎛∫
⎛∫
σ2IF (pξ) ≥ ⎝ xp′ξ (x)dx⎠
=⎝ pξ (x) dx⎠ = 1,
R
R
так что достигается равенство при
p′ξ (x)/pξ (x) = λx,
что приводит к
{
}
1
λx2
pξ(x) =
√
exp
-
2π/λ
2
Однако поскольку
(
)
=σ-20,
IF pN(0,σ20)
из этого неравенства имеем
(
)
σ2 (pξ) IF (pξ) ≥ 1 = σ2
,
0
IF pN(0,σ20)
что означает, что
p∗ξ (x) = pN(0,σ20)(x).
Лемма 3 доказана.
107
Итак, робастная на PAR1 версия процедуры (2.14) содержит
(
) d
ϕ(x) = ϕ∗∗(x) = -I-1F
p∗
ln p∗ξ (v) = x.
ξ dv
Пример 2. Для класса PAR2, содержащего все центрированные распре-
деления с дисперсией не меньше, чем заданная величина σ20, а именно
⎧
⎫
⎨
∫
⎬
(5.9)
PAR2 :=
pξ :
x2pξ (x) dx ≥ σ2
,
⎩
0⎭
R
имеем следующий результат.
Лемма 4.
(5.10)
p∗ξ (x) = arg
inf
IF (pξ
),
pξ∈PAR2: σ2(pξ)=σ0
т.е. наихудшая на PAR2 плотность распределения p∗ξ (x) совпадает с наи-
худшей плотностью распределения на классе, характеризующем неопреде-
ленность распределения для моделей статической регрессии при условии,
что
(
)
(5.11)
σ2
p∗ξ (x)
=σ20.
Доказательство. Следует непосредственно из неравенства
σ2 (pξ)IF (pξ) ≥ σ20IF (pξ).
6. Заключение
Основные результаты статьи:
• представлены основные идеи теории робастной идентификации, иниции-
рованная Я.З. Цыпкиным в 80-х гг. XX в;
• показано, что параллельное применение “Процедуры отбеливания” и ре-
курсивной минимаксной версии “Метода максимального правдоподобия”
(MLLM) гарантирует свойство асимптотической состоятельности этой про-
цедуры;
• для рассматриваемой рекуррентной модели получено информационное
неравенство Рао-Крамера и показано, что эта комбинированная проце-
дура достигает этой информационной границы;
• главная особенность рассматриваемого метода состоит в возможности уче-
та внешнего негауссового белого шума (определенного по данному классу
допустимых распределений) на входе формирующего фильтра, составляю-
щего шумовую последовательность, влияющую на вход ARX-динамики,
которая может быть негауссовой и коррелированной;
• показана сходимость с вероятностью единица, а также представлена
асимптотическая нормальность ошибки оценки для рассматриваемого
метода;
108
• в случае когда информация о распределении входного сигнала формирую-
щего фильтра является априори неизвестной (но принадлежащей некото-
рому заданному классу), параллельно с использованием процесса “обели-
вания” применяется общеизвестный подход Хубера с использованием ро-
бастной версии ММП.
СПИСОК ЛИТЕРАТУРЫ
1.
Reinelt W., Garulli A., Ljung L. Comparing Different Approaches to Model Error
Modelling in Robust Identification // Automatica. 2002. V. 38. P. 787-803.
2.
Kosut R.L., Goodwin G.C., Polis M.P. (Eds.) Special issue on system identification
for robust control design // IEEE Trans. Automat. Control. 1992. V. 37. No. 7.
P. 899-1008.
3.
Smith R.S., Dahleh M. // Proc. 1992 Santa Barbara workshop “The Modeling of
Uncertainty in Control Systems”. Lect. Notes Control Inform. Sci. V. 192. Publisher
Springer-Verlag, 1994.
4.
Söderström T., Aström K.J. Editorial // Special issue on trends in system
identification. Automatica. IFAC. 1995. P. 1689-1690.
5.
Garulli A., Tesi A., Vicino A. (Eds.) Robustness in identification and control //
Lect. Notes Control Inform. Sci. 1999. V. 245. Berlin: Springer.
6.
Goodwin G.C. Identification and Robust Control: Bridging the Gap // Proc. 7th
IEEE Mediterranian Conf. on Control and Automation. Israel, Haifa: 1999.
7.
Goodwin G.C., Braslavsky J.H., Seron M.M. Non-stationary Stochastic Embedding
for Transfer Function Estimation // Proc. 14th IFAC World Congr. China, Bejing:
1999.
8.
Ljung L. Model Validation and Model Error Modeling. Wittenmark B., Rantzer A.
(Eds.) // Proc. Aström Sympos. Control. Sweden, Studentliteratur Lund: 1999b.
P. 15-42.
9.
Ljung L. System Identification — Theory for the User (2nd ed.). Upper Saddle River,
NJ, USA: Prentice-Hall, 1999c.
10.
Walter E., Piet-Lahanier H. Estimation of Parameter Bounds from Bounded-Error
Data: a Survey // Math. Comput. Simulat. 1990. V. 32. P. 449-468.
11.
Wahlberg B., Ljung L. Hard Frequency-Domain Model Error Bounds from Least-
Squares Like Identification Techniques // IEEE Trans. Automat. Control. 1992.
V. 37. No. 7. P. 900-912.
12.
Giarré L., Milanese M., Taragna M. H∞ Identification and Model Quality
Evaluation // IEEE Trans. Automat. Control. 1997. V. 42. No. 2. P. 188-199.
13.
Garulli A., Vicino A., Zappa G. Conditional Central Algorithms for Worst-Case Set
Membership Identification and Filtering // IEEE Trans. Automat. Control. 2000.
V. 45. No. 1. P. 14-23.
14.
Поляк Б.Т., Цыпкин Я.З. Робастное оценивание в условиях неполной информа-
ции / Вопросы кибернетики. Адаптивные системы. М.: Изд-во АН СССР, 1977.
С. 6-15.
15.
Поляк Б.Т., Цыпкин Я.З. Адаптивные алгоритмы оценивания (сходимость, оп-
тимальность, робастность) // АиТ. 1979. № 3. С. 71-84.
Polyak B.T., Tsypkin Ya.Z. Adaptive Estimation Algorithms: Convergence,
Optimality, Stability // Autom. Remote Control. 1979. V. 40. No. 3. P. 378-389.
16.
Polyak B.T., Tsypkin Ya.Z. Robust Identification // Automatica. 1980. V. 16. No. 1.
January. P. 53-63.
109
17.
Цыпкин Я.З., Позняк А.С. Рекуррентные алгоритмы оптимизации в условиях
неопределенности // Итоги науки и техники. Сер. Техн. кибернетика. Вып. 16.
М.: ВИНИТИ, 1983. С. 3-70.
18.
Цыпкин Я.З., Позняк А.С., Тихонов С.Н. Оптимальные методы адаптивной
идентификации // Итоги науки и техники. Сер. Техн. кибернетика. Вып. 29.
М.: ВИНИТИ, 1990. С. 3-44.
19.
Poznyak A.S. Recursive Stochastic Gradient Procedures in the Presence of
Dependent Noise // Lect. Notes Control Inform. Sci. IIASA 81. Stochastic Optim.
Springer-Verlag, 1984. P. 522-533.
20.
Poznyak A.S. Estimating the Parameters of Autoregressing Processes by the Method
of Least Squares // Int. J. Syst. Sci. 1980. V. 5. No. 11. P. 235-254.
21.
Позняк A.С., Чикин Д.О. Асимптотические свойства процедур стохастической
аппроксимации при зависимых помехах // АиТ. 1984. № 12. C. 78-93.
Poznyak A.S., Chikin D.O. Asymptotical Properties of Stochastic Approximation
Procedures With Dependent Noises // Autom. Remote Control. 1984. V. 45. No. 12.
P. 1601-1615.
22.
Chikin D.O., Poznyak A.S. Gradient Procedures of Stochastic Approximation with
Dependent Noise and their Asymptotic Behavior // Int. J. Syst. Sci. 1985. V. 16.
No. 8. P. 917-949.
23.
Позняк A.С., Цыпкин Я.З. Оптимальные на классе алгоритмы оптимизаций при
наличии коррелированных помех // Журн. вычисл. матем. и матем. физ. 1984.
Т. 24. № 6. С. 806-822.
Poznyak A.S., Tsypkin Ya.Z. Optimization Algorithms Optimal on a Class in the
Presence of Correlated Noise // U.S.S.R. Comput. Math. Math. Phys. 1984. V. 24.
No. 3. P. 112-122.
24.
Цыпкин Я.З., Позняк А.С. Обобщенный метод инструментальных переменных
в задачах идентификации линейных объектов // ДАН СССР. 1989. Т. 306. № 5.
С. 1068-1072.
Tsypkin Ya.Z., Poznyak A.S. Generalized Method of Instrumental Variables in
Problems of Identification of Linear Objects // Doklady Acad. Nauk of USSR. 1989.
V. 306. P. 1068-1073.
25.
Позняк A.С., Тихонов С.Н. Сильная состоятельность рекуррентных нелинейных
алгоритмов оценивания параметров линейных разностных уравнений // АиТ.
1990. № 6. С. 90-101.
Poznyak A.S., Tikhonov S.N. Strong Consistency of Nonlinear Recursive Algorithms
of Estimation of the Parameters of Linear Difference Equations // Autom. Remote
Control. 1990. V. 51. No. 6. P. 98-807.
26.
Позняк A.С., Тихонов С.Н. О расширении класса нелинейных преобразова-
ний невязки в рекуррентных алгоритмах параметрического оценивания // АиТ.
1990. № 10. С. 135-141.
Poznyak A.S., Tikhonov S.N. On Extension of Nonlinear Residual Transformation
Class for Recursive Algorithms of Parametric Estimation // Autom. Remote Control.
1990. V. 51. No. 10. P. 1418-1424.
27.
Позняк A.С., Тихонов С.Н. Об асимптотической нормальности и скорости сходи-
мости рекуррентных стохастических процедур с нелинейным преобразованием
невязки // АиТ. 1992. № 8. P. 103-111.
Poznyak A.S., Tikhonov S.N. Asymptotic Normality and the Rate of Convergence of
Recursive Stochastic Processes With a Nonlinear Residual Transformation // Autom.
Remote Control. 1992. V. 53. No. 8. P. 1222-1230.
110
28.
Бондаренко М.В., Позняк A.С. Асимптотическая нормальность и оценка скоро-
сти сходимости алгоритмов идентификации нестационарных объектов // АиТ.
1992. № 7. С. 44-55.
Bondarenko M.V., Poznyak A.S. Asymptotic Normality and an Estimate for the
Rate of Convergence of Algorithms for the Identification of Nonstationary Objects //
Autom. Remote Control. 1992. V. 53. No. 7. P. 989-999.
29.
Казьмин А.В., Позняк A.С. Рекуррентное оценивание параметров ARX моделей
с помехами, описываемыми ARMA-процессами // АиТ. 1992. № 10. С. 80-88.
Kaz’min A.V., Poznyak A.S. Recurrent Estimation of the Parameters of
Autoregression-Exogenous Input Models With Noise Described by Autoregression-
Moving Average Processes // Autom. Remote Control. 1992. V. 53. No.
10.
P. 1549-1556.
30.
Бондаренко М.В., Позняк A.С. Сходимость алгоритмов оценивания нестацио-
нарных параметров регрессионно-авторегрессионных объектов при помехах ти-
па скользящего среднего // АиТ. 1993. № 8. С. 90-108.
Bondarenko M.V., Poznyak A.S. Convergence of Algorithms for Estimating the
Nonstationary Parameters of Regression-Autoregression Plants Under Noise of
Moving Averages Type // Autom. Remote Control. 1993. V. 54. No. 8. P. 1255-1271.
31.
Платонов А.А., Позняк A.С., Тихонов С.Н., Шабатин Е. Анализ обобщенных
акселерантных алгоритмов идентификации // АиТ. 1993. № 2. С. 157-170.
Platonov A.A., Poznyak A.S., Tikhonov S.N., Shabatin E. Analysis of Generalized
Accelerated Identification Algorithms // Autom. Remote Control. 1993. V. 54. No. 2.
P. 311-322.
32.
Позняк A.С., Тихонов С.Н. Сильная состоятельность расширенного метода наи-
меньших квадратов с нелинейным преобразованием невязки // АиТ. 1990. № 8.
С. 119-128.
Poznyak A.S., Tikhonov S.N. Strong Consistency of the Extended Least Squares
Method With Nonlinear Error Transformation // Autom. Remote Control. 1990.
V. 51. No. 8. P. 1105-1112.
33.
Huber P. Robustness and Design. A Survey of Statistical Design and Linear Models.
North-Holland Publisher Company, 1975.
34.
Poznyak A.S. Advanced Mathematical Tools for Automatic Control Engineers. V. 2.
Stochastic Techniques. N.Y.: Elsevier, 2009.
Статья представлена к публикации членом редколлегии А.В. Назиным.
Поступила в редакцию 24.07.2018
После доработки 08.10.2018
Принята к публикации 08.11.2018
111
