Автоматика и телемеханика, № 1, 2020

(Центральный экономико-математический институт РАН, Москва)

ОПТИМАЛЬНЫЙ РЕГУЛЯТОР ДЛЯ НЕАВТОНОМНОЙ

ЛИНЕЙНОЙ СТОХАСТИЧЕСКОЙ СИСТЕМЫ

С ДВУСТОРОННИМ ЦЕЛЕВЫМ ФУНКЦИОНАЛОМ¹

Рассматривается задача стохастического линейного регулятора на бес-

конечном интервале времени с двусторонним целевым функционалом и

переменной матрицей диффузии. В двустороннем квадратичном целевом

функционале пределы интегрирования имеют противоположный знак и

зависят от длины интервала планирования. Показано, что при ограни-

чениях на рост матрицы диффузии известный закон управления в виде

линейной обратной связи по состоянию будет являться оптимальным по

критерию обобщенного долговременного среднего и его потраекторного

аналога. Также проводится анализ вероятностного поведения оптималь-

ной траектории развития системы.

Ключевые слова: стохастический линейный регулятор, двусторонний це-

левой функционал, переменная матрица диффузии.

DOI: 10.31857/S0005231020010055

1. Введение

Стохастические линейные регуляторы относятся к классу систем управле-

ния, имеющих важное теоретическое и практическое значение, см. [1, гл. 3].

При этом их динамика обычно рассматривается на положительной по-

луоси изменения параметра времени t ∈ [t₀, T ] и горизонте планирования

[t₀, T ] ⊆ [0, +∞). Вместе с тем, в теоретико-операторной перспективе, т.е. при

возникновении бесконечномерных пространств состояний, см., например, [2],

анализ эволюции систем может проводиться на всей числовой прямой, т.е.

при t ∈ (-∞, +∞), и постановка задач управления осуществляется на интер-

валах [t₀ - T, t₀ + T ], где T ≥ 0, и затем T → +∞, см. [3, 4]. Кроме того, как

подчеркивается в [5], существуют области приложений (обработка сигналов,

статистическое оценивание, передача информации и др.), моделирование в

которых также предполагает возможность значений независимой перемен-

ной t ∈ (-∞, +∞). Опишем систему управления, исследуемую в данной ста-

тье. Пусть на полном вероятностном пространстве {Ω, F, P} задан n-мерный

случайный процесс X_t, t ∈ R, R — множество действительных чисел, описы-

ваемый уравнением

(1)

dX_t = A_tX_tdt + B_tU_tdt + G_tdw_t,

¹ Работа выполнена в рамках НИР “Теория и методы для компьютерного и математиче-

ского моделирования и анализа общественных систем и процессов”, номер государственной

регистрации АААА-Ф18-118021990120-2.

где A_t, B_t — ограниченные матрицы с зависящими от времени элементами;

шумовые воздействия моделируются с помощью так называемого двусто-

роннего винеровского процесса w_t, t ∈ R, задаваемого обычным образом как

w_t = w(1)t, t ≥ 0, и w_t = w(2)-t, t < 0, при двух независимых d-мерных стандарт-

ных винеровских процессах w(1)t, w(2)t, t ≥ 0, см., например, [6, с. 7]; множество

допустимых управлений U состоит из k-мерных квадратично интегрируе-

мых случайных процессов U_t, t ∈ R, согласованных с фильтрацией {F_t}t∈R,

F_t = σ{w_s,s ≤ t} (σ(·) — знак σ-алгебры), таких что существует решение

уравнения (1), т.е., см., например, [3], процесс X_t, t ∈ R, для которого почти

∫t

наверное (п.н.) выполняется X_t = X_s +

A_τ X_τ dτ +

B_τ U_τ dτ +

Gτ dwτ

при всех s ≤ t; G_t — матрица диффузии, о предположениях относитель-

но ее элементов будет сказано далее, а здесь отметим, что в рассмотрение

могут включаться ситуации как ограниченных параметров возмущений (на-

пример, постоянных G_t ≡ G или затухающих ∥G_t∥ → 0), так и нарастающих

∥G_t∥ → ∞, t → ±∞ (∥ · ∥ — матричная евклидова норма).

Для T > 0 в качестве двустороннего целевого функционала на [-T, T ]

определим случайную величину

∫T

(2)

J2T (U) = (X^′tQ_tX_t + U^′tR_tU_t

) dt,

-T

где U ∈ U — допустимое управление; Q_t ≥ qI, R_t ≥ ρI, t ∈ R, — ограниченные

симметричные матрицы, q, ρ > 0 — некоторые константы (^′ — знак транспо-

нирования, запись A ≥ B для матриц означает, что разность A - B неотри-

цательно определена, I — единичная матрица).

Ранее задачи стохастического линейного регулятора на бесконечном ин-

тервале времени (T → +∞) с функционалом вида (2) рассматривались

в [7] при управлении передачей информации в сетях, для приложений

в инженерных системах — см. [8; 9, часть

13.2.10]. При этом в каче-

стве критерия оптимальности использовалось долговременное среднее, т.е.

lim sup{EJ2T /(2T )} → inf . Очевидно, что при таком подходе не учитыва-

T→+∞

U ∈U

ется специфика изменения матрицы диффузии G_t во времени, например,

ее неограниченность на бесконечности, как, например, в когнитивной моде-

ли [10], или ее вырождение, см. случай диффузии [11]. В данной статье для

определения управлений, оптимальных в среднем на бесконечном интервале

времени, предлагается критерий, который обобщает приведенный выше:

EJ2T (U)

(3)

lim sup

→ inf .

T→+∞

∫

U ∈U

∥G_t∥² dt

-T

Более сильным (в вероятностном смысле) критерием, чем долговременное

среднее, является потраекторное эргодическое, когда задача

lim sup{J2T /(2T )} → inf

T→+∞

U ∈U

решается с вероятностью единица, см. [3]. При учете фактора воздействия

на динамику системы переменной матрицы диффузии можно использовать

потраекторное обобщенное долговременное среднее, когда ставится задача

J2T (U)

(4)

lim sup

→ inf

с вероятностью единица.

T→+∞

∫

U ∈U

∥G_t∥² dt

-T

Следует отметить, что обобщенные долговременные средние также вводи-

лись в [12-14] для стохастического линейного регулятора с односторонним

целевым функционалом, т.е. при интегрировании на [0, T ] в (2). Задачи с

двусторонними функционалами рассматривались в [3, 4], а используемые

там критерии оптимальности являлись стандартными для систем с огра-

ниченными коэффициентами (упомянутые выше долговременное среднее и

потраекторное эргодическое). При этом для элементов множества допусти-

мых управлений предполагались выполненными условия конечности момен-

тов соответствующих им процессов, точнее, supt∈R(E∥X_t∥² + E∥U_t∥²) < ∞,

см. [4], или же supt∈R(E∥X_t∥⁴ + E∥U_t∥⁴) < ∞, см. [3], а также эргодическо-

∫_T

го среднего lim sup_T→∞{(2T )-1

∥U_t∥² dt} < ∞ в [4]. По сравнению с ана-

-T

лизом, проведенным в [3, 4], в настоящей статье представляется ряд обоб-

щений (для случая конечномерных систем управления). Во-первых, вклю-

чается ситуация неограниченного изменения во времени матрицы диффузии

(∥G_t∥ → ∞, t → ±∞), и применяются новые критерии обобщенных долговре-

менных средних (см. (3), (4)), учитывающие этот факт. Во-вторых, задачи

(3) и (4) решаются для гораздо более широкого класса управляющих воздей-

ствий, чем было сделано в [3, 4]: достаточно потребовать существования ре-

∫t

шения (1) и квадратичной интегрируемости управлений, т.е.

∥U_τ ∥² dτ < ∞,

−∞ < s ≤ t < +∞. Важно подчеркнуть, что известная форма оптимальной

стратегии в виде линейной обратной связи по состоянию, структура которой

также включает решение уравнения Риккати (см., например, [1, 3, 4]), сохра-

няется и в рассматриваемом случае для (3) и (4). Для оптимальной траек-

тории, соответствующей такому управлению, в [3] было выявлено свойство

глобальной асимптотической устойчивости в среднем квадратичном. В дан-

ной статье будут получены более точные оценки изменений этого процесса во

времени как в среднем квадратичном смысле, так и с вероятностью единица,

в зависимости от коэффициентов матрицы диффузии, что представляется

обобщением результата [15], где изучался скалярный стационарный процесс.

Таким образом, цель данной статьи — нахождение управления U^∗t, оптималь-

ного в задачах (3) и (4), и исследование свойств соответствующей ему опти-

мальной траектории X^∗t при t → ±∞. Дальнейшее изложение организовано

следующим образом. В разделе 2 вводятся основные предположения о пара-

метрах системы управления (1)-(2) и решается задача (3). Раздел 3 посвящен

проблеме потраекторной оптимальности U^∗ для задачи (4) и стохастическо-

му анализу динамики траектории X^∗. Кроме того, в разделе 3 приводятся

примеры различных классов функций, которые могут описывать изменение

матрицы диффузии G_t в рамках основных предположений. Заключение со-

держит выводы и информацию о направлении дальнейших исследований.

2. Оптимальность в среднем на бесконечном интервале времени

Сначала сформулируем предположения о коэффициентах (1)-(2), в рам-

ках которых будут получены основные результаты.

Предположение AB. Пара матриц (A_t,B_t) является стабилизируе-

мой при t ∈ R.

Стабилизируемость пары (A_t, B_t), см., например, [2, 4], означает суще-

ствование ограниченной матрицы K_t с кусочно-непрерывными элементами,

при которой матрица A_t = A_t + B_tK_t является экспоненциально устойчи-

вой, t ∈ R, т.е. соответствующая ей фундаментальная матрица Φ(t, s) допус-

кает оценку ∥Φ(t, s)∥ ≤ κ₀e-κ(t-s), s ≤ t, κ₀, κ > 0 — константы. При этом,

как известно, фундаментальная матрица определяется из решения задачи

∂Φ(t,s)

= A_tΦ(t,s), Φ(s,s) = I. Далее формулируется предположение отно-

∂t

сительно параметров возмущений, т.е. матрицы G_t, t ∈ R. Введем множество

T = {-∞;+∞;±∞} и запись t → T будем использовать для сокращенного

обозначения ситуаций t → -∞, t → +∞ или t → ±∞.

Предположение G. Для элементов матрицы диффузии G_t выполня-

ется одно из следующих условий:

1) G_t — ограничена при t → T ;

2) ∥G_t∥ → +∞, G_t — дифференцируема, при этом d ln ∥G_t∥/dt → 0, t → T .

Необходимо подчеркнуть, что возможность выполнения условий 1, 2 для

матрицы G_t зависит от того, на какой полуоси (положительной или отрица-

√

тельной) изменяется параметр t ∈ R. В частности, для ∥G_t∥ = e^m

^t, где m —

нечетное число, имеет место условие 1 при t → -∞ и условие 2 при t → +∞.

В условиях предположения AB, см. [2, 4], существует управление

(5)

U^∗t = -R-1tB^′tΠ_tX^∗t,

где ограниченная симметричная матрица Π_t ≥ pI, p > 0 — константа, удов-

летворяет уравнению Риккати

(6)

Π_t + Π_tA_t + A^′tΠ_t - Π_tB_tR-1tB^′tΠ_t + Q_t

= 0.

При подстановке (5) в (1) становится очевидно, что процесс X^∗t, t ∈ R, яв-

ляется решением линейного стохастического дифференциального уравнения

(СДУ)

(7)

dX^∗t = (A_t - B_tR-1tB^′tΠ_t)X^∗tdt + G_tdw_t

и представляет собой аналог процесса Орнштейна-Уленбека при t ∈ R

в случае СДУ с переменными коэффициентами. При этом матрица A^∗t =

= A_t - B_tR-1tB^′tΠ_t — экспоненциально устойчива, см. [2, 4], а ряд других

свойств X^∗t, t ∈ R, устанавливается в лемме 1.

Лемма 1. Пусть выполнены предположения AB и G. Тогда решени-

∫t

ем (7) является процесс вида X^∗t =

Φ(t, s)G_sdw_s, где Φ(t, s) — фундамен-

-∞

тальная матрица, соответствующая экспоненциально устойчивой матри-

це A^∗t = A_t - B_tR-1tB^′tΠ_t. При этом существует константа c_G > 0, такая

что E∥X^∗t∥² ≤ c_G max{1, ∥G_t∥²}, t ∈ R.

Доказательство леммы 1, а также всех последующих утверждений выне-

сено в приложение. В следующей далее теореме 1 приводится результат об

оптимальности в среднем на бесконечном интервале времени управления U^∗.

Теорема 1. Пусть выполнены предположения AB и G. Тогда закон

управления U^∗, задаваемый (5)-(7), является решением задачи

EJ2T (U)

(8)

lim sup

→ inf ,

T→+∞

∫

U ∈U

∥G_t∥² dt

-T

при этом

∫

Π_tG_t)dt

tr(G^′t

EJ2T (U^∗)

-T

(9)

0 < limsup

= lim sup

< ∞,

T→+∞

∫

∥G_t

∥² dtT→+∞

∥G_t∥² dt

−T

-T

где tr(·) — след матрицы.

3. Потраекторная стохастическая оптимальность

В приводимых далее леммах 2 и 3 характеризуются асимптотические свой-

ства траекторий процесса X^∗t, t ∈ R. Знание этих свойств оказывается необ-

ходимым при исследовании стохастической оптимальности управления U^∗ в

задаче (4).

Лемма 2. Пусть выполнены предположение AB и п. 2 предположения G.

Тогда существует константа c > 0, такая что

∥X^∗t∥

lim sup

< c< ∞ с вероятностью единица,

t→T

∥G_t∥² ln |t|

где | · | — модуль скалярной переменной.

Приведенная в лемме 2 функция h_t = ∥G_t∥² ln |t| является мажорантой, т.е.

верхней функцией процесса X^∗t, см. [16, определение 1], при условии выпол-

нения п. 2 предположения G. Для ограниченной G_t, t ≥ 0, результат о виде h_t

был получен ранее в [16], частный случай скалярного стационарного процесса

рассмотрен в [15].

Лемма 3. Пусть выполнены предположение AB и предположение G. Ес-

ли в п. 2 предположения G также d ln ∥G_t∥/dt · ln |t| → 0, t → T , то

∥X^∗-T ∥² + ∥X^∗T∥2

lim

с вероятностью единица.

T→+∞

∫

∥G_t∥² dt

-T

Соотношение в лемме 3 утверждает, что нормировка при помощи Γ_T =

√∫_T

∥G_t∥² dt как прошлых (X^∗-T ), так и последующих (X^∗T ) значений тра-

-T

ектории обеспечит стремление результирующего процесса к нулю п.н. с рос-

том длины “окна” рассматриваемых наблюдений. Заданная таким образом

функция Γ_T определяет среднеквадратичное отклонение компонент вектора

интегральных шумовых воздействий за период [-T, T ], точнее, берется Z_T =

∫_T

Gtdwt и тогда E∥ZT ∥² =

∥G_t∥² dt.

-T

При анализе задачи (4) для случая ∥G_t∥ → ∞, t → T , потребуется вы-

полнение более сильного условия, чем сформулированное в п. 2 предположе-

ния G.

Предположение G1. Пусть в п. 2 предположения G выполнено соот-

ношение dln ∥G_t∥/dt · ln |t|(ln ln |t| + ln ln ∥G_t∥) → 0, t → T , и при этом ∥G_t∥

является монотонной функцией, t → T .

Основным результатом данного раздела является утверждение теоремы 2

о потраекторной оптимальности управления U^∗.

Теорема 2. Пусть выполнены условия теоремы 1 и предположение G1.

∫_T

Если

∥G_t∥² dt → ∞, T → +∞, то оптимальный в среднем закон управ-

-T

ления U^∗ будет также являться решением задачи с потраекторным кри-

терием обобщенного долговременного среднего, т.е.

J2T (U)

(10)

lim sup

→ inf

с вероятностью единица,

T→+∞

∫

U ∈U

∥G_t∥² dt

-T

при этом

J2T (U)

EJ2T (U)

(11)

lim sup

= lim sup

п.н.

T→+∞

∫

∥G_t

∥² dtT→+∞

∥G_t∥² dt

−T

-T

Приведем примеры различных классов функций, описывающих динами-

ку нормы матрицы диффузии G_t. Используемый далее знак отношения

f_t ∼ g_t для двух скалярных неотрицательных функций f_t и g_t означает, что

0 < lim_t→±∞(f_t/g_t) < ∞.

Пример 1.

1. Степенное семейство ∥Gt∥2 ∼ |t|2α, α ∈ R : при α ≤ 0 имеет место

п. 1 предположения G и для α > 0 — п. 2. Так как d ln ∥G_t∥/dt ∼ 1/|t|, а

ln ln ∥G_t∥ ∼ ln |t|, то соотношение в предположении G1 возникает при любом

числе α. При этом условия теоремы 2 будут выполнены для α ≥ -1/2.

2. Логарифмическое семейство ∥G_t∥² ∼ ln2α |t|, β ∈ R : если β ≤ 0, то име-

ет место п.

предположения G и при β > 0 — п. 2. В силу того что

d ln ∥G_t∥/dt ∼ 1/(|t| ln |t|), а функция ln ln ∥G_t∥ ∼ ln ln |t|, требование предпо-

ложения G1 выполняется при любом β. Также для каждого β ∈ R будут вы-

полнены условия теоремы 2.

3. Экспоненциальное семейство ∥G_t∥² ∼ e|t|μ , μ < 1 : при μ ≤ 0 имеет ме-

сто п. 1 предположения G и для μ > 0 — п. 2. Также d ln ∥G_t∥/dt ∼ |t|μ-1

и ln ln ∥G_t∥ ∼ |t|^μ, т.е. соотношение из предположения G1 следует при любом

0 < μ < 1. Очевидно, что условия теоремы 2 выполняются при каждом μ < 1.

4. Заключение

В статье рассмотрена задача стохастического линейного регулятора на

бесконечном интервале времени с двусторонним целевым функционалом и

переменной матрицей диффузии G_t. В двустороннем квадратичном целевом

функционале J2T (U), см. (2), пределы интегрирования имеют противополож-

ный знак и зависят от длины интервала планирования, т.е. t ∈ [-T, T ] в (2),

а затем T → +∞. Показано, что в рамках стандартного условия стабилизи-

руемости детерминированной системы (см. предположение AB) и ограниче-

ниях на рост матрицы диффузии, см. предположения G и G1, известный закон

управления U^∗ в виде линейной обратной связи по состоянию (5)-(7) будет

являться оптимальным по критерию обобщенного долговременного среднего

(теорема 1) и его потраекторного аналога (теорема 2). Также в статье прове-

ден анализ асимптотического вероятностного поведения X^∗t — оптимальной

траектории развития системы, см. уравнение (7). В частности, установле-

но, что верхняя граница изменений X^∗t в среднем квадратичном может быть

определена в зависимости от ∥G_t∥ (лемма 1). В потраекторной динамике най-

дена достаточная нормировка, обеспечивающая стремление значений процес-

са к нулю с вероятностью единица (см. лемму 3) и определяемая через ста-

тистическую характеристику (стандартное отклонение) вектора интеграль-

ных шумовых воздействий. В качестве направления дальнейших исследова-

ний можно выделить изучение задачи трекинга стохастической траектории,

обобщая, например, случай модели [7], где эталонная траектория является

гауссовским процессом.

ПРИЛОЖЕНИЕ

Доказательство леммы 1. Так как X^∗t = Φ(t,0)χ_t, где χ_t =

∫t

Φ(0, s)G_sdw_s, то сначала требуется показать, что существует стоха-

-∞

стический интеграл χ_t с бесконечным нижним пределом, а затем диффе-

ренцированием проверить, что X^∗t удовлетворяет (7). В силу определения

двустороннего винеровского процесса w_t = w(2)-t, t < 0, где wτ2) — стандарт-

ный винеровский процесс, τ ≥ 0, стохастическое исчисление для интегралов

вида χ_t осуществляется по обычным правилам интегрирования по Ито, так-

∫t

же см. [6, с. 13-14]. Для t ≥ 0 процесс X^∗t = Φ(t, 0)X∗0 +

Φ(t, s)G_sdw_s, где

X∗0 = χ₀. Известно, см. [6, теорема 5.1, c. 54], что существование χ_t, t ∈ R, свя-

∫₀

зано с требованием E∥χ₀∥² =

∥Φ(0, s)G_s∥² ds < ∞, которое выполняется

-∞

в силу экспоненциальной устойчивости матрицы A^∗t и предположения G. Дей-

ствительно, ∥Φ(0, s)∥ ≤ κ₀e^κs, s ≤ 0, и lim sup_s→-∞ ∥G_s∥²e^γs < ∞ для любого

γ > 0, тогда, выбирая γ < 2κ, имеем E∥χ₀∥² < ∞. Далее находим, что

∫t

∫

(Π.1)

E∥X^∗t∥² = tr{Φ(t, s)G_sG^′sΦ^′(t, s)} ds ≤ c

e-2κ(t-s)∥G_s∥²

ds,

−∞

-∞

где tr(·) — след матрицы, здесь и далее в качестве c обозначена некоторая

положительная константа, конкретное значение которой несущественно и мо-

жет меняться от формулы к формуле. Из (Π.1) следует, что при ограни-

ченной G_t выражение для E∥X^∗t∥² также будет ограничено, t ∈ R. Если же

∥G_t∥ → +∞, t → T , то при помощи интегрирования по частям, по аналогии

с проделанным в [14, лемма 1] для случая t → +∞, можно показать, что

lim sup_t→T (E∥X^∗t∥²/∥G_t∥²) < ∞. Лемма 1 доказана.

Доказательство теоремы 1. Зафиксируем управление U ∈ U и опре-

делим соответствующий ему процесс по (1). Пусть x_t = X^∗t - X_t, u_t = U^∗t -U_t,

x = X∗0 - X₀, тогда получается представление

(Π.2)

J2T (U^∗) - J2T

(U) =

∫T

∫

= 2x^′T Π_T X^∗T - 2x^′-T Π_-T X^∗-T - (x^′tQ_tx_t + u^′tR_tu_t)dt - 2 x^′tΠ_tG_tdw_t.

-T

Для оценки (Π.2) проводится анализ динамики x_t при t ∈ [-T, T ]. По построе-

нию

(Π.3)

dx_t = A_tx_tdt + B_tu_t

dt.

Пусть сначала t ∈ [0, T ]. Тогда рассмотрение (Π.3) с начальным услови-

ем x₀ = x и предположение Q_t ≥ qI приводят к решению (Π.3) вида x_T =

∫_T

= Φ(T, 0)x +

Φ(T, t)(k√Q_tx_t + B_tu_t)dt, где

Φ(t, s) — фундаментальная

матрица, соответствующая экспоненциально устойчивой матрице

A_t = A_t -

− k√Q_t при некоторой константе k > 0. Оценка приведенного выше соотно-

шения дает

∫T

(Π.4)

∥x_T ∥² ≤ ce^-κT ∥x∥² + c e-κ(T-s)(x^′sQ_sx_s + u^′sR_su_s

)ds

с некоторыми константами c, κ > 0. Для случая t ∈ [-T, 0] уравнение (Π.3)

рассматривается при граничном условии x₀ = x. В силу Q_t ≥ qI существу-

ет константа

k> 0, такая что матрица

A_t = A_t +k√Q_t является экспо-

ненциально антиустойчивой, т.е. ∥Φ(s, t)∥ ≤ κe-κ1(t-s), s ≤ t, а κ, κ₁ > 0 —

константы. Тогда, представив решение (Π.3) в виде x_-T =Φ(-T, 0)x -

∫₀

Φ(-T, s)(k√Q_sx_s + B_su_s)ds, будем при некоторой константе c>0

-T

иметь оценку

∫⁰

(Π.5)

∥x_-T ∥² ≤ ce-κ1T ∥x∥² + c e-κ1(T+s)(x^′sQ_sx_s + u^′sR_tu_s

)ds.

-T

Тогда ограниченность Π_t, t ∈ R, в совокупности с элементарным неравен-

ством 2ab ≤ ca2 + b2/c, которое справедливо при произвольном c > 0, и

(Π.4)-(Π.5) приводят к следующей оценке для ожидаемого значения (Π.2):

EJ2T (U^∗) - EJ2T (U) ≤ c₀e-κ1 ∥x∥² + c₁E∥X^∗T ∥² + c₂E∥X^∗-T ∥²

с некоторыми константами κ₁, c₀, c₁, c₂ > 0. Применение нормировки

∫_T

∥G_t∥², с учетом результата леммы 1 и условий предположения G, в

-T

предельном переходе для T → +∞, обеспечивает выполнение соотношения

EJ2T (U^∗)

EJ2T (U)

lim sup

≤ lim sup

T→+∞

∫

∥G_t

∥G_t∥² dt

−T

-T

показывающего, что U^∗ является решением задачи (3). Следует заметить, что

для процессов, определенных при всех t ∈ R, как в (7), решение соответствую-

∫t

щего уравнения представляется в интегральном виде X^∗t = X^∗s +

A^∗τX^∗τdτ +

∫t

Gτ dwτ при произвольном s ∈ R, s ≤ t. Тогда по замечанию [17, замеча-

ние 4.3.7, c. 99] известные результаты, в частности справедливость формулы

Ито, могут быть распространены на случай таких процессов. Далее, по фор-

муле Ито

(Π.6)

J2T (U^∗

∫T

∫

= [(X^∗-T )^′Π_-T X^∗-T ] - [(X^∗T )^′Π_T X^∗T ] + tr(G^′tΠ_tG_t) dt + 2 (X∗t )^′Π_tG_tdw_t.

-T

На основании неравенства из леммы 1 и свойства pI ≤ Π_t ≤ cI, t ∈ R, выписы-

∫_T

вается двусторонняя оценка для ожидаемого значения (Π.6): ĉ₁

∥G_t∥² dt ≤

-T

∫_T

≤ EJ2T (U^∗) ≤ ĉ₂

∥G_t∥² dt при некоторых константах ĉ₁, ĉ₂ > 0, из которой

-T

следует (9). Теорема 1 доказана.

Доказательство леммы

2. Для случая T = +∞ процесс X^∗t =

X∗

∫t

= Φ(t,0)X∗0 +X∗t , где

Φ(t, s)G_sdw_s, t ≥ 0. В [14, лемма 2] было по-

казано, что ∥X∗t∥² ≤ c₀∥G_t∥² ln t п.н. при t → +∞ и детерминированной кон-

станте c₀ > 0. Так как X∗0 — случайная величина, а ∥Φ(t, 0∥ ≤ κ₀e^-κt, то

из приведенного выше результата для ∥X∗t∥² сразу получается утвержде-

ние доказываемой леммы. При T = -∞ сначала рассмотрим скалярный про-

цесс z_t с уравнением динамики dz_t = -κz_tdt + σ_tdw_t, κ > 0, и коэффициен-

том диффузии σ_t со свойствами из условия леммы 2. Тогда z_t = e^-κtI_t, где

∫t

I_t =

e^κsσ_sdw_s. В стохастическом интеграле I_-T , T ≥ 0, можно провести

-∞

замену времени τ = -1/s и учесть, что τw-1/τ = ŵ_τ , где ŵ_τ , τ ≥ 0, — другой

винеровский процесс, см., например, [18, с. 94]. Поэтому

∫

(

)

dŵ_τ

ŵ_τ

I_-T = e^-κ/τσ-1/τ

dτ

τ²

При T → +∞ для оценки слагаемых в I_-T может использоваться локаль-

ный закон повторного логарифма [18, следствие 3, с.

93]. Пусть I(1)T =

∫1/T

e^-κ/τ σ-1/τ dŵττ , тогда |IT1)| ≤ ĉ1hT1) при hT1) =^√MT ln ln(1/MT ), MT =

∫1/T

e-2κ/τ σ² dτ-1/τ

и некоторой константе

ĉ₁ > 0. Для процесса I(2)T =

τ²

∫1/T

e^-κ/τ σ-1/τ ŵ^τ

dτ при T → +∞ будет иметь место оценка |I(2)T| ≤ ĉ₂h(2)T,

τ²

√

∫1/T e^-κ/τ

τ ln ln(1/τ)

где h(2)T =

|σ-1/τ |dτ и ĉ₂ > 0 — некоторая константа.

τ²

При помощи правила Лопиталя нетрудно показать, что

(

)

√(

)

h(1)T + h⁽²⁾

e2κT σ2-T ln T

→ c, T → +∞.

√

Тогда lim supT→+∞{|z_T |/ (σ2-T ln T )} < ∞, и использование этой оценки для

∫_-T

каждой из компонент вспомогательного процесса

X_-T =

eκ(T+s)G_sdw_s

-∞

приводит к тому, что существует константа

√> 0, при которой

lim supT→+∞{∥X-T ∥/h_T } < ĉ < ∞ п.н., если h_T =

∥G_-T ∥² ln T . Далее,

для процесса разности Z_t = X^∗t -Xt с уравнением динамики dZ_t = A^∗tZ_tdt +

∫t

+(κI - A^∗t)Xtdt и решением Z_t =

Φ(t, s)(κI - A^∗s)Xs ds стандартным

-∞

образом показывается, см., например, [16], что экспоненциальная устойчи-

вость A^∗t иht/h_t → 0 гарантируют ограниченность отношения ∥Z_t∥/h_t при

t → -∞, откуда следует, что и limsup_t→-∞{∥X∗t ∥/h_t} < c< ∞ для h_t =

√

∥G_t∥² ln |t|. Лемма 2 доказана.

Доказательство леммы 3. В условиях п. 2 предположения G ис-

пользование результата леммы 2 в совокупности с требованием d ln ∥G_t∥/dt×  

}



∫t



× ln |t| → 0, t → T , приводит к тому, что lim_t→T

∥X^∗t∥²/

∥G_s∥² ds

≤

{



}



∫t



≤ clim_t→T

∥G_t∥² ln |t|/

∥G_s∥² ds

=0 с вероятностью единица. Если мат-

рица диффузии G_t ограничена, то при T = +∞ вновь используется представ-

∫_T

ление X^∗T = Φ(T, 0)X∗0 +X∗T , гдеX∗T =

Φ(T, s)G_sdw_s, T ≥ 0, и известный ре-

∫_T

зультат [13, теорема 1], согласно которому ∥X∗T ∥²/

∥G_s∥²ds → 0 п.н., T →

→+∞. Тогда, принимая во внимание наличие убывающей экспоненциаль-

∫_T

ной оценки для ∥Φ(T, 0)∥, получаем соотношение ∥X^∗T ∥²/

∥G_s∥²ds → 0, T →

-T

∫₀

→+∞. Для T =-∞ представление ∥X^∗-T ∥² =∥X∗0∥²-

(X^∗t)^′(A_t +A^′t)X^∗tdt-

-T

∫₀

−

(X^∗t)^′G_tdw_t -

(dw_t)^′G^′tX^∗t -

∥G_t∥² dt позволяет применить при

-T

анализе слагаемых результаты [13, лемма 1, ле ма 2] с подынтегральной за-

∫₀



меной времени τ = -t, и тогда также ∥X^∗-T ∥²/

∥G_s∥² ds → 0, T → +∞.

-T

Лемма 3 доказана.

Доказательство теоремы 2. Для оценки (Π.2) используются полу-

ченные неравенства (Π.4) и (Π.5). Замена T на t в (Π.4), (-T ) на t — в (Π.5) и

последующее интегрирование этих соотношений на [0, T ] и [-T, 0] приводят к

∫

(Π.7)

∥x_t∥² dt ≤ c₁∥x∥²

+c₁

(x^′tQ_tx_t + u^′tR_tu_t

)dt

и соответственно к

∫

(Π.8)

∥x_t∥² dt ≤ c₁∥x∥²

+c₁

(x^′tQ_tx_t + u^′tR_tu_t

)dt

−T

-T

при некоторых константах c₁, c₁ > 0. Тогда (Π.2) можно оценить как

J2T (U^∗) ≤ J2T (U) + c₀∥x∥² + c₁∥X^∗T ∥² + c₂∥X^∗-T ∥²-

∫T

∫

−c₃

∥x_t∥² dt - 2 x^′tΠ_tG_tdw_t,

-T

где c₀, c₁, c₂, c₃ > 0 — некоторые константы, а затем записать, что

(Π.9)

J2T (U^∗) ≤ J2T (U) + R(0)T + R(+)T + R(-)T,

∫_T

где процессы R(0)T = c₀∥x∥² + c₁∥X^∗T ∥² + c₂∥X^∗-T ∥², R⁽⁺⁾

= -c₃₀ ∥x_t∥² dt-

∫_T

−2

x^′tΠ_tG_tdw_t, R(-)T = -R(+)-T. Так как выполнены предположения G, G1

∫_T

∥G_t∥² dt → ∞, T → +∞, то с учетом леммы 3 имеем

-T

⎧

⎫

⎨

∕∫T

⎬

lim

R⁽⁰⁾

∥G_t∥² dt

п.н.

T→+∞ ⎩

⎭

−T

Далее рассматривается поведение процессов R(+)T и R(-)T при T → +∞. Для

ограниченной G_t, t ≥ 0, известно, см., например, [12], что lim sup{R(+)T/gT } ≤ 0

t→+∞

п.н. для любой функции g_T > 0 и g_T → ∞, t → +∞. По условию в качестве

∫_T

нормировки g_T можно взять g_T =

∥G_t∥² dt. Если имеет место п. 2 предпо-

-T

ложения G и предположение G1, то после использования закона повторного

логарифма для стохастических интегралов, см., например, [19], R(+)T оцени-

вается в виде |R(+)T| ≤ L_T , T → +∞, где

⎛

⎞

0∫T

∫

L_T = ĉ₁∥G_T ∥²√ ∥xt∥2 dt ln ln ⎝

∥x_t∥² dt^⎠-

∫T

-ĉ₂

∥x_t∥²dt + ĉ₃∥G_T ∥² ln ln ∥G_T ∥,

ĉ₁, ĉ₂, ĉ₃

— некоторое константы. Применяя аналогичные рассужде-

ния как и при доказательстве в [14, лемма 3], можно определить, что

L_T ≤ c∥G_T ∥² ln ln ∥G_T ∥, и тогда lim supt→+∞{R(+)T/g_T } = 0 п.н. при g_T =

= ∥G_T ∥² ln ln ∥G_T ∥. Из этого результата и предположения G1 следует, что_{

}

∫

limT→+∞ g_T /

∥G_t∥² dt

= 0 п.н. Также необходимо отметить, что резуль-

-T

таты по выбору нормировок g_T для процесса R(-)T получаются на основе со-

ответствующих соотношений, приведенных выше для R(+)T, если произвести

замену времени τ = -t в подыинтегральных выражениях. Тогда с учетом

этих замечаний из (Π.9) в пределе при T → +∞ приходим к неравенству

J2T (U^∗)

J2T (U)

lim sup

≤ lim sup

с вероятностью единица.

T→+∞

∫

∥G_t

∥² dtT→+∞

∥G_t∥² dt

−T

-T

Далее, переходя к (Π.6), принимая во внимание (9) и результат леммы 3,

очевидно, что для доказательства (11) необходимо исследовать поведение

∫T

I_T = (X^∗t)^′Π_tG_t dw_t = I(+)T + I(-)T,

-T

∫_T

где I(+)T =

(X^∗t)^′Π_tG_t dw_t, I(-)T = -I(+)-T. Точнее, требуется проанализиро-

∫_T

вать I(+)T/Γ_T , с Γ_T =

∥G_t∥² dt, при этом случай I(-)T/|Γ_-T | рассматрива-

ется аналогичным образом путем замены времени. Для ограниченной G_t,

t ≥ 0, как было показано в [13], отношение I(+)T/Γ_T → 0 п.н. при T → +∞.

Для ∥G_t∥ → ∞, t → +∞, и соотношений в предположении G1 используется

закон повторного логарифма для стохастических интегралов, см. [19], когда

{

√

}

∫_T

lim sup

|I(+)T|/

〈I(+)T〉 ln ln〈I(+)T〉

<∞ п.н., где 〈I(+)T〉=

∥X^∗t∥²∥G_t∥²∥Π_t∥²dt.

T→+∞

Применение леммы 2 в совокупности с монотонностью ∥G_t∥ дает оценки

∫_T

〈I(+)T〉 ≤ c∥G_T ∥²

∥G_t∥²dt ln T и ln ln〈I(+)T〉 ≤ c(ln ln T + ln ln ∥G_T ∥). Тогда

〈I(+)T〉 ln ln〈I(+)T〉 / Γ2T ≤ c∥G_T ∥² (ln ln T + ln ln ∥G_T ∥) ln T / Γ_T → 0, T → +∞

(здесь равенство нулю получено вследствие предположения G1), поэтому

I(+)T/Γ_T → 0 с вероятностью единица. С учетом изложенного

∫T

I_T /

∥G_t∥² dt → 0 п.н., T → +∞,

-T

и имеет место (11). Теорема 2 доказана.

СПИСОК ЛИТЕРАТУРЫ

1. Квакернаак X., Сиван P. Линейные оптимальные системы управления. М.: Нау-

ка, 1977.

Mueller M., Cantoni M. Normalized Coprime Representations for Time-Varying

Linear Systems // Proc. 49th IEEE Conf. on Decision and Control. N.Y., 2010.

P. 7718-7723.

Tudor C. Quadratic Control for Linear Stochastic Equations with Pathwise Cost //

Stochastic Systems and Optimization. Proc. 6th IFIP WG 7.1 Working Conf.

Warsaw, Poland, September 12-16, 1988. Berlin: Springer, 1989. P. 360-369.

Da Prato G., Ichikawa A. Quadratic Control for Linear Time-Varying Systems //

SIAM J. Control Optim. 1990. V. 28. No. 2. P. 359-381.

Makila P.M. Convoluted Double Trouble // IEEE Contr. Syst. Mag. 2002. V. 22.

No. 4. P. 26-31.

Nourdin I. Selected aspects of fractional Brownian motion. Milan: Springer, 2012.

Altman E., Basar T., Hovakimyan N. Worst-Case Rate-Based Flow Control with

an ARMA Model of the Available Bandwidth // Advances in Dynamic Games and

Applications. Boston: Birkhauser, 2000. P. 3-29.

Sun T., Nielsen S.R.K. Stochastic Optimal Control of a Heave Point Wave Energy

Converter Based on a Modified LQG Approach // Ocean Eng. 2018. V. 154.

P. 357-366.

Grimble M.J., Johnson M.A. Optimal control and stochastic estimation: theory and

applications. V. 2. N.Y.: John Wiley & Sons, 1986.

10.

Smith P.L., McKenzie C.R.L. Diffusive Information Accumulation by Minimal

Recurrent Neural Models of Decision Making // Neural Comput. 2011. V. 23. No. 8.

P. 2000-2031.

11.

Lim S.C., Muniandy S.V. Self-Similar Gaussian Processes for Modeling Anomalous

Diffusion // Phys. Rev. E. 2002. V. 66. No. 2. P. 021114.

12.

Белкина Т.А., Паламарчук Е.С. О стохастической оптимальности для линейного

регулятора с затухающими возмущениями // АиТ. 2013. № 4. С. 110-128.

Belkina T.A., Palamarchuk E.S. On Stochastic Optimality for a Linear Controller

with Attenuating Disturbances // Autom. Remote Control. 2013. V. 74. No. 4.

P. 628-641.

13.

Паламарчук Е.С. Асимптотическое поведение решения линейного стохасти-

ческого дифференциального уравнения и оптимальность почти наверное для

управляемого случайного процесса // Журн. вычислит. математики и мат. фи-

зики. 2014. Т. 54. № 1. С. 89-103.

Palamarchuk E.S. Asymptotic Behavior of the Solution to a Linear Stochastic

Differential Equation and Almost Sure Optimality for a Controlled Stochastic

Process // Comput. Math. Math. Phys. 2014. V. 54. No. 1. P. 83-96.

14.

Паламарчук Е.С. Оценка риска в линейных экономических системах при от-

рицательных временных предпочтениях // Экономика и матем. методы. 2013.

Т. 49. № 3. С. 99-116.

15.

Al-Azzawi S., Liu J., Liu X. Convergence Rate of Synchronization of Systems with

Additive Noise // Discrete Contin. Dyn. Syst. Ser. B. 2017. V. 22. No. 2. P. 227-245.

16.

Паламарчук Е.С. Об обобщении логарифмической верхней функции для реше-

ния линейного стохастического дифференциального уравнения с неэкспоненци-

ально устойчивой матрицей // Дифференциальные уравнения. 2018. Т. 54. № 2.

С. 195-195.

Palamarchuk E.S. On the Generalization of Logarithmic Upper Function for

Solution of a Linear Stochastic Differential Equation with a Nonexponentially Stable

Matrix // Differ. Equat. 2018. V. 54. No. 2. P. 193-200.