Автоматика и телемеханика, № 2, 2019

Стохастические системы

(Национальный исследовательский университет

“Высшая школа экономики”, Москва;

Центральный экономико-математический институт РАН, Москва)

О ЗАДАЧЕ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ

ЛИНЕЙНОЙ СТОХАСТИЧЕСКОЙ СИСТЕМОЙ

С НЕОГРАНИЧЕННОЙ НА БЕСКОНЕЧНОСТИ

НЕУСТОЙЧИВОЙ МАТРИЦЕЙ СОСТОЯНИЯ¹

Рассматривается задача управления на бесконечном интервале време-

ни линейной стохастической системой с неустойчивой асимптотически

неограниченной матрицей состояния. Понятие антиустойчивости матри-

цы обобщается на случай неэкспоненциальной антиустойчивости, и вво-

дится функция темпа антиустойчивости как характеристика роста нор-

мы соответствующей фундаментальной матрицы. Показывается, что ли-

нейный установившийся закон управления является оптимальным по

критерию скорректированного обобщенного долговременного среднего.

Построенный критерий в явном виде включает информацию о темпе ан-

тиустойчивости и параметрах возмущающего процесса. Проводится ана-

лиз условий оптимальности.

Ключевые слова: стохастический линейно-квадратический регулятор, ан-

тиустойчивость, неустойчивость, суперэкспоненциальный рост, уравнение

Риккати.

DOI: 10.1134/S0005231019020041

1. Введение

Стабилизация неустойчивых систем относится к числу важных задач, ре-

шаемых в теории управления [1-7]. Требование к свойству устойчивости как

независящему от конкретного горизонта приводит к рассмотрению постано-

вок на бесконечном временном интервале. Для линейных систем возможность

стабилизации и наличие приводящего к стабилизации оптимального управ-

ления напрямую связаны с характером изменения коэффициентов систем.

Стандартным предположением при этом является ограниченность парамет-

ров по времени, см. [1] и [8, с. 267]. Тем не менее существуют примеры си-

стем см., например, [9-13], не удовлетворяющих указанному выше условию,

что порождает необходимость отдельного исследования соответствующих си-

туаций. Далее описывается система управления, рассматриваемая в данной

статье.

¹ Исследование выполнено за счет гранта Российского научного фонда (проект №17-11-

01098) в Национальном исследовательском университете “Высшая школа экономики”.

Пусть на полном вероятностном пространстве {Ω, F, P} задан n-мерный

случайный процесс X_t = X_t(ω), t ≥ 0, ω ∈ Ω, описываемый уравнением

(1)

dX_t = A_tX_tdt + B_tU_tdt + G_tdw_t, X₀

= x,

где начальное состояние x неслучайно; w_t = w_t(ω), t ≥ 0, — d-мерный стан-

дартный винеровский процесс; U_t = U_t(ω) — управление или k-мерный слу-

чайный процесс; A_t, B_t, G_t, t ≥ 0, — детерминированные матричные функции

времени таких размеров, при которых (1) имеет смысл. В качестве допусти-

мых управлений U_t = U_t(ω) рассматриваются случайные процессы, согласо-

ванные с фильтрацией {F_t}t≥0, F_t = σ{w_s, s ≤ t} (σ(·) — знак σ-алгебры),

такие, что уравнение (1) имеет решение и при этом U_t(ω) - с вероятностью

∫t

единица квадратично интегрируем, т.е.

∥U_s(ω)∥² ds < ∞ почти наверное

для любого t ≥ 0 (∥ · ∥ - евклидова норма). Множество допустимых управ-

лений обозначим через U. Вводимые в дальнейшем переменные, являющиеся

функциями времени t и характеризующие элементы системы управления, бу-

дут пониматься как неслучайные, если это не оговорено особо, как это было

сделано для п∫оцессов Xt = Xt(ω), wt = wt(ω) и Ut = Ut(ω). При этом также

∞

полагаем, что

∥G_t∥² dt > 0, матрица B_t - ограничена; матрица A_t являет-

ся неограниченной на бесконечности, т.е. ∥A_t∥ → ∞ при t → ∞. Важно под-

черкнуть, что основное предположение относительно матрицы состояния A_t

касается отсутствия у нее свойства асимптотической устойчивости. Также

известно, см. [14-16], что для матриц с зависящими от времени элементами

наряду с экспоненциальной устойчивостью рассматривается и более общее

понятие устойчивости с переменным темпом δ_t. Cформулируем необходимые

в данном случае определения.

Определение 1 (см. [16]). Матрица

A_t является устойчивой с тем-_∫

пом δ_t, если существует функция δ_t > 0, при t ≥ 0, lim_t→∞

δ_v dv → ∞, та-

кая что lim sup_t→∞ (

A_t∥/δ_t) < ∞, и для фундаментальной матрицыΦ(t,s),

∫t

соответствующей

A_t, справедлива оценка

∥Φ(t,s)∥ ≤ κexp{-

δ_v dv},

0 ≤ s ≤ t, с некоторой константой κ > 0. Если δ_t ≡ const, то устойчи-

вость - экспоненциальная, при δ_t → 0 - субэкспоненциальная и при δ_t → ∞ -

суперэкспоненциальная, где t → ∞.

Следующее определение выступает естественным обобщением известного

понятия экспоненциальной антиустойчивости, см. [17].

Определение 2. Матрица A_t называется антиустойчивой с тем-

пом δ_t (или δ_t-антиустойчивой), если матриц

A_t = -A^′t (^′ - знак транспо-

нирования) является устойчивой с темпом δ_t. При этом экспоненциальная,

субэкспоненциальная или суперэкспоненциальная антиустойчивости харак-

теризуются в соответствии с определением 1.

Далее приводятся основные предположения относительно параметров си-

стемы (1), в рамках которых будут получены основные утверждения статьи.

Предположение A. Матрица A_t является суперэкспоненциально ан-

тиустойчивой с темпом δ_t, при этом δ_t - неубывающая дифференцируемая

функция, t ≥ 0, и lim_t→∞(δt/δ2t) = 0 (знак ˙ - производная функции по време-

ни).

Предположение B. Матрица B_t такая, что B_tB^′t ≥ bI при t ≥ 0, где

b > 0 - некоторая константа (запись A ≥ B для матриц означает, что раз-

ность A - B неотрицательно определена).

Условия в предположениях A и B более подробно обсуждаются в разделе 2.

Для каждого T > 0 в качестве целевого функционала определим случай-

ную величину J_T (U):

∫T

(2)

J_T (U) = (X^′tQ_tX_t + U^′tR_tU_t

)dt,

где U ∈ U - допустимое управление на интервале [0, T ]; Q_t ≥ qI, R_t ≥ ρI,

t ≥ 0, - ограниченные симметричные матрицы, q,ρ - некоторые положитель-

ные константы. Необходимо отметить, что под стабилизацией системы (в ши-

роком смысле) может пониматься поддержание траектории ее развития вбли-

зи заданного уровня в течение планового периода путем выбора управляю-

щих воздействий, см., например, [18, ч. 3]. Рассмотрение такого подхода так-

же объясняет использование (2) при оценке качества управления. Действи-

тельно, (2) измеряет совокупные потери, возникающие из-за отклонения X_t

от нулевого состояния и, кроме того, учитывает издержки применения соот-

ветствующей стратегии.

Далее требуется сформулировать задачу управления, включающую опти-

мизацию EJ_T (U) при T → ∞ (E(·) - оператор взятия математического ожи-

дания), что возможно сделать, подобрав подходящую нормировку ожидае-

мого значения целевого функционала, и тогда соответствующее оптималь-

ное управление называется оптимальным в среднем на бесконечном интерва-

ле времени. Основываясь на известных результатах [8, c. 306; 19-21], можно

ожидать, что получаемая таким образом стратегия будет иметь форму опти-

мального установившегося закона [8], определяемого на основе решения урав-

нения Риккати, и при этом будет стабилизировать систему. В данном случае

проблема стабилизации рассматривается в контексте, специфичном для ли-

нейных стохастических систем управления с аддитивным шумом, который

не зависит от состояния или управления. Оптимальная стратегия призва-

на обеспечивать стабилизацию долгосрочных потерь в смысле минимизации

роста ожидаемого значения целевого функционала (2), характеристику дан-

ного подхода см., например, в [22, гл. 3]. С учетом изложенного цель данной

статьи - нахождение управления, являющегося решением задачи

EJ_T (U)

(3)

lim sup

→ inf ,

T→∞

∫

U ∈U

δ_t∥G_t∥² dt

где δ_t - функция, задающая темп антиустойчивости матрицы A_t из урав-

нения динамики состояния (1), см. предположение A. Методика построе-

ния критерия в (3) и необходимая аргументация будут даны в разделе 3.

В разделе 3 также приводятся дополнительные условия на коэффициенты,

гарантирующие возможность достижения устойчивости траекторий в стоха-

стической системе посредством применения управления, которое выступает

решением (3). Статья организована следующим образом. В разделе 2 прово-

дится обсуждение приведенных ранее предположений на параметры системы.

В разделе 3 формулируется основной результат о существовании управле-

ния U^∗ в форме линейного установившегося закона, являющегося решением

задачи (3) с соответствующим критерием, который относится к типу скор-

ректированных обобщенных долговременных средних. Также показывается,

что U^∗ будет стабилизирующим управлением в детерминированной системе.

Раздел 4 посвящен анализу технического условия, необходимого для уста-

новления оптимальности U^∗, и примерам. Заключение содержит основные

выводы и описание возможных направлений дальнейших исследований.

2. Об основных предположениях на параметры

Обсудим сформулированные ранее предположения на параметры системы

управления (1)-(2). Основное внимание уделим специфике предположений A

и B. При этом предположение A касается свойств неограниченной на беско-

нечности матрицы A_t в (1) и связано с определениями 1 и 2. В определении 1

функция δ_t задает темп убывания верхней оценки нормы фундаменталь-

ной матрицы (при фиксированном s), выступает в качестве характеристики

асимптотической устойчивости и носит название темпа устойчивости. Экспо-

ненциальная устойчивость имеет место для δ_t ≡ const. Если δ_t → 0 при t → ∞,

то возникает субэкспоненциальный тип устойчивости, а при δ_t → ∞ - супер-

экспоненциальный, данная терминология была введена в [14]. Для неограни-

ченных матриц определение понятия суперэкспоненциальной устойчивости

позволяет дать более полную характеристику поведения решений соответ-

ствующих линейных уравнений, так как в данном случае экспоненциально

убывающая верхняя оценка с произвольным постоянным темпом (соответ-

ствующая экспоненциальной устойчивости) оказывается неинформативной,

как отмечалось в [1]. В этой связи суперэкспоненциально устойчивые мат-

рицы также естественно будет назвать суперустойчивыми или сверхустой-

чивыми, см. [19]. Для неустойчивых матриц приведенные в определении 1

требования не выполняются. В частности, возможно асимптотически неогра-

ниченное возрастание нормы фундаментальной матрицы. В целях уточнения

характера неустойчивости используется понятие антиустойчивости, связан-

ное с теорией операторов, см., например, [17, с. 11]. Обращаясь далее к со-

ответствующему определению 2, нетрудно заметить, что экспоненциальная

антиустойчивость соответствует δ_t ≡ const определения 2, если δ_t → 0 имеем

субэкспоненциальную антиустойчивость, а при δ_t → ∞ матрица A_t является

суперэкспоненциально антиустойчивой. Суперэкспоненциальную антиустой-

чивость также можно охарактеризовать как сверхнеустойчивость. Действи-

тельно, воспользовавшись фактом, что фундаментальная матрица Φ(t, s) для

A_t является решением задачи

∂Φ(t,s)

= A_tΦ(t,s), Φ(s,s) = I,

∂t

где I - единичная матрица,Φ(t, s) = Φ^′(s, t), при этомΦ(t, s) задается для

A_t = -A^′t (Φ(s,t) = Φ-1(t,s), см. также [17, с. 2]), нетрудно заметить, что

следствием приведенной в определении 1 верхней оценки будет являться су-

перэкспоненциально растущая нижняя граница по параметру t для Φ(t, s)

при фиксированном s ≥ 0:

⎧

⎫

⎨∫t

⎬

∥Φ(t, s)∥ ≥ (1/κ) exp

δ_v dv

0 ≤ s ≤ t.

⎩

⎭

Очевидно, что любая антиустойчивая матрица является также неустойчивой,

но обратное неверно. Предположим, что рассматриваются матрицы 2 × 2:

A(1)t = (2t 0; 0 - 2t), A(2)t = (2t 0; 0 2t) (; - разделитель строк),

√

∥A(1)t∥ = ∥A(2)t∥ = 2

2t.

При этом

(

)

Φ⁽¹⁾(t,s) =

exp(t² - s²) 0 ; 0 exp(-t² + s²)

(

)

Φ⁽²⁾(t,s) =

exp(t² - s²) 0 ; 0 exp(t² - s²)

и ∥Φ⁽¹⁾(t, s)∥ → ∞, ∥Φ⁽²⁾(t, s)∥ → ∞, если t → ∞, т.е. обе матрицы неустойчи-

вы. Однако если взять

A(1)t = -(A(1)t)^′ и

A(2)t = -(A(2)t)^′, то

A(1)t = (-2t 0; 0 2t),

A(2)t = (-2t 0; 0 - 2t),

тогда

Φ⁽¹⁾(t, s) = (exp(-t² + s²) 0 ; 0 exp(t² - s²)), что также соответствует

неустойчивой матрице, аΦ(2)(t, s) = (exp(-t² + s²) 0 ; 0 exp(-t² + s²)) будет

характеризовать суперэкспоненциальную устойчивость. Таким образом, из

двух неустойчивых матриц A(1)t и A(2)t матрица A(2)t - антиустойчива, а A(1)t -

не антиустойчива.

Введенное предположение B задает условия, предъявляемые к матрице B_t,

которая характеризует вклад управляющего воздействия в динамику состоя-

ния системы. Как будет показано далее, предположение B обеспечит воз-

можность суперэкспоненциальной стабилизации линейной детерминирован-

ной системы, т.е. найдется кусочно-непрерывная матрица K_t, такая что мат-

рица A_t + B_tK_t будет суперэкспоненциально устойчивой. Построение законов

управления в виде обратной связи по состоянию является распространенным

подходом, применяемым для стабилизации не только линейных [1, 3, 7, гл. 6],

но также и нелинейных систем, см. [2, 23]. Необходимо отметить ряд особен-

ностей рассматриваемой системы (1), не позволяющих использовать пред-

ложенные ранее методы. Во-первых, ситуация ∥A_t∥ → ∞ при t → ∞ нахо-

дится за пределами случаев стабилизируемости автономных систем и систем

с ограниченными коэффициентами, например, [1, 3]. Во-вторых, требование

суперэкспоненциальной стабилизации с возможностью ∥K_t∥ → ∞ при t → ∞

не удовлетворяет ключевым предположениям, сформулированным для си-

стем с ∥A_t∥ → ∞ в [5, 6, 24]. Также необходимо отметить, что стандартное

условие, достаточное для стабилизируемости систем с ограниченными ко-

эффициентами, а именно - управляемость пары матриц (A_t, B_t), см. [1], в

случае ∥A_t∥ → ∞ при t → ∞ может обеспечить лишь неравномерную по вре-

мени стабилизацию (тогда в определении 1 κ = κ(s) является функцией s

и κ(s) → ∞ для s → ∞), как было показано в [13, 15]. Вследствие этого в

рассматриваемой ситуации относительно параметров системы и формулиру-

ется предположение B.

3. Основные результаты

Как отмечалось в [19], определение оптимального в среднем управления U^∗

на бесконечном интервале времени осуществляется посредством нахождения

решения задачи вида

(4)

lim supEKT (U) → inf ,

T→∞

U ∈U

где EK_T (U) - математическое ожидание некоторого функционала K_T (U), за-

висящего от допустимого управления U ∈ U и длины интервала планирова-

ния T . В качестве примера можно привести известный критерий долговре-

менного среднего EK_T (U) = EJ_T (U)/T для (1)-(2) с ограниченными коэф-

фициентами, который затем обобщался и корректировался в [19, 20, 25], в

направлении уточнения нормировки EJ_T (U) и отражения специфики факто-

ров, влияющих на динамику систем. Определенный в данном исследовании

критерий, см. (3), также относится к классу долговременных средних. Отме-

тим, что при построении критерия в (4) и его последующем анализе исполь-

зуется подход (подробную характеристику см. также в [19]), основанный на

определении установившегося закона управления U^∗t = -R-1tB^′tΠ_tX^∗t, струк-

тура которого содержит решение уравнения Риккати (при условии, что оно

существует):

(5)

Π_t + Π_tA_t + A^′tΠ_t - Π_tB_tR-1tB^′tΠ_t + Q_t

= 0.

Под решением (5) понимается такая функция Π_t, которая при подстановке

в (5) дает верное равенство. В [19, 21, 26] указывалось, что подходящая норми-

ровка ожидаемого значения функционала EJ_T (U) для критерия в (4) вклю-

чает оценку изменения Π_t, применяемую затем для корректировки диспер-

∫_T

сии интегральных шумовых воздействий

∥G_t∥² dt. В частности, в [19] было

установлено, что lim sup_t→∞(∥Π_t∥δ_t) < ∞, где δ_t - найденный темп устойчиво-

сти, что способствовало введению критерия скорректированного обобщенного

долговременного среднего с

∕∫T

EK_T (U) = EJ_T (U)

(1/δ_t)∥G_t∥² dt.

Для случая системы управления (1)-(2) при условии выполнения предполо-

жений A и B соответствующее исследование, касающееся уравнения Риккати

и определения критерия, проводится далее, а затем доказывается оптималь-

ность U^∗ с точки зрения построенного критерия. В следующем утвержде-

нии устанавливается существование симметричного неотрицательно опреде-

ленного решения уравнения Риккати (5), оценивается порядок его измене-

ния и определяются стабилизирующие свойства линейного закона управле-

ния u_t = -R-1tB^′tΠ_tx_t в детерминированной системе dx_t = A_tx_tdt + B_tu_tdt.

Лемма. Пусть выполнены предположения A и B. Тогда существует аб-

солютно непрерывная функция Π_t, t ≥ 0, с значениями в множестве неот-

рицательно определенных симметричных матриц, удовлетворяющая урав-

нению Риккати (5), при этом c₁δ_tI ≤ Π_t ≤ c₂δ_tI, где c₁,c₂ > 0 - некоторые

константы. Матрица A_t - B_tR-1tB^′tΠ_t являетсяδt-суперэкспоненциально

устойчивой сδt = λδ_t, где δ_t - темп антиустойчивости матрицы A_t, а λ -

некоторая положительная константа.

Доказательства леммы и последующих утверждений вынесены в Прило-

жение.

Замечание 1. В условиях леммы функция Π_t ≥ 0 при t ≥ 0, удовлетво-

ряющая (5), может быть получена как предел при T → ∞ решений Π^Tt урав-

нения (5) с граничным условием Π^TT = 0 (здесь верхний индекс^T обознача-

ет решение уравнения при граничном условии), т.е. lim_T→∞ Π^Tt = Π_t. Для

систем с ограниченными коэффициентами данный факт хорошо известен,

см. [8, теорема 3.5, с. 267], а в рассматриваемом случае справедливость тако-

го предельного перехода устанавливается при доказательстве леммы.

При исследовании оптимальности установившегося закона управления U^∗

в стохастической системе потребуется следующее техническое условие, свя-

зывающее допустимые матрицу диффузии G_t и темп антиустойчивости δ_t:

Предположение G.

δ2T ∥G_T ∥

(6)

lim

= 0.

T→∞

∫

δ_t∥G_t∥² dt

Для характеристики оптимальности U^∗ также будет использован подход, при

котором происходит сравнение ненормированных значений целевых функ-

ционалов при разных управлениях, основанный на понятии опережающей

оптимальности (так называемой overtaking оптимальности, см., напр., [20])

Определение 3 (см. [20]). Управление U∗ ∈ U обладает свойством

опережающей оптимальности в среднем (опережающе оптимально в сред-

нем) на бесконечном интервале времени, если для любого числа ϵ > 0 суще-

ствует T₀ > 0, такое что при произвольном допустимом управлении U ∈ U

выполнено неравенство

(7)

EJ_T (U^∗) < EJ_T (U) + ϵ для любого T > T₀.

Основной результат статьи содержится в следующем утверждении.

Теорема. Пусть выполнены предположения A и B. Тогда закон управ-

ления вида

(8)

U^∗t = -R-1tB^′tΠ_tX^∗t,

где процесс X^∗t, t ≥ 0, задается уравнением

(9)

dX^∗t = (A_t - B_tR-1tB^′tΠ_t)X^∗tdt + G_tdw_t, X∗0

= x,

является решением задачи

EJ_T (U)

(10)

lim sup

→ inf .

T→∞

∫

U ∈U

δ_t∥G_t∥² dt

При этом матричная функция Π_t ≥ 0 при t ≥ 0 удовлетворяет уравнению

Риккати (5) и обладает свойствами, сформулированными в лемме. Значе-

ние критерия на оптимальном управлении J^∗ = lim sup_T→

∫

яв-

δt∥Gt∥² dt

ляется конечным положительным числом:

∫

tr(G^′tΠ_tG_t) dt

0 < J^∗ = limsup ⁰

< ∞,

T→∞

∫

δ_t∥G_t∥² dt

где δ_t - темп антиустойчивости матрицы A_t, tr(·) - след матрицы. Кроме

того, если ∥G_t∥δ_t → 0, t → ∞, то управление U^∗ также является опережа-

юще оптимальным в среднем на бесконечном интервале времени.

Замечание 2. Для детерминированной системы управления (G_t ≡ 0) при

условии выполнения предположений A и B стратегия U^∗ будет являться ре-

шением задачи lim sup_T→∞ J_T (U) → inf_U∈U , а значение lim sup_T→∞ J_T (U^∗) =

= x^′Π₀x.

Критерий в (10) также можно отнести к критериям скорректированно-

го обобщенного долговременного среднего, см. [19, 21]. В отличие от случая

систем управления с субэкспоненциально [21] и суперэкспоненциально [19]

устойчивыми матрицами состояния корректировка осуществляется в сторо-

ну увеличения нормировки ожидаемого значения целевого функционала (до-

множение ∥G_t∥² на δ_t в подынтегральном выражении (10)).

Замечание 3. По результатам, содержащимся в утверждениях леммы

и теоремы, можно сделать вывод о том, что оптимальное управление U^∗ яв-

ляется стабилизирующим для детерминированной системы (см. лемму), а в

стохастической системе такое управление U^∗ стабилизирует рост ожидаемого

значения целевого функционала при T → ∞, которое не превышает величину

∫_T

δ_t∥G_t∥² dt с точностью до мультипликативной константы. При этом воз-

можность стабилизации управлением U^∗ соответствующей оптимальной тра-

ектории X^∗t, t ≥ 0, будет зависеть от поведения матрицы диффузии G_t. На

основании результатов из [16] для устойчивости процесса в среднем квад-

ратичном, т.е. E∥X^∗t∥² → 0 при t → ∞, см. [27, с. 171], достаточно потре-

бовать ∥G_t∥²/δ_t → 0, t → ∞, что, в частности, выполняется при использо-

вании опережающе оптимальной стратегии U^∗ (см. условие в теореме) или

же ограниченной матрицы диффузии G_t. В рамках более сильного условия

∫t

(∥G_t∥²/δ_t) ln(

δ_v dv) → 0, t → ∞, также см. [16], для траектории имеет ме-

сто стохастическая устойчивость с вероятностью единица по определению

из [28, с. 111], когда ∥X^∗t(ω)∥ → 0 почти наверное при t → ∞, т.е. для по-

чти всех ω ∈ Ω. Приведенная характеристика X^∗t представляет существен-

ное отличие по сравнению с поведением оптимальной траектории для стоха-

стических линейных регуляторов, в которых шум зависит от состояния или

управления (т.е. когда в (1) вместо G_tdw_t возмущения имеют форму X^′tG_tdw_t

или U^′tG_tdw_t). В таких системах мультипликативный характер случайных

воздействий естественным образом порождает стабилизирующие свойства со-

ответствующей оптимальной стратегии управления, см. [27, гл. 8].

4. Анализ условий оптимальности и примеры

Проанализируем техническое условие (6), при выполнении которого спра-

ведливо основное утверждение теоремы. Введя обозначение

∫T

Γ_T = δ_t∥G_t∥² dt,

(6) можно переписать в виде

dΓ_T /dT

(11)

lim

δ_T

= 0.

T→∞ Γ_T

Таким образом, (6) означает, что рост нормировки критерия должен быть

достаточно медленным по отношению к функции δ_t, характеризующей анти-

устойчивость матрицы состояния. Как видно из (11), необходимым условием

здесь будет являться стремление к нулю темпа изменения Γ_T . С другой сторо-

ны, если положитьGt = δ_tG_t (“усилить” матрицу возмущений), то (6) примет

вид

∥GT ∥

(12)

lim

= 0.

T→∞

∫

(1/δ_t)∥Gt∥² dt

Знаменатель в (12) совпадает с нормировкой критерия для систем с супер-

экспоненциально устойчивой матрицей состояния и матрицей диффузииGt,

см. [19]. Далее рассмотрим систему с ограниченной A_t и предположим, что

для такой системы существует оптимальный установившийся закон управле-

нияU∗t. Как известно (см. [20]), оптимальностьU∗ в соответствующей стоха-

стической системе с матрицей возмущенийGt может исследоваться при помо-

щи понятия g-оптимальности в среднем на бесконечном интервале времени,

которая имеет место в случае, когда lim sup_T→∞ g_T (EJ_T (U∗) - EJ_T (U)) ≤ 0

для любого U ∈ U при заданной функции g_T > 0, T > 0. Данный подход

позволяет оценить порядок изменения разности математических ожиданий

целевых функционалов в отличие от долговременных средних, сравниваю-

щих предельные (при T → ∞) нормированные значения EJ_T (U). В частно-

∫_T

сти, функция g_T = 1/

∥Gt∥² dt является нормировкой в критерии обобщен-

ного долговременного среднего, см. [20, 29]. Тогда выполнение (12) будет

означать, что в стандартной стохастической системе с матрицей

Gt имеет

место g-оптимальность с более медленно растущей нормирующей функцией

∫_T

g_T = 1/

(1/δ_t)∥Gt∥² dt, взятой из критерия для суперустойчивых систем.

В следующем далее примере показывается, что (6) допускает включение

в анализ систем управления с различным характером изменения параметров

возмущений во времени.

Пример 1. Рассмотрим случай ∥G_t∥² ∼ 1/δ^mt, где m - вещественное чис-

ло (знак ∼ используется для указания на асимптотически одинаковый поря-

док изменения двух функций: f_t ∼ g_t, если lim_t→∞(f_t/g_t) = c = 0). Ситуация

m = 0 соответствует постоянной матрице диффузии, для m > 0 имеем так

называемые затухающие возмущения, а при m < 0 - нарастающие.

а) m > 2: в этом случае ∥G_t∥²δ2t → 0, t → ∞, т.е выполняется более силь-

ное условие, чем (6), приводящее к опережающей оптимальности в среднем

на бесконечном интервале времени;

∫t

б) m = 2: условие (6) выполнено при lim_t→∞

(1/δ_s) ds → ∞, т.е. есть

возможность рассматривать только достаточно медленно растущие функции

темпа антиустойчивости, например δ_t ∼ t^k, 0 < k ≤ 1;

в) m < 2, m = 1: соотношение (6) имеет место при условииδt → 0, t → ∞,

т.е. вновь допустимыми оказываются медленно растущие функции δ_t, напри-

мер δ_t ∼ ln t;

г) m = 1: выполнение (6) обеспечивается, если δ_t/t → 0, t → ∞, когда

темп антиустойчивости растет медленнее линейной функции, в частности для

δ_t ∼ t^k, 0 < k < 1.

В качестве иллюстрации применения основного утверждения, полученного

в данной статье (теоремы), рассматривается следующий пример 2.

Пример 2. Система управления скалярным процессом, см.

(1)-(2)

√

при n = 1, имеет вид: dX_t = (t + 1)X_tdt +

2U_tdt + (t + 1)-1dw_t, X₀ = 1,

∫_T

√

J_T (U) =

[X2t + (t + 1)²((t + 1)² + 1)-1U2t]dt. При этом A_t = t + 1, B_t =

Gt = 1/(t + 1), x = 1, Qt = 1, Rt = (t + 1)²((t + 1)² + 1)-1 (также

1/2 ≤

≤ R_t ≤ 1). Нетрудно заметить, что коэффициенты системы удовлетворяют

сделанным ранее предположениям: A_t = t + 1 суперэкспоненциально анти-

устойчива с темпом δ_t = t + 1, B^′tB_t = 2 > 0. В данном случае уравнение Рик-

кати (5) принимает вид

(13)

Π_t + 2(t + 1)Π_t - 2(1 + (t + 1)-2)Π2t

+1=0

и имеет решение со свойствами, определенными в лемме. Действительно,

Π_t = t + 1 будет являться решением (13). Функция Π_t также может быть по-

лучена (см. замечание 1) как предел lim_T→∞ Π^Tt = Π_t, где

[

]

Π^Tt = (t + 1)

1 + 0,5(Z(T,t) - 2)-1

{

} [Ψ_T - Ψ_t]

Z(T, t) = exp

-(t + 1)²

(t + 1)³

{

} [1 - (T + 1)(t + 1)-1]

+ exp

(T + 1)² - (t + 1)²

(t + 1)²

∫

Ψ_x = exp {-(x + 1)²}dx.

При этом A_t - B_tR-1tB^′t = -(t + 1) - 2(t + 1)-1 суперэкспоненциально устой-

чива с темпомδt = t + 1. Далее, функция G_t = 1/(t + 1) удовлетворяет пред-

∫_T

положению G (см. также п. б примера 1),

δ_tG2t dt = ln(T + 1), следователь-

√

но, по теореме 1 закон управления U^∗t = -

2[(t + 1) + (t + 1)-1]X^∗t, с дина-

микой процесса

[

]

dX^∗t =

-(t + 1) - 2(t + 1)-1

X^∗tdt + (t + 1)-1dw_t, X∗0 = 1,

является решением задачи

lim sup{EJ_T (U)/ ln(T + 1)} → inf

T→∞

∫_T

и значение J^∗ = 1, так как

Π_tG2t dt = ln(T + 1).

5. Заключение

В стьтье рассмотрена задача управления на бесконечном интервале вре-

мени линейной стохастической системой с суперэкспоненциально антиустой-

чивой (т.е. сверхнеустойчивой) матрицей A_t в уравнении состояния. Такая

сверхнеустойчивость означает, что нижняя граница для нормы соответст-

вующей фундаментальной матрицы растет по экспоненте с неограничен-

ным темпом δ_t, δ_t → ∞, при t → ∞. Показано, что закон управления (8)-(9)

в виде линейной обратной связи по состоянию является решением зада-

чи (10) с критерием скорректированного обобщенного долговременного сред-

него (см. теорему). Построенный критерий содержит нормированное ожидае-

мое значение квадратичного целевого функционала. Нормирующая функция

∫_T

Γ_T =

δ_t∥G_t∥² dt представляет собой сумму дисперсий компонент вектора

∫

Z_T =

√δ_tG_t dw_t интегральных усиленных шумовых воздействий на систе-

му. В отличие от ранее изученного случая δ_t-суперэкспоненциально устойчи-

∫_T

вой матрицы A_t, см. [19], где была определена нормировка

(1/δ_t)∥G_t∥² dt,

в рассматриваемой ситуации темп антиустойчивости δ_t увеличивает значе-

ние Γ_T .

В качестве направления дальнейших исследований следует выделить рас-

смотрение задач с более сильными (в вероятностном смысле) критериями

оптимальности, когда в (4) происходит минимизация не средних значений, а

самих нормированных целевых функционалов как случайных величин в си-

стемах с суперустойчивыми или сверхнеустойчивыми матрицами состояния.

ПРИЛОЖЕНИЕ

Доказательство леммы. ПоложимΠt = Π_t/δ_t и рассмотрим урав-

нение Риккати для функцииΠt:

(Π.1)

Π_t +Π

A_t

A^′t Π_t -ΠtB_t(R_t/δ_t)-1B^′t Π_t + Q_t/δ_t

= 0,

гд

A_t = A_t + (1/2)(δt/δ_t)I. Уравнение вида (Π.1) возникает в системе управ-

ления

∫T

dx_t

A_tx_tdt + B_tu_tdt, xt0 = x, JT,t0 (u) =

(1/δ_t)(x^′tQ_tx_t + u^′tR_tu_t) dt

t₀

с суперэкспоненциально антиустойчивой матрице

A_t, x — произвольный век-

тор начального состояния, t₀ ≥ 0 — фиксированный момент времени. При

этом темп антиустойчивости δ(0)t =λδ_t, 0 <λ < 1, что следует из условия

δ_t/δ2t → 0, t → ∞, предположения A. Хорошо известно [8, теорема 3.4, с. 253],

что при конечном T задача JT,t0 (u) → min имеет решение u^∗Tt = -(R_t/δ_t)-1×

×B^′tΠ^Tt x^∗Tt , при этом значение функционала на оптимальном управлении

JT,t0 (u^∗T ) = xΠTt

x, где симметричная матрицаΠTt ≥ 0 — решение уравнения

(Π.1) с граничным условиемΠTT = 0. Построим альтернативное управление,

стабилизирующее систему и не зависящее от T :

u(0)t = K_tx(0)t = -kδ_tB^′t(B_tB^′t)-1x(0)t.

Заметим, что в силу предположения B это управление существует, а констан-

ту k > 0 можно выбрать таким образом, чтобы обеспечить δ_t-суперэкспонен-

циальную устойчивость матриц

A_t + B_tK_t

A_t - kδ_tI. Поэтому

⎧

⎫

∫

⎨ ∫ t

⎬

xΠTt

x ≤ JT,t0(u⁽⁰⁾) ≤ c∥x∥² exp

2δ_v dv

(1/δ_t + δ_t) dt ≤ c∥x∥².

⎩

⎭

t₀

Здесь и далее в качестве c и c будем обозначать некоторые положительные

константы, конкретные значения которых не играют роли и могут менять-

ся от формулы к формуле. Таким образом,ΠTt

— неубывающая (по T ) и

ограниченная функция. Стандартная аргументация (см. [8, с. 268]) приводит

к тому, что существует предел lim_T→∞ Π^Tt =Πt, удовлетворяющий (Π.1) и

обладающий теми же свойствами, что иΠTt . Так как Π_t = δ_t Π_t, то из ограни-

ченностиΠt сверху следует соотношение Π_t ≤ c₂δ_tI с некоторой константой

c₂ > 0. Для установления нижней границы изменения Π_t рассмотрим функ-

циюΠt = Π-1t, являющуюся решением уравнения

(Π.2)

t -ΠtA^t - At^Πt -^ΠtQt^Πt + BtRŧ1B^t

= 0.

Уравнение (Π.2) также относится к классу уравнений Риккати и соответству-

ет системе управления с δ_t-суперэкспоненциально устойчивой матрицей -A^′t.

Для таких систем известно [19], чтоΠt ≤ c₁(1/δ_t), откуда следует соотноше-

ние Π_t ≥ c₁δ_tI при некоторой константе c₁ > 0.

Переходя к исследованию устойчивости матрицы A_t - B_tR-1tB^′tΠ_t, рас-

смотрим линейное уравнение dz_t = (A_t - B_tR-1tB^′tΠ_t)z_tdt, zt0 = z, и выпишем

d(z^′tΠ_tz_t) = (-z^′tQ_tz_t - z^′tΠ_tB_tR-1tB^′tΠ_tz_t)dt.

Предположение B и полученное двойное неравенство c₁δ_tI ≤ Π_t ≤ c₂δ_tI при-

водят к последовательности оценок:

d(z^′tΠ_tz_t) ≤ -λδ_t(z^′tΠ_tz_t)dt,

⎧

⎫

⎨ ∫ t

⎬

z_tΠ_tz_t ≤ zt0 Πt0 zt0 exp

- λδ_v dv

⎩

⎭

t₀

⎧

⎫

⎨ ∫t

⎬

(Π.3)

∥z_t∥² ≤ κ exp

- λδ_v dv

∥z∥²

⎩

⎭

t₀

при некоторых положительных константах λ и κ. Из соотношения (Π.3)

следуетδt-суперэкспоненциальная устойчивость матрицы A_t - B_tR-1tB^′tΠ_t с

δt = λδt. Лемма доказана.

Доказательство теоремы. В силу выполнения предположений A

и B справедливо утверждение леммы о существовании и свойствах решения

уравнения Риккати (5), а также можно определить закон управления U^∗ в

виде (8)-(9). Зафиксировав произвольное конкурирующее управление U ∈ U

и соответствующий ему процесс X_t, положим x_t = X_t - X^∗t и u_t = U_t - U^∗t.

Пара (x_t, u_t)t≤T удовлетворяет уравнению

(Π.4)

dx_t = (A_tx_t + B_tu_t)dt, x₀

= 0.

Так как Q_t ≥ qI, то найдется число k > 0, такое что матрица A_t - kδ_t

√Q_t

будет δ_t-устойчивой. Тогда, преобразовав (Π.4), получим

√

dx_t = (A_t - kδ_t

Q_t)x_tdt + kδ_t

Q_tx_tdt + B_tu_tdt, x₀ = 0,

⎧

⎫

∫t

⎨ ∫t

⎬(

)

√

∥x_t∥ ≤ c exp

- δv dv

δ_s∥

Q_sx_s∥ + ∥

R_su_s∥ ds.

⎩

⎭

Согласно неравенству Коши-Буняковского

⎧

⎫

∫t

⎨ ∫ t

⎬

(

)

∥x_t∥² ≤ c exp

- δ_v dv

δ_sx^′sQ_sx_s + u^′sR_su_s

ds,

⎩

⎭

откуда следует оценка

∫

(Π.5)

¹ ∥x_t∥² ≤ c

(x^′sQ_sx_s + u^′sR_su_s

) ds.

δ_t

Далее, представление для разности J_T (U^∗) - J_T (U) имеет вид

∫T

∫

(Π.6) J_T (U^∗) - J_T (U) = 2x^′T Π_T X^∗T - (x^′tQ_tx_t + u^′tR_tu_t) dt - 2 x^′tΠ_tG_tdw_t.

t₀

C учетом (Π.5), свойств функции Π_t (см. лемму) и применения элементарно-

го неравенства 2ab ≤ a²/c + cb², справедливого при произвольном c > 0 для

любых чисел a и b, (Π.6) оценивается как

∫T

(Π.7)

J_T (U^∗) - J_T (U) ≤ c₁δ3T ∥X^∗T ∥² - 2 x^′tΠ_tG_tdw_t

при некоторой константе c₁ > 0. Переходя к математическому ожиданию

(Π.7), получаем

(Π.8)

EJ_T (U^∗) ≤ EJ_T (U) + c₁δ3T E∥X^∗T ∥².

Так как матрица A_t - B_tR-1tB^′tΠ_t в уравнении (9) являетсяδt-суперэкспонен-

циально устойчивой, то

δ3T E∥X^∗T ∥² ≤

⎛

⎧

⎫

⎧

⎫

⎞

∫

⎨ ∫T

⎬

⎨ ∫T

⎬

(Π.9)

≤ cδ3T ⎝exp

2δv dv

∥x∥² + exp

2δv dv

∥G_t∥² dt⎠ .

⎩

⎭

⎩

⎭

Необходимо отметить, что следствием условияδt/δ2t → 0, t → ∞, из предпо-

ложения A является сходимость

⎧

⎫

⎨ ∫T

⎬

δ3T exp

2δv dv

→0

при T → ∞.

⎩

⎭

Второе слагаемое в (Π.9) можно переписать как

⎧

⎫

⎧

⎫

∫

⎨ ∫T

⎬

⎨ ∫T

⎬

L_T = δ3T exp

2δv dv

∥G_t∥²dt = exp

2δv dv

∥Gt∥² dt,

⎩

⎭

⎩

⎭

δt =^δt + (3/2)(^δt/δt),

Gt = δt/2Gt.

Используя правило Лопиталя, нетрудно показать, что условие ∥G_T ∥δ_T → 0,

T → ∞, будет достаточным (я LT → 0 пр) T → ∞, а выполнение предпо-

∫

ложения G гарантирует L_T /

δ_t∥G_t∥² dt

→ 0 при T → ∞. Принимая во

внимание проведенные рассуждения, приходим к опережающей оптимально-

сти в среднем для U^∗, если ∥G_T ∥δ_T → 0, T → ∞, или же к оптимальности

в среднем на бесконечном интервале времени по критерию с нормировкой

∫_T

δ_t∥G_t∥² dt:

EJ_T (U^∗)

EJ_T (U)

lim sup

≤ lim sup

T→∞

∫

T→∞

∫

δ_t∥G_t∥2 dt

δ_t∥G_t∥² dt

Ожидаемое значение целевого функционала на оптимальном управлении вы-

∫_T

числяется по формуле EJ_T (U^∗) = x^′Π₀x - E[(X^∗T )^′Π_T X^∗T ] +

tr(G^′tΠ_tG_t) dt.

)

(∫

Так как E[(X^∗T )^′Π_T X^∗T ] ≤ cδ_T E∥X^∗T ∥² и δ_T E∥X^∗T ∥²/

δ_t∥G_t∥² dt

→ 0,

∫_T

T → ∞, а

tr(G^′tΠ_tG_t) dt ≥ c₁

δ_t∥G_t∥² dt (см. лемму), то предельная ве-

личина

∫

tr(G^′tΠtGt)dt

EJ_T (U^∗)

x^′Π₀x

0 < J^∗ = limsup

+ lim sup

< ∞.

∫

T→∞

δ_t∥G_t∥² dt

δ_t∥G_t∥2 dt

δ_t∥G_t∥² dt

Теорема доказана.

СПИСОК ЛИТЕРАТУРЫ

Anderson B.D.O., Ilchmann A., Wirth F.R. Stabilizability of Linear Time-Varying

Systems // Syst. Control Lett. 2013. V. 62. No. 9. P. 747-755.

Bacciotti A., Rosier L. Liapunov functions and stability in control theory. N.Y.:

Springer, 2006.

Dragan V., Halanay A. Stabilization of linear systems. Boston: Birkhauser, 1999.

Dragan V., Morozan T., Stoica A.M. Mathematical methods in robust control of

linear stochastic systems. N.Y.: Springer, 2006.

Fomichev V.V., Mal’tseva A.V., Shuping W. Stabilization Algorithm for Linear

Time-Varying Systems // Differ. Equat. 2017. V. 53. No. 11. P. 1495-1500.

Phat V.N. Global Stabilization for Linear Continuous Time-Varying Systems //

Appl. Math. Comput. 2006. V. 175. No. 2. P. 1730-1743.

Terrell W.J. Stability and stabilization: An Introduction. Princeton: Princeton

Univer. Press, 2009.

Квакернаак X., Сиван P. Линейные оптимальные системы управления. М.: Нау-

ка, 1977.

Wu M.-Y., Sherif A. On the Commutative Class of Linear Time-Varying Systems //

Int. J. Control. 1976. V. 23. No. 3. P. 433-444.

10.

Jetto L., Orsini V., Romagnoli R. BMI-based Stabilization of Linear Uncertain

Plants with Polynomially Time Varying Parameters // IEEE Trans. Automat.

Control. 2015. V. 60. No. 8. P. 2283-2288.

11.

Jones J.J. Modelling and Simulation of Large Scale Multiparameter Dynamical

System // Proc. IEEE 1989 National Aerospace and Electronics Conf. NAECON

1989. N.Y.: IEEE, 1989. P. 415-425.

12.

Levine J., Zhu G. Observers with Asymptotic Gain for a Class of Linear Time-

Varying Systems with Singularity // IFAC Proc. Volumes. 1993. V. 26. No. 2.

P. 145-148.

13.

Karafyllis I., Tsinias J. Non-uniform in Time Stabilization for Linear Systems and

Tracking Control for Non-holonomic Systems in Chained Form // Int. J. Control.

2003. V. 76. No. 15. P. 1536-1546.

14.

Caraballo T. On the Decay Rate of Solutions of Non-autonomous Differential

Systems // Electron. J. Differ. Equat. 2001. V. 2001. No. 5. P. 1-17.

15.

Inoue M., Wada T., Asai T., Ikeda M. Non-exponential Stabilization of Linear Time-

invariant Systems by Linear Time-varying Controllers // Proc. 50th IEEE Conf. on

Decision and Control and European Control Conf. N.Y., 2011. P. 4090-4095.

16.

Palamarchuk E.S. On the Generalization of Logarithmic Upper Function for

Solution of a Linear Stochastic Differential Equation with a Nonexponentially Stable

Matrix // Differ. Equat. 2018. V. 54. No. 2. P. 193-200.

17.

Abou-Kandil H., Freiling G., Ionescu V., Jank G. Matrix Riccati equations in control

and systems theory. Basel: Birkhauser, 2012.

18.

Turnovsky S.J. Macroeconomic analysis and stabilization policy. Cambrigde:

Cambridge Univer. Press, 1977.

19.

Паламарчук Е.С. Оптимизация суперустойчивой линейной стохастической си-

стемы в приложении к модели со сверхнетерпеливыми агентами // АиТ. 2018.

№ 3. С. 61-75.

Palamarchuk E.S. Optimization of the Superstable Linear Stochastic System Applied

to the Model with Extremely Impatient Agents // Autom. Remote Control. 2018.

No. 3. P. 440-451.

20.

Белкина Т.А., Паламарчук Е.С. О стохастической оптимальности для линейного

регулятора с затухающими возмущениями // АиТ. 2013. № 4. С. 110-128.

Belkina T.A., Palamarchuk E.S. On Stochastic Optimality for a Linear Controller

with Attenuating Disturbances // Autom. Remote Control. 2013. V. 74. No. 4.

P. 628-641.

21.

Паламарчук Е.С. Анализ асимптотического поведения решения линейного сто-

хастического дифференциального уравнения с субэкспоненциально устойчивой

матрицей и его приложение к задаче управления // Теор. вероятностей и ее

применения. 2017. Т. 62. Вып. 4. С. 654-669.

Palamarchuk E.S. Analysis of the Asymptotic Behavior of the Solution to a

Linear Stochastic Differential Equation with Subexponentially Stable Matrix and

Its Application to a Control Problem // Theory of Probability & Its Applications.

2018. V. 62. No. 4. P. 522-533.

22.

Fischer J. Optimal sequence-based control of networked linear systems. Karlsruhe:

KIT Scientific Publishing, 2015.

23.

Aeyels D., Lamnabhi-Lagarrigue F., van der Schaft A. (Eds.) Stability and

stabilization of nonlinear systems. Berlin: Springer, 2008.

24.

Chen G., Yang Y. New Stability Conditions for a Class of Linear Time-Varying

Systems // Automatica. 2016. V. 71. P. 342-347.

25.

Паламарчук Е.С. Стабилизация линейных стохастических систем с дисконтиро-

ванием: моделирование долгосрочных эффектов применения оптимальных стра-

тегий управления // Математич. моделирование. 2015. Т. 27. № 1. С. 3-15.

Palamarchuk E.S. Stabilization of Linear Stochastic Systems with a Discount:

Modeling and Estimation of the Long-Term Effects from the Application of Optimal

Control Strategies // Math. Models Comput. Simul. 2015. V. 7. No. 4. P. 381-388.

26.

Паламарчук Е.С. Анализ критериев долговременного среднего в задаче стоха-

стического линейного регулятора // АиТ. 2016. № 10. С. 78-92.