Автоматика и телемеханика, № 11, 2020

(Московский авиационный институт)

ТЕОРЕМА РАЗДЕЛЕНИЯ ДЛЯ ОПТИМАЛЬНОГО

В СРЕДНЕМ УПРАВЛЕНИЯ ГИБРИДНЫМИ СИСТЕМАМИ

ПЕРЕМЕННОЙ РАЗМЕРНОСТИ¹

Рассматривается задача оптимального в среднем управления линей-

ной гибридной системой, непрерывное движение которой чередуется с

дискретными изменениями (переключениями) со сменой пространства со-

стояний. Начальное состояние системы случайное. Качество управления

характеризуется средним значением квадратичного функционала. Мо-

менты переключений и их количество заранее не заданы. Они опреде-

ляются в результате минимизации функционала. Для рассматриваемой

задачи классический принцип разделения не выполняется. Доказан так

называемый условный принцип разделения. Приводятся примеры приме-

нения условного и классического принципов разделения.

Ключевые слова: гибридные системы, изменение размерности простран-

ства состояний, оптимальное в среднем управление, теорема разделения.

DOI: 10.31857/S0005231020110045

1. Введение

Задачи оптимального управления пучками траекторий непрерывных де-

терминированных систем были исследованы в [1, 2]. При дальнейших ис-

следованиях были получены достаточные условия оптимальности в среднем

управления пучками траекторий непрерывно-дискретных [3] и переключае-

мых [4]. В [5] для линейных гибридных систем постоянной размерности была

доказана теорема разделения. В настоящей статье эта теорема доказывается

для гибридных систем переменной размерности (ГСПР).

Непрерывное движение ГСПР описывается дифференциальными уравне-

ниями, а мгновенные изменения состояния (переключения) рекуррентными

уравнениями или включениями. В момент переключения меняется простран-

ство состояний системы, в частности его размерность. Системы управления с

изменяемым пространством состояний исследовались под разными названия-

ми: составные системы [6], ступенчатые системы [7], системы со сменой фазо-

вого пространства [8], сложные (многоэтапные) процессы [9], системы с пере-

менной структурой и размерностью [10, 11], гибридные системы с промежу-

точными условиями [12, 13]. В задачах оптимального управления [6-8, 12, 13],

как правило, моменты смены фазового пространства фиксированы или опре-

деляются промежуточными условиями, а переключения состояний неуправ-

ляемы. Количество переключений задано, а в первых публикациях [6-8] по

этой тематике переключение единственное. Необходимые условия для ги-

¹ Работа выполнена при финансовой поддержке Российского фонда фундаментальных

исследований (проект № 18-08-128-а).

бридных систем с промежуточными условиями, обобщающие принцип мак-

симума, получены в [12, 13], где количество переключений задано, моменты

переключений не фиксированы, а сами переключения неуправляемы. Дру-

гой подход к исследованию гибридных систем заключается в использовании

дискретно-непрерывных и импульсных систем управления [14].

Достаточные условия оптимальности ГСПР получены в [15, 16] для за-

дач, в которых количество и моменты переключений заранее не заданы, а

переключения управляемы. При этом допускались процессы с мгновенны-

ми многократными переключениями. Однако применение этих условий для

линейно-квадратичных задач (ЛКЗ) затруднительно. Причина этого заклю-

чается в том, что функция цены (функция Гамильтона-Якоби-Беллмана

(ГЯБ)) в ЛКЗ управления ГСПР не является квадратичной [17]. Начиная

с ЛКЗ управления непрерывными системами [18] квадратичность функции

цены была доказана для дискретных и непрерывно-дискретных систем. От-

метим, что в этих системах либо нет переключений, либо они происходят в

заданные моменты времени. В гибридных системах моменты переключений

не фиксированы, и их оптимизация приводит к неквадратичным функциям

цены. Поэтому для синтеза оптимальных линейных ГСПР с квадратичным

функционалом качества нужны новые достаточные условия, которые полу-

чены в настоящей статье.

Для ЛКЗ управления непрерывными стохастическими системами доказа-

на теорема разделения [19]: оптимальное в среднем управление стохастиче-

ской системой совпадает с оптимальным позиционным управлением соответ-

ствующей детерминированной системой, в котором используется оптималь-

ная оценка состояния стохастической системы. При таком способе форми-

рования управления задачи оптимального управления и наблюдения можно

решать отдельно. Этот подход получил название принципа разделения. Он

широко применяется на практике, часто без обоснования, даже для нелиней-

ных систем. В частном случае для детерминированной непрерывной системы,

начальное состояние которой не определено, теорема разделения доказана

в [1]: оптимальное в среднем управление линейной системой с квадратичным

функционалом качества совпадает с оптимальным управлением одной тра-

екторией этой системы, исходящей из геометрического центра тяжести мно-

жества возможных начальных состояний. В этом детерминированном случае

задача наблюдения тривиальная. Она сводится к нахождению центра тяже-

сти множества возможных состояний.

В настоящей статье рассматривается задача управления линейной ГСПР,

начальное состояние которой представляет собой случайный вектор с задан-

ной плотностью вероятности. Качество управления характеризуется средним

значением квадратичного функционала качества управления отдельной тра-

екторией. Эту задачу можно рассматривать как задачу оптимального в сред-

нем управления пучком траекторий детерминированной ГСПР. Для таких

ЛКЗ классический принцип разделения не выполняется, поскольку, как ука-

зано выше, функция цены не является квадратичной. Однако оказывается

справедливым условный принцип разделения: оптимальное в среднем управ-

ление пучком траекторий совпадает с условным оптимальным управлением

траекторией, исходящей из математического ожидания вектора началь-

ного состояния системы. Условное оптимальное управление отличается от

оптимального дополнительным условием фиксированными моментами пе-

реключений. Согласно условному принципу задача наблюдения отделена от

задачи условного оптимального управления, т.е. математическое ожидание

начального состояния системы находится отдельно от оптимального управ-

ления с фиксированными моментами переключений. Однако оптимальные

моменты переключений определяются при минимизации среднего значения

функционала. Последняя задача минимизации конечномерная и может быть

решена многими методами.

В статье доказывается теорема разделения для оптимального в среднем

управления линейной ГСПР с квадратичным критерием качества. Получе-

ны уравнения для нахождения оптимальных законов управления. Выделен

класс ЛКЗ, в котором выполняется классический принцип разделения. Рас-

смотрены академические примеры, демонстрирующие применение условно-

го и классического принципов разделения для ГСПР. В частности, приведен

контрпример ЛКЗ задачи управления гибридной системой, в котором класси-

ческий принцип разделения не выполняется, а условный принцип разделения

выполняется.

2. Постановки задач

Пусть на заданном промежутке времени T = [t₀, t_F ] динамическая систе-

ма совершает N переключений в моменты времени t₁, . . . , t_N , образующие

неубывающую конечную последовательность T = {t₁, . . . t_N }:

(2.1)

t₀ ≤ t₁ ≤ ... ≤ t_N ≤ t_F .

Между неравными последовательными моментами переключений состояние

системы изменяется непрерывно, согласно линейному дифференциальному

уравнению:

(2.2)

x˙i = Ai(t)xi(t) + Bi(t)ui(t), t ∈ Ti,

i∈N,

а в моменты переключений дискретно, в соответствии с рекуррентным

уравнением

(2.3)

x_i(t_i)

A_i(t_i)x_i-1(t_i)

B_i(t_i)v_i

i = 1,...,N.

В соотношениях (2.2): N ≜ {i = 0, 1, . . . , N |t_i < t_i+1 } множество номеров

ненулевых (по длине) частичных промежутков T_i = [t_i, t_i+1] непрерывного

изменения системы; x_i(t)

состояние системы в момент времени t ∈ T_i,

x_i(t) ∈ X_i = Rni; u_i(t) управление непрерывным движением системы в мо-

мент времени t ∈ T_i, u_i(t) ∈ U_i = Rpi , i ∈ N . Элементы матриц A_i(·) и B_i(·)

суммируемы на T_i, i ∈ N . При t_i = t_i+1 промежуток T_i, i ∈ N , представляет

собой точку T_i = {t_i}, функция x_i(·) определена в одной точке t_i, а значе-

ние u(t_i) управления несущественно. В уравнении (2.3): v_i управление пе-

реключением системы в момент t_i ∈ T , v_i ∈ V_i = Rqi , i = 1, . . . , N . Возможное

равенство последовательных моментов в (2.1) означает, что система соверша-

ет мгновенные многократные переключения [15, 16].

Множество допустимых программных управлений W(t₀, x₀) составляют па-

ры w = (u(·), v(·)), включающие управление непрерывным движением - после-

довательность u(·) ≜ {u_i(·)}^Ni=0 ограниченных измеримых функций u_i : T_i →

→ U_i; управление переключениями - последовательность v(·)≜ {(t_i,v_i)|ti ∈ T,

v_i ∈ V_i,i = 1,... ,N}. Подчеркнем, что последовательность v(·) фактически

определяет множество переключений T , причем у разных допустимых управ-

лений v(·) количество N переключений и моменты T = {t₁, . . . t_N } переклю-

чений могут не совпадать. При этом не исключается случай отсутствия пе-

реключений, когда N = 0 и T = ∅ по определению. Допустимое управле-

ние w ∈ W(t₀, x₀) согласно [20] порождает для любого начального условия

x₀(t₀) = x₀ единственную допустимую траекторию x(·) ≜ x_i(·)^Ni=0, которая на

каждом ненулевом (по длине) промежутке T_i, i ∈ N , представляет собой аб-

солютно непрерывную функцию x_i : T_i → X_i, удовлетворяющую почти всюду

T_i дифференциальному уравнению (2.2). В каждый момент переключения

t_i ∈ T скачки x_i-1(t_i) → x_i(t_i) допустимой траектории удовлетворяют рекур-

рентному уравнению (2.3). На множестве W(t₀, x₀) допустимых управлений

задан квадратичный функционал качества

∫

[

]

∑

(2.4)

I(t₀, x₀, w) =

x^Ti(t)C_i(t)x_i(t) +

u^Ti(t)D_i(t)u_i(t)

dt +

i=0

[

]

∑

λ_i (t_i) +

x^Ti-1 (t_i

C_i (t_i)x_i-1 (t_i) +

v^T

D_i (t_i)v_i

i=1

x^TN (t_F )Fx_N (t_F ) ,

где t_N+1 ≜ t_F . Все матрицы в (2.4) - cимметрические соответствующих по-

рядков. Матрицы C_i(t)

C_i(t), F

неотрицательно определенные, а D_i(t) и

D_i(t) положительно определенные. Функции C_i(·), D_i(·) измеримые огра-

ниченные,

C_i(·),

D_i(·)

ограниченные. Величины λ_i(t) положительные,

точнее

(2.5)

λ_i(t) ≥ λ⁺

при всех t ∈ T , i = 1, . . . , N, для некоторого положительного числа λ⁺. Сла-

гаемые, зависящие от момента t_i, можно рассматривать как затраты (или

“штраф”) на переключение x_i-1(t_i) → x_i(t_i) состояния системы. При усло-

вии (2.5) затраты будут не меньше λ⁺ > 0. Отметим, что в функционале (2.4)

количество переключений N и моменты переключений t_i, i = 1, . . . , N, явля-

ются управляющими параметрами, относящимися к управлению переключе-

ниями v(·).

Задача 1 (оптимального управления). Требуется найти наименьшее зна-

чение функционала (2.4) и оптимальное управление w^∗ ∈ W(t₀, x₀), на кото-

ром это значение достигается:

(2.6)

I(t₀, x₀, w^∗) =

min I(t₀, x₀

,w).

w∈W(t₀,x₀)

Подчеркнем, что при минимизации (2.6) определяются количество пере-

ключений N, моменты переключений T , управление u(·) непрерывным дви-

жением системы, а также управление v(·) переключениями. При этом коли-

чество переключений N будет конечным из-за положительности затрат на

каждое переключение. Кроме того, условие (2.5) исключает у оптимальных

процессов так называемые фиктивные переключения, при которых состоя-

ние системы не изменяется x_i(t_i) = x_i-1(t_i) и фактического переключения

нет. При положительных затратах на переключение процессы с фиктивными

переключениями, разумеется, не будут оптимальными.

В теории и на практике нередко возникают задачи управления с фик-

сированными моментами переключений, например задачи управления дис-

кретными или непрерывно-дискретными системами. Пусть T = {t₁, . . . , t_N }

заданное множество моментов переключений

(2.1). Обозначим через

I(t₀, x₀, w|T ) функционал качества управления (2.4) при фиксированных мо-

ментах переключений. Задача минимизации условного функционала качества

I(t₀, x₀, w|T ) на множестве W(t₀, x₀|T ) допустимых управлений из W(t₀, x₀)

с заданными моментами переключений (2.1) формулируется следующим об-

разом.

Задача 2 (условного оптимального управления). Требуется найти наи-

меньшее значение функционала I(t₀, x₀, w|T ) при заданных моментах пе-

реключений T = {t₁, . . . t_N } и условное оптимальное управление w_T ∈

∈ W(t₀,x₀|T ), на котором это значение достигается:

(2.7)

I(t₀, x₀, w_T |T ) =

min I(t₀, x₀

,w|T ).

w∈W(t₀,x₀|T )

Такое управление w_T называется условным оптимальным, поскольку оно на-

ходится при дополнительном условии заданных моментах переключений T .

Задачи (2.6) и (2.7) связаны. Оптимальное управление w^∗ ∈ W(t₀, x₀) по-

лучается из условного оптимального управления w_T ∈ W(t₀, x₀|T ) после до-

полнительной минимизации по моментам переключений T = {t₁, . . . , t_N }:

I(t₀, x₀, w^∗) = min

min

I(t₀, x₀, w|T ).

N ∈Z₊

t₀≤t₁≤...≤t_N ≤t_F

Пусть в отличие от задачи (2.6) начальное состояние x₀ системы точно

неизвестно, а является случайным вектором с известной плотностью рас-

пределения p₀ : X₀ → R. Предполагается, что в процессе управления ни-

какой дополнительной информации, уточняющей состояние системы, не

поступает. Обозначим через W(t₀, p₀) множество допустимых управлений

w = (u(·),v(·)), каждое из которых порождает допустимую траекторию для

любого начального состояния x₀ ∈ X₀. Пусть по-прежнему качество управ-

ления одной траекторией характеризуется функционалом (2.4), а качество

управления системой со случайным начальным состоянием оценивается сред-

ним значением этого функционала

∫

(2.8)

I(t₀, p₀, w) = p₀(x₀)I(t₀, x₀, w)dx₀.

X₀

Предполагаем, что это среднее значение существует. Функционалы вида (2.8)

применяются и для детерминированных задач управления пучками траекто-

рий [21]. В этом случае функция p₀(·) играет роль начальной плотности пучка

частиц.

Задача 3 (оптимального в среднем управления). Требуется найти наи-

меньшее среднее значение (2.8) функционала (2.4) и оптимальное в среднем

управление w ∈ W(t₀, p₀), на котором это значение достигается:

I(t₀, p₀, w) =

min I(t₀, p₀, w).

w∈W(t₀,p₀)

Как и в случае управления одной траекторией, задачу оптимального в

среднем управления можно рассматривать при дополнительном условии

заданных моментах переключений T = {t₁, . . . , t_N }. При этом качество управ-

ления характеризуется средним значением

∫

(2.9)

I (t₀, p₀, w|T ) = p₀(x₀)I(t₀, x₀, w|T )dx₀.

X₀

условного функционала качества I(t₀, x₀, w|T ). Задача минимизации этого

функционала на множестве W(t₀, p₀|T ) допустимых управлений из W(t₀, x₀)

с заданными моментами переключений (2.1) формулируется следующим об-

разом.

Задача 4 (условного оптимального в среднем управления). Требуется

найти наименьшее среднее значение функционала (2.9) при заданных момен-

тах переключений T = {t₁, . . . t_N } и условное оптимальное в среднем управ-

ление w_T ∈ W(t₀, p₀), на котором это значение достигается:

I(t₀, p₀, w_T ) =

min I(t₀, p₀, w).

w∈W(t₀,p₀|T )

3. Оптимальное управление

Сначала выясним характер зависимости функционала (2.4) от начально-

го состояния. Пусть T = {t₁, . . . t_N } фиксированное множество моментов

переключений (2.1). На участках непрерывного движения (2.2) и при пере-

ключениях (2.3) текущее состояние ГСПР является аффинной функцией на-

чального состояния x₀:

(3.1)

x_i(t) = k(t|t₁,... ,t_i)x₀ + l(t,w|t₁,... ,t_i), t ∈ T_i

i∈N.

Функции k и l зависят от всех моментов переключений t₁, . . . , t_i, принадлежа-

щих промежутку [t₀, t], причем функционал w → l(t, w|t₁, . . . , t_i) линейный

по управлению w = (u(·), v(·)), определенному на [t₀, t]. Подставляя (3.1) в

условный функционал качества (2.6), получаем

(3.2)

I(t₀, x₀, w|T ) =

x^T0K(t₀|T )x₀ + L(t₀,w|T )x₀ + M(t₀

,w|T ).

Здесь K(t₀|T )

симметрическая неотрицательно определенная матрица

порядка n₀, L(t₀, w|T ) - векторная функция (строка), линейно зависящая

от управления w, M(t₀, w|T )

положительно определенный квадратич-

ный функционал от управления w. Заметим, что при фиксированных мо-

ментах переключений T множество допустимых управлений можно считать

линейным нормированным пространством, поскольку его составляют пары

w = (u(·),v(·)) с измеримым ограниченным управлением u(·) непрерывным

движением и конечной последовательностью v(·) векторов управления пере-

ключениями. На множестве W(t₀, x₀) функционал (3.2) дифференцируем по

управлению, причем производная (Фреше) имеет вид

(3.3)

I^′(t₀,x₀,w|T ) = L^′(t₀|T )x₀ + M^′(t₀

,w|T ).

Обозначение L^′(t₀|T ) = L^′(t₀, w|T ) подчеркивает, что производная линейной

функции w → L(t₀, w|T ) не зависит от управления.

Условное оптимальное программное управление w_T одной траекторией,

исходящей из начальной позиции (t₀, x₀), удовлетворяет необходимому усло-

вию оптимальности: I^′(t₀, x₀, w|T ) = 0. Для положительно определенного

квадратичного функционала (3.2) это условие будет также и достаточным.

Записывая производную (3.3), вычисленную на условном оптимальном управ-

лении w_T , получаем

(3.4)

L^′(t₀|T )x₀ + M^′(t₀,w_T

|T ) = 0.

Поскольку функционал w → M(t₀, w|T ) квадратичный, то уравнение (3.4)

представляет собой линейное функциональное уравнение относительно

условного оптимального управления w_T . Заметим, что оптимальное управ-

ление w^∗ ∈ W(t₀, x₀) также удовлетворяет уравнению (3.4), поскольку оно

является условным оптимальным при наилучшем выборе моментов переклю-

чений T^∗, т.е.

L^′(t₀|T^∗)x₀ + M^′(t₀,w^∗|T^∗) = 0.

4. Оптимальное в среднем управление

Запишем выражение для среднего значения функционала (3.2):

∫

{

}

I(t₀, p₀, w|T ) = p₀(x₀)

x^T0K(t₀|T )x₀ + L(t₀,w|T )x₀ + M(t₀,w|T ) dx₀.

X₀

Найдем производную этого функционала по управлению

∫

I ′(t₀,p₀,w|T ) = L^′(t₀|T ) p₀(x₀)x₀dx₀ + M^′(t₀,w|T ) =

X₀

= L^′(t₀|T )x₀ + M^′(t₀,w|T ),

где x₀

математическое ожидание начального состояния системы. Условное

оптимальное в среднем управление w_T удовлетворяет необходимому условию

экстремума:

(4.1)

L^′(t₀|T )x₀ + M^′(t₀,w_T

|T ) = 0.

Оптимальное в среднем управление w также является условным оптималь-

ным в среднем управлением w = w_T при наилучшем выборе моментов пере-

ключений T . Поэтому оно удовлетворяет уравнению (4.1)

(4.2)

L^′(t₀|T )x₀ + M^′(t₀

,w|T ) = 0.

Сравнивая (4.2) с (3.4), заключаем, что оптимальное в среднем управление

w = w_T совпадает с условным оптимальным управлением w_T для начального

состояния x₀. Отсюда следует справедливость утверждения.

Теорема 1 (теорема разделения). Оптимальное в среднем управление

линейной ГСПР с квадратичным функционалом качества совпадает с услов-

ным оптимальным управлением одной траекторией, исходящей из матема-

тического ожидания начального состояния системы.

Как видим, для поставленной задачи выполняется так называемый услов-

ный принцип разделения. Оптимальное в среднем управление может не

совпадать с оптимальным управлением траекторией, исходящей из мате-

матического ожидания начального состояния системы. Эти управления мо-

гут отличаться моментами переключений или даже количеством переключе-

ний. Для детерминированных ЛКЗ управления непрерывными, дискретны-

ми, непрерывно-дискретными системами принцип разделения выполняется,

поскольку моменты переключений фиксированы или переключений нет во-

все.

Отметим, что задача наблюдения в рассматриваемом случае тривиаль-

ная. Она сводится к нахождению среднего значения начального состояния

системы. Аналогичная оценка множества возможных состояний применяется

в задачах управления пучками траекторий детерминированных систем. В ка-

честве оценки выбирается геометрический центр тяжести (барицентр). Такая

задача наблюдения существенно проще традиционного наблюдения в стоха-

стических системах, непременно связанного со стохастической фильтрацией.

5. Синтез оптимального управления

Применение метода динамического программирования [22] опирается на

понятие функции цены (функции Гамильтона-Якоби-Беллмана (ГЯБ)), ко-

торая определяется минимальным значением функционала оставшихся по-

терь. Обозначим через W_i(t, x_i) множество допустимых программных управ-

лений после i-го переключения для процессов, удовлетворяющих условию

x_i(t) = x_i. Оставшиеся переключения происходят в моменты t_i+1,... ,t_N, ко-

торые образуют неубывающую конечную последовательность на промежутке

[t, t_F ]:

(5.1)

t≜t_i ≤t_i+1 ≤...≤t_N ≤t_N+1 ≜t_F.

Количество k = N - i оставшихся переключений и сами моменты переклю-

чений t_i+1, . . . , t_N не фиксированы и у разных допустимых процессов могут

не совпадать.

На множестве W_i(t, x_i) определим функционал оставшихся потерь:

∫

[

]

∑

(5.2)

I_i(t,x_i,w) =

x^Tj(t)C_j(t)x_j(t) +

u^Tj(t)D_j(t)u_j(t)

dt +

j=i

[

]

∑

λ_j (t_j) +

x^Tj-1 (t_j

C_j (t_j)x_j-1 (t_j) +

vTj

D_j (t_j) v_j

j=i+1

x^TN (t_F )Fx_N (t_F ) .

Функция цены ϕ_i(t, x_i) после i-го переключения по определению равна зна-

чению функционала оставшихся потерь (5.2), вычисленному на оптимальном

процессе, удовлетворяющем начальному условию x_i(t) = x_i. Иначе говоря,

функция цены равна минимальному значению функционала оставшихся по-

терь (5.2) на множестве допустимых управлений W_i(t, x_i):

ϕi(t, xi) = min Ii(t, xi, w).

w∈W_i(t,x_i)

При фиксированных моментах переключений функционал (5.2) и множе-

ство допустимых программных управлений будем обозначать, указывая до-

полнительно последовательность T = {t_i+1, . . . , t_N } моментов переключений:

I_i(t,x_i,w|T ) и W(t,x_i,w|T ) соответственно. Функция ϕ_i(t,x_i|t_i+1,... ,t_N),

равная значению функционала оставшихся потерь I_i(t, x_i, w|T ), вычислен-

ному на процессе, исходящем из стартовой позиции (t, x_i), при управлении,

которое оптимально среди всех допустимых управлений, имеющих k = N - i

переключений, быть может фиктивных, в моменты времени t_i+1, . . . , t_N , об-

разующие неубывающую последовательность (5.1), называется k-моментной

функцией цены [17]. Для процессов без переключений, когда k = 0 и T = ∅,

нульмоментную функцию цены обозначим через ϕ_i(t, x_i|∅). Функцию цены

можно выразить через ее моментные функции

ϕi(t, xi) = min

min

ϕi(t, xi|ti+1, . . . , tN ).

N ∈Z₊

t≤t_i+1≤...≤t_N ≤t_F

Рекуррентная процедура нахождения моментных функций цены для ги-

бридных систем постоянной размерности представлена в [17]. Опишем ана-

логичную процедуру для ГСПР. Согласно определению моментная функция

цены (t, x_i) → ϕ_i(t, x_i|t_i+1, . . . , t_N ) на [t_i, t_i+1] × X_i удовлетворяет уравнению

ГЯБ

[

]

{∂ϕ_i

∂ϕ_i

(5.3)

min

A_i (t)x_i + B_i (t) u_i +

u_i∈U_i

∂t

∂x_i

}

x^TiC_i (t)x_i +

u^TDi (t)ui

с терминальным условием в момент переключения t_i+1:

(5.4)

ϕi(ti+1, xi|ti+1, . . . , tN)=

{

= min ϕ_i+1(t_i+1

A_i+1x_i

B_i+1v_i+1|t_i+2,... ,t_N)λ_i+1 +

v_i+1∈V_i+1

}

x^Ti

C_i+1x_i +

v^T

D_i+1v_i+1

i+1

Рекуррентное уравнение (5.4) связывает k-моментную функцию цены (k =

= N - i) после i-го переключения с (k - 1)-моментной функцией цены после

(i + 1)-го переключения. Здесь и далее для сокращения записи рекуррентных

уравнений аргумент t_i+1 у матриц опускаются.

Для ЛКЗ моментные функции цены будут квадратичными:

ϕi(t, xi|ti, . . . , tN ) =

(5.5)

x^TiΦ_i(t|t_i+1,... ,t_N )x_i + λ_i+1(t_i+1) + ... + λ_N(t_N),

где Φ_i

симметрическая неотрицательно определенная матрица поряд-

ка n_i, абсолютно непрерывная по t на [t_i, t_i+1]. Подставляя (5.5) в уравне-

ния (5.3), (5.4), получаем для нахождения матриц Φ_i, i = 0, 1, . . . , N , следу-

ющую рекуррентную процедуру.

Матрица Φ_i(t) нульмоментной функции цены ϕ_i(t, x_i|∅) после i-го пере-

ключения (без последующих переключений) удовлетворяет на [t₀, t_F ] мат-

ричному дифференциальному уравнению Риккати:

(5.6)

Φ_i + A^Ti(t)Φ_i + Φ_iA_i(t) + C_i(t) - Φ_iB_i(t)D^-1i(t)B^Ti(t)Φ_i

с терминальным условием Φ_i(t_F ) = F . Оптимальное управление непрерыв-

ным движением линейно по состоянию системы

(5.7)

u_i(t,x_i) = -D^-1i(t)B^Ti(t)Φ_i(t)x_i.

Матрица Φ_i(t|t_i+1, . . . , t_N ) k-моментной функции цены (k = N - i) после i-го

переключения находится по матрице Φ_i+1 предыдущей (k - 1) моментной

функции. В момент t_i+1 первого из оставшихся переключений эта матрица

удовлетворяет рекуррентному уравнению

(5.8)

Φ_i(t_i+1|t_i+1,... ,t_N

[

]_-1

A^Ti+1Φ^k-1i+1

B_i+1

D_i+1

B^Ti+1Φ^k-1i+1

B_i+1

B^Ti+1Φ^k-1i+1

A_i+1+

C_i+1

A^Ti+1Φ^k-1i+1

A_i+1,

а условное оптимальное управление переключениями линейно по состоянию

системы

v_i+1(t_i+1,x_i|t_i+2,... ,t_N ) =

(5.9)

[

]_-1

D_i+1

B^Ti+1Φ^k-1i+1

B_i+1

B^Ti+1Φ^k-1i+1

A_i+1x_i.

В правых частях уравнений (5.8), (5.9) матрица Φ^k-1i+1 = Φ_i+1(t_i+1|t_i+2, . . . , t_N ) -

это матрица (k - 1)-моментной функции цены после (i + 1)-го переключе-

ния, k = N - i. При i = N - 1 аргументы t_i+2, . . . , t_N отсутствуют и матри-

ца Φ_i(t_i+1|t_i+2, . . . , t_N ) = Φ_i(t_i+1), т.е. совпадает с матрицей нульмоментной

функции цены.

На промежутке [t_i, t_i+1] матрица Φ_i(t|t_i+1, . . . , t_N ) как функция времени t

удовлетворяет матричному дифференциальному уравнению Риккати (5.6) с

терминальным условием (5.8). Оптимальное управление непрерывным дви-

жением на этом промежутке линейно по состоянию системы

(5.10)

u_i(t,x_i|t_i+1,... ,t_N) = -D^-1i(t)B^Ti(t)Φ_i(t|t_i+1,... ,t_N )x_i.

При k = 0 управление (5.10) совпадает с (5.7).

В результате рекуррентной процедуры находятся матрицы Φ_i(t), Φ_i(t|t₁),

...,Φ_i(t|t₁,...,t_N) моментных функции цены (5.5), а также соответствующие

условные оптимальные управления (5.9), (5.10). Для завершения синтеза оп-

тимального управления остается определить количество переключений N и

сами моменты переключений t₁, . . . , t_N , решая задачу конечномерной мини-

мизации

(5.11) min I = min

min

x^T0Φ₀(t₀|t₁,... ,t_N)x₀ + λ₁(t₁) + ...

N ∈Z₊

t₀≤t₁...≤t_N ≤t_F

}

... + λ_N(t_N)

Заметим, что из-за положительности затрат (2.5) минимум (5.11) достигается

при конечном числе переключений N.

Таким образом, справедливо следующее утверждение.

Теорема 2 (оптимальное управление). Оптимальное управление линей-

ной ГСПР (2.1)-(2.3) с квадратичным функционалом качества (2.4) имеет

вид

u^∗i(t) = -D^-1i(t)B^Ti(t)Φ_i(t|t^∗i+1,... ,t^∗N∗ )x^∗i(t),

(5.12)

[

]

t∈

t^∗i,t^∗i+1

i = 0,1,...,N^∗,

[

]_-1

v^∗i(t^∗i) = -

D_i

B^TiΦ_i(t^∗i|t^∗i+1,... ,t^∗N∗

B_i

(5.13)

B^TiΦ_i(t^∗i|t^∗i+1,... ,t^∗N∗

A_ix^∗i-1(t^∗i).

Наименьшее значение функционала, оптимальное количество переключе-

ний N^∗ и оптимальные моменты переключений t^∗1,... ,t^∗N∗ являются реше-

нием задачи минимизации (5.11).

Подчеркнем, что условные оптимальные управления (5.9), (5.10) линей-

ны по состоянию системы. Однако количество переключений N^∗ и моменты

переключений t^∗1, . . . , t^∗N∗ , которые находятся в (5.11), в общем случае нели-

нейно зависят от начального состояния x₀. Поэтому оптимальные управле-

ния (5.12), (5.13) ГСПР оказывается нелинейными по состоянию в отличие

от классических ЛКЗ оптимального управления.

6. Синтез оптимального в среднем управления

Как было показано выше, оптимальное в среднем управление совпадает с

условным оптимальным управлением w_T одной траекторией, исходящей из

математического ожидания x₀ начального состояния системы. Для синтеза

такого управления используем так называемую функцию стоимости полуоп-

тимального процесса [5], значение β_i(t, x_i, x) которой по определению рав-

но значению функционала оставшихся потерь (5.2), вычисленному на тра-

ектории x(·), исходящей из позиции (t, x_i), при управлении w, оптимальном

для траектории x(·), исходящей из позиции (t, x_i). Иначе говоря, функция

β_i(t,x_i,x) равна значению функционала оставшихся потерь на полуоптималь-

ном процессе (x(·), w), в котором управление w оптимальное (правда, для тра-

ектории x(·)), а траектория x(·) неоптимальная, хотя получается при управ-

лении w. При совпадении аргументов x_i = x_i имеет место равенство

(6.1)

ϕi(t, xi) = βi(t, xi, xi).

Чтобы получить функцию стоимости β_i(t, x_i, x), будем использовать, как

и для функции цены, вспомогательные функции. Функцию β_i(t, x_i, x_i|t_i+1,

...,t_N), равную (по определению) значению функционала оставшихся по-

терь (5.2), вычисленному на траектории, исходящей из позиции (t, x_i), при

условном оптимальном управлении w_T , имеющем k = N - i переключений

в моменты T = {t_i+1, . . . , t_N }, для траектории, исходящей из позиции (t, x_i),

будем называть k-моментной функцией стоимости полуоптимального про-

цесса после i-го переключения.

Рекуррентная процедура нахождения моментных функций стоимости по-

луоптимального процесса для гибридных систем постоянной размерности

представлена в [5]. Опишем аналогичную процедуру для ГСПР. Согласно

определению моментная функция стоимости (t, x_i) → β_i(t, x_i, x_i|t_i+1, . . . , t_i+k)

на [t_i, t_i+1] × X_i × X_i удовлетворяет дифференциальному уравнению

∂β_i

(6.2)

[A_i(t)x_i + B_i(t)u_i] +

[A_i(t)x_i + B_i(t)u_i

∂t

∂x_i

x^TC_i(t)x_i +

u^TiD_i(t)u_i = 0

с терминальным условием в момент переключения t_i+1:

(6.3)

β_i(t_i+1,x_i,x_i|t_i+1,... ,t_N ) =

x^Ti

C_i+1x_i +

v^Ti+1 D_i+1v_i+1+

(

)

+β_i+1

t_i+1

A_i+1x_i

B_i+1v_i+1

A_i+1x_i

B_i+1v_i+1|t_i+2,... ,t_N

В уравнениях (6.2), (6.3) условные оптимальные управления u_i и v_i имеют

вид (5.10) и (5.9) соответственно для состояния x_i = x_i. Как и ранее, для

сокращения записи рекуррентных уравнений аргумент t_i+1 у матриц не ука-

зывается.

Для ЛКЗ моментная функция стоимости будет квадратичной:

(6.4)

β_i (t,x_i,x_i |t_i+1,... ,t_N

x^TiΦ_ix_i +

x^TiΦ_iΔx_i +

Δx^TiΦ_ix_i +

Δx^TiΓ_iΔx_i +

+ λi+1 (t_i+1) + ... + λ_N (t_N).

Здесь Γ_i = Γ_i(t|t_i+1, . . . , t_N )

симметрическая неотрицательно определен-

ная матрица порядка n_i, абсолютно непрерывная по t на [t_i, t_i+1]; Δx_i =

= x_i - x_i; Φ_i = Φ_i(t|t_i+1,...,t_N) матрица k-моментной функции цены (5.3),

k = N - i. При Δx = 0 получаем равенство (6.1). Подставляем (6.4) в урав-

нения (6.2), (6.3). Учитывая, что матрицы Φi удовлетворяют уравнени-

ям (5.6), (5.8), для нахождения матриц Γ_i, i = 0, 1, . . . , имеем следующую

рекуррентную процедуру.

Матрица Γ_i как функция времени t → Γ_i(t|t_i+1, . . . , t_N ) на промежутке

[t_i, t_i+1] удовлетворяет дифференциальному уравнению

(6.5)

Γ_i + A^Ti(t)Γ_i + Γ_iA_i(t) - C_i

(t) = 0

с терминальным условием в момент переключения t_i+1:

Γ_i (t_i+1 |t_i+1,... ,t_N) =

(6.6)

A^Ti+1 Γ_i+1 (t_i+1 |t_i+2,... ,t_N

A_i+1

C_i+1.

Здесь Γ_i+1(t_i+1|t_i+2, . . . , t_N ) матрица (N - i - 1)-моментной функции стои-

мости после (i + 1)-го переключения. Матрица Γ_i(t) нульмоментной функ-

ции стоимости удовлетворяет уравнению (6.5) с терминальным условием

Γ_i(t_F ) = F. В отличие от уравнения Риккати (5.6) и рекуррентного уравне-

ния (5.8) дифференциальное уравнение (6.5) и рекуррентное уравнение (6.6)

линейные, что упрощает процедуру решения.

По функции стоимости находим среднее значение (2.8) функционала ка-

чества

∫

(6.7)

I(t₀, p₀, w_T ) = p₀(x₀)β₀(t₀, x₀, x₀)dx₀.

X₀

Упростим (6.7) для условного оптимального управления w_T , T = {t₁, . . . , t_N },

траекторией, исходящей из математического ожидания x₀ начального состоя-

ния системы. Подставляя (6.4) в (6.7) и учитывая, что среднее значение

Δx = 0, получаем

I(t₀, p₀, w_T ) =

x^T0Φ₀(t₀|t₁,... ,t_N )x₀ +

(6.8)

∑

tr [Γ₀(t₀|t₁, . . . , t_N )K₀] +

λ_i(t_i).

i=1

Здесь K₀

матрица ковариации случайного вектора x₀:

K₀ = (x₀ - x₀)(x₀ - x₀)^T.

Для завершения синтеза оптимального в среднем управления остается

определить количество переключений N и сами моменты переключений

t₁,... ,t_N , решая задачу конечномерной минимизации

{

∑

(6.9) min I = min

min

x^T0Φ₀(t₀|t₁,... ,t_N )x₀ +

λ_i(t_i) +

N ∈Z₊

t₀≤t₁...≤t_N ≤t_F

i=1

}

tr [Γ₀(t₀|t₁, . . . , t_N )K₀]

Заметим, что из-за положительности затрат (2.5) минимум (6.9) достигается

при конечном числе переключений N.

Таким образом, справедливо следующее утверждение.

Теорема 3 (оптимальное в среднем управление). Оптимальное в сред-

нем управление линейной ГСПР (2.1)-(2.3) с квадратичным функционалом

качества (2.4) имеет вид

(

)

u_i (t) = -D^-1i (t)B^Ti (t) Φ_i

t|t_i+1,...,t_N

x_i (t) ,

[

]

t∈

t_i,t_i+1

i = 0,1,...,N,

[

]_-1

(

)

v_i(t_i) = -

D_i

B^TiΦ_i

t_i |t_i+1,... ,t_N

B_i

(

)

(

)

B^TiΦ_i

t^∗i |t_i+1,... ,t_N

A_ix_i-1

t_i

Наименьшее среднее значение функционала, оптимальное количество пере-

ключений N и оптимальные моменты переключений t₁, . . . , t_N являются

решением задачи минимизации (6.9).

Как видим, при синтезе оптимального в среднем управления задача на-

блюдения нахождение математического ожидания начального состояния

системы вполне тривиальная и решается отдельно от задачи управления.

Задача синтеза условного оптимального управления также решается незави-

симо от задачи наблюдения. Однако завершающая операция синтеза опти-

мального в среднем управления поиск оптимальных моментов переключе-

ний (6.9) выполняется при известных математическом ожидании и кова-

риационной матрице вектора начального состояния. Иначе говоря, послед-

нюю операцию синтеза оптимального в среднем управления нельзя отделить

от задачи наблюдения.

Отметим случай, когда выполняется классический принцип разделения.

Следствие. Если матрица Γ₀(t₀|t₁,...,t_N), удовлетворяющая уравне-

ниям (6.5), (6.6), не зависит от моментов переключений t₁,... ,t_N , то оп-

тимальное в среднем управление линейной ГСПР с квадратичным функцио-

налом качества совпадает с оптимальным управлением одной траекторией,

исходящей из математического ожидания начального состояния системы.

Доказательство. В самом деле, подставляя в (6.9) Γ₀(t₀|t₁,...,t_N) =

= Γ₀(t₀), получаем задачу минимизации

{

}

∑

min I = min

min

x^T0Φ₀(t₀|t₁,... ,t_N )x₀ +

λ_i(t_i)

N ∈Z₊

t₀≤t₁...≤t_N

(6.10)

i=1

tr [Γ(t₀)K₀] .

Последнее слагаемое не зависит от переключений. Поэтому решение задачи

минимизации (6.10) совпадает с решением задачи (5.11) при x₀ = x₀. Значит,

оптимальное в среднем управление и оптимальное управление для траекто-

рии, исходящей из математического ожидания начального состояния, сов-

падают, так как имеют одинаковое количество переключений и одинаковые

моменты переключений, что и требовалось доказать.

7. Примеры

Рассмотрим две ЛКЗ управления в среднем гибридными системами. В пер-

вом примере для ГСПР выполняется классический принцип разделения. Во

втором примере для гибридной системы второго порядка классический прин-

цип не выполняется, а условный оказывается справедливым.

Пример 1 (движение носителя c отделением управляемых объек-

тов). Гибридная система представляет собой группу объектов, количество

которых увеличивается с каждым переключением. Движение начинает один

составной объект (носитель) массы M. При каждом переключении от него

отделяется один простой объект массы m, который продолжает самостоя-

тельное управляемое движение. Количество управляемых объектов, а следо-

вательно, и размерность гибридной системы, увеличивается с каждым пере-

ключением. Сформулируем постановку задачи.

Пусть на заданном промежутке времени T = [t₀, t_F ] динамическая систе-

ма совершает N переключений в моменты времени t₁, . . . , t_N : t₀ ≤ t₁ ≤

...≤t_N ≤t_F.

Между неравными последовательными моментами переключений t_i < t_i+1

движение носителя и отделившихся простых объектов описываются диффе-

ренциальными уравнениями:

x = y(t), (M - im)y = u(t),

(7.1)

x_j = y_j(t), m y_j = u_j(t), t ∈ [t_i,t_i+1].

Здесь x, y, u координаты состояния носителя и его управление, (M - im)

масса носителя после отделения от него i объектов; x_j, y_j , u_j координаты и

управление j-го объекта, j = 1, . . . , i; m масса каждого простого объекта.

Ограничения на координаты и управления отсутствуют. Масса носителя не

меньше суммарной массы переносимых объектов M ≥ Nm.

В момент переключения t_i от носителя отделяется i-й объект под действи-

ем управления v_i, а состояния носителя и ранее отделившихся объектов не

меняются:

x(t_i) = x(t_i - 0), y(t_i) = y(t_i - 0);

(7.2)

x_i(t_i) = x(t_i), y_i(t_i) = y(t_i) + v_i;

x_j(t_i) = x_j(t_i - 0), y_j(t_i) = y_j(t_i - 0), j = 1,... ,i - 1.

Качество управления оценивается квадратичным функционалом

I (t₀, x₀, y₀, w) =

∫

}

∑

[

]

{ (M - im)

u² (t) +

u²¹ (t) + ... + u²ⁱ (t)

dt +

i=0

(7.3)

∑{

[

]}

λ_i (t_i) +

v²ⁱ +

x²ⁱ (t_F ) + y²ⁱ (t_F )

i=1

M -Nm

[

]

x² (t_F ) + y² (t_F )

где (x₀, y₀) начальное состояние носителя, λ_i(t_i) = α_i(t_F - t)² + β_i поло-

жительные затраты на i-е переключение, α_i > 0, β_i > 0, i = 1, . . . , N. Весовые

коэффициенты в (7.3) перед квадратами переменных пропорциональны мас-

сам простых объектов и массе носителя после отделения простых объектов

соответственно.

Начальное состояние (x₀, y₀) носителя является случайным вектором,

имеющим равномерное распределение на квадрате 0 ≤ x ≤ 2, 0 ≤ y ≤ 2. Каче-

ство управления системой со случайным начальным состоянием оценивается

средним значением функционала (7.3):

∫

(7.4)

I(t₀, w) =

I(t₀, x₀, w)dx₀dy₀.

Требуется найти:

1) наименьшее значение функционала (7.3) и оптимальное управление для

процесса, удовлетворяющего начальному условию x₀ = 1, y₀ = 1;

2) наименьшее среднее значение (7.4) функционала (7.3) и оптимальное в

среднем управление, на котором это значение достигается.

Будем искать решение задачи при следующих значениях параметров:

t₀ = 0, t_F = 10, M = 3, m = 1, α₁ = 0,012, α₂ = 0,0145, β₁ = β₂ = 0,01. Посколь-

ку M = 3m, то количество отделяемых объектов не более двух (N ≤ 2). По

сравнению с общей постановкой задачи вектор состояния системы до перво-

го переключения имеет вид (x, y)^T, между переключениями (x, y, x₁, y₁)^T,

после второго переключения (x, y, x₁, y₁, x₂, y₂)^T. Матрицы в уравнениях

движения (2.2), (2.3) для рассматриваемой задачи имеют соответствующие

размеры. Например, в момент первого переключени

A₁ = diag(E₂,E₂), где

E₂

единичная матрица второго порядка

B₁ =

1)T; после второго

переключения



T

((

)

(

)

(

))

A₂ = diag

B₂ =0 0 0 1 0 0 .

1. Перед синтезом оптимального управления ГСПР рассмотрим две про-

стые вспомогательные задачи. Первая задача это ЛКЗ Больца

(7.5)

x(t) = y(t), M y(t) = u,

∫tF

I =

u²(t)dt +

F₁₁x²(t_F ) + F₁₂x(t_F )y(t_F ) +

F₂₂y²(t_F ) → min.

В этой задаче функция цены квадратичная ϕ(t, x, y) =¹² ϕ₁₁x² + ϕ₁₂xy+

+¹²ϕ₂₂y², причем матрица Φ = (ϕ_ij) квадратичной формы удовлетворяет

уравнению Риккати, аналогичному (5.6). Записывая для элементов матри-

цы Φ дифференциальные уравнения, получаем систему

ϕ²¹²

ϕ₁₂ϕ₂₂

ϕ²²²

ϕ₁₁(t) -

= 0,

ϕ₁₂(t) + ϕ₁₁ -

= 0,

ϕ₂₂(t) + 2ϕ₁₂ -

= 0.

M²

Решение этой системы с терминальными условиями ϕ₁₁(t_F ) = F₁₁, ϕ₁₂(t_F ) =

= F₁₂, ϕ₂₂(t_F) = F₂₂ имеет вид

τ²

M²F₁₁ + |F|τ

M²(F₁₁τ + F₁₂) + |F|

ϕ₁₁(t) = M²

ϕ₁₂(t) = M²

τ³

M²(F₁₁τ² + 2F₁₂τ + F₂₂) + |F|

ϕ₂₂(t) = M²

(

)

τ³

где Δ = M⁴ + M² F₁₁

|F | , τ = tF - t, |F| = F11F22-

−F²¹²

определитель симметрической матрицы F = (F_ij ). Оптимальное по-

зиционное управление линейное по состоянию системы

ϕ₁₂(t)x + ϕ₂₂(t)y

(7.6)

u(t, x, y) = -

Обозначим через Φ = Φ(t|t_F , M, F ) матрицу квадратичной функции цены ϕ.

Вторая вспомогательная задача это дискретная одношаговая ЛКЗ Боль-

ца

x₁ = x₀, y₁ = y₀ + v, I =

v² +

F₁₁x²¹ + F₁₂x₁y₁ +

F₂₂y²¹ → min.

Функция цены в этой задаче квадратичная

ϕ(x, y) =¹²ϕ11x2 + ϕ12xy +12ϕ22y2,

ее коэффициенты находятся по формулам

F²¹²

F₁₂

F₂₂

ϕ₁₁ = F₁₁ -

ϕ₁₂ =

ϕ₂₂ =

1+F₂₂

Оптимальное позиционное управление линейно по состоянию

F₁₂x + F₂₂y

(7.7)

v(x, y) = -

1+F₂₂

Обозначим черезΦ =Φ(F ) матрицу квадратичной функции цены

ϕ.

При помощи матриц Φ(t|t_F , M, F ) иΦ(F ) можно выразить матрицы квад-

ратичных форм моментных функций цены (5.5). Записывая эти выражения,

матрицы, соответствующие носителю, будем указывать без индекса, а со-

ответствующие простым объектам с индексом, равным номеру объекта.

Например, матрица нульмоментной функции цены после второго переключе-

ния имеет вид diag(Φ(t), Φ₁(t), Φ₂(t)); матрица одномоментной функции цены

между переключениями diag(Φ(t|t₂), Φ₁(t)).

Для нульмоментной функции цены ϕ₀(t₀, x₀, y₀) матрица Φ₀(t₀) находится

по формуле Φ₀(t₀) = Φ(t₀|t_F , M, E₂), так как задача без переключений сов-

падает с задачей Больца (7.5) при F = E₂.

Матрица Φ₀(t₀|t₁) одномоментной функции цены ϕ₀(t₀, x₀, y₀|t₁) нахо-

дится следующим образом. Сначала определяются матрицы нульмомент-

ных функций цены для носителя Φ(t₁) = Φ(t₁|t_F , M - m, E₂) и для просто-

го объекта Φ₁(t₁) = Φ(t₁|t_F , m, E₂) в момент t₁ после переключения. Затем

находим матрицу Φ₀(t₁|t₁) =^M-mM Φ(t₁) +^mM Φ(Φ₁(t₁)) одномоментной функ-

ции цены в момент t₁ перед переключением. И по формуле Φ₀(t₀|t₁) =

= Φ(t₀|t₁,M,Φ₀(t₁|t₁)) получаем искомую матрицу.

Для двухмоментной функции цены ϕ₀(t₀, x₀, y₀|t₁, t₂) процедура нахож-

дения матрицы Φ₀(t₀|t₁, t₂) аналогичная. Сначала определяются матрицы

нульмоментных функций цены для носителя Φ(t₂) = Φ(t₂|t_F , M - 2m, E₂),

первого Φ₁(t₁) = Φ(t₁|t_F , m, E₂) и второго Φ₂(t₂) = Φ(t₂|t_F , m, E₂) простых

объектов. Затем находим матрицу одномоментной функции цены для носи-

теля в момент t₂ перед переключением Φ(t₂|t₂) =^M-2mM Φ(t₂) +^mM Φ(Φ₂(t₂)).

Потом находим матрицу Φ(t₁|t₂) = Φ(t₁|t₂, M - m, Φ(t₂|t₂)) одномоментной

функции цены для носителя в момент t₁ после первого переключения. Далее

определяем матрицу двухмоментной функции цены в момент t₁ перед пер-

вым переключением Φ₀(t₁|t₁, t₂) =^M-mM Φ(t₁|t₁, t₂) +^mM Φ(Φ₁(t₁)). И по фор-

муле Φ₀(t₀|t₁, t₂) = Φ(t₀|t₁, M, Φ(t₁|t₁, t₂)) получаем искомую матрицу.

В результате описанной процедуры находятся моментные функции цены.

В задаче без переключений наименьшее значение функционала качества (7.3)

для заданного начального состояния (x₀, y₀) = (1, 1)^T вычисляется по нуль-

моментной функции цены min I₀ = ϕ₀(0, 1, 1) = 1,7321. Для задач с переклю-

чениями нужно выполнить оптимизацию моментов переключений, решая со-

ответственно задачи

min I₁ = min

ϕ₀(0,1,1|t₁), minI₂ =

min ϕ₀(0, 1, 1|t₁, t₂).

0≤t₁≤t_F

0≤t₁≤t₂≤t_F

В первой задаче получаем min I₁ = 1,7231 при t₁ = 2,163; во второй min I₂ =

= 1,7031 при t₁ = 2,32, t₂ = 9,72.

При численном решении задачи моментные функции находились по точ-

ным формулам, а оптимизация моментов переключений выполнялась при-

ближенно перебором на сетке с шагом 0,001 для одного переключения и с

Рис. 1.

-1

Рис. 2.

шагом 0,01 с двумя переключениями. Условные оптимальные траектории с

одним и двумя переключениями представлены на рис. 1 и 2 соответствен-

но. Сплошной линией изображается движение носителя и второго объек-

та, штриховой первого объекта, двойными стрелками отделение объ-

екта от носителя. Условные оптимальные управления определяются форму-

лами (7.6), (7.7). Таким образом, оптимальным является процесс с двумя

переключениями.

2. Для решения задачи оптимального в среднем управления ГСПР нужно

найти моментные функции стоимости (6.4). Разумеется, речь идет о матри-

цах Γ, так как матрицы Φ моментных функций цены уже найдены в п. 1.

В рассматриваемом функционале (7.3) матрицы C_i

C_i нулевые, а собствен-

ные движения (без управления) носителя и простых объектов описываются

одинаковыми уравнениями. Поэтому матрицы Γ для носителя и простых объ-

ектов будут отличаться только коэффициентами, пропорциональными мас-

сам.

Обозначим через Γ(t|t_F , F ) симметрическую матрицу второго порядка c

элементами

γ₁₁(t) = F₁₁, γ₁₂(t) = F₁₂ + F₁₁τ, γ₂₂(t) = F₂₂ + 2F₁₂τ + F₁₁τ²,

где τ = t_F - t. Эта матрица удовлетворяет уравнению (6.5) для нульмомент-

ной функции стоимости c терминальным условием Γ(t_F |t_F , F ) = F .

C помощью этой матрицы выразим все матрицы Γ для моментных функ-

ций стоимости. Как и ранее, матрицы, соответствующие носителю, будем

писать без индекса, а соответствующие простым объектам с индексами,

равными номеру объекта.

Для нульмоментной функции стоимости β₀(t₀, x₀, y₀, x₀, y₀) матрица Γ₀(t₀)

находится по формуле Γ₀(t₀) = Γ(t₀|t_F , E₂).

Матрица Γ₀(t₀|t₁) одномоментной функции стоимости β₀(t₀, x₀, y₀, x₀, y₀|t₁)

находится следующим образом. Сначала определяются матрицы нульмомент-

ных функций стоимости для носителя Γ(t₁) =^(M-m)M Γ(t₁|t_F , E₂) и для про-

стого объекта Γ₁(t₁) =^mM Γ(t₁|t_F , E₂) в момент t₁ после переключения. В мо-

мент переключения эти матрицы складываются: Γ₀(t₁|t₁) = Γ(t₁) + Γ₁(t₁) =

= Γ(t₁|t_F ,E₂)

матрица одномоментной функции стоимости в момент t₁

перед переключением. Последнее равенство записано, так как сумма ве-

совых коэффициентов равна единице. Наконец, по формуле Γ₀(t₀|t₁) =

= Γ(t₀|t₁,Γ₀(t₁|t₁)) получаем искомую матрицу. Отметим, что из-за непре-

рывности продолжения решения дифференциальных уравнений имеем ра-

венство Γ(t₀|t₁, Γ₀(t₁|t₁)) = Γ(t₀|t₁, Γ(t₁|t_F , E₂)) = Γ(t₀|t_F , E₂). Поэтому мат-

рица Γ₀ одномоментной функции стоимости не зависит от момента переклю-

чения t₁: Γ₀(t₀|t₁) = Γ₀(t₀).

Аналогично доказывается, что матрица Γ₀(t₀|t₁, t₂) двухмоментной функ-

ции стоимости β₀(t₀, x₀, y₀, x₀, y₀|t₁, t₂) также не зависит от моментов пере-

ключений t₁,t₂.

Таким образом, согласно следствию, в рассматриваемой ЛКЗ принцип раз-

деления выполняется. Поэтому оптимальное управление (с двумя переклю-

чениями), наденное в п. 1 для математического ожидания (x₀, y₀) = (1, 1) на-

чального состояния, является оптимальным в среднем управлением ГСПР.

Наименьшее среднее значение функционала вычисляется по формуле (6.10):

min I₂ =

(x₀, y₀)^TΦ₀(t₀|t₁, t₂)(x₀, y₀) + λ₁(t₁) + λ₂(t₂) +

tr [Γ(t₀)K₀] = 18,7031,

где K₀ =¹³ E₂, а моменты переключений такие же как в п. 1: t₁ = 2,32,

t₂ = 9,72.

Пример 2 (движение с переключениями канала управления). Пусть на

заданном промежутке времени [0, 3] гибридная система постоянной раз-

мерности совершает N переключений (скачков) в моменты времени t_i,

i = 1,...,N, которые образуют неубывающую конечную последовательность:

0 ≤ t₁ ≤ ... ≤ t_N ≤ t_N+1 ≜ 3. Между неравными последовательными момен-

тами переключений состояние системы изменяется непрерывно, согласно

дифференциальным уравнениям:

(7.8)

x₁(t) = u(t),

x₂(t) = x₂(t), t ∈ T_i

i∈N,

а в моменты переключений дискретно в соответствии с рекуррентными

уравнениями

(7.9)

x_1i = x_2i- + v_i, x_2i = x_1-

i = 1,...,N.

Здесь, как и ранее, N ≜ {i = 0, 1, . . . , N |t_i < t_i+1 } - множество номеров ненуле-

вых (по длине) частичных промежутков T_i = [t_i, t_i+1] непрерывного движения

системы; x(t) - состояние системы в момент времени t ∈ T_i, x = (x₁, x₂)^T ∈ X =

= R²; u(t) значение управления непрерывным движением системы в мо-

мент времени t ∈ T_i, u ∈ R. В уравнении (7.9): x_i = (x_1i, x_2i) = x(t_i) состоя-

ние системы сразу после i-го переключения, x_i- = (x_1i-, x_2i-) состояние

системы непосредственно перед i-м переключением; v_i управление пере-

ключением системы в момент t_i ∈ T , v_i ∈ R, T = {t₁, . . . , t_N }.

Качество процесса управления оценивается квадратичным функционалом

∫3

∑(

)

[

]

(7.10)

I(x₀, w) =

u²(t) + x²¹(t) + x²²(t)

dt +

λ+

v²

i=1

где x₀

начальное состояние системы, w = (u(·), v(·)) допустимое управ-

ление. Коэффициенты λ и η определяют затраты на каждое переключение.

Количество N и моменты переключений t₁, . . . , t_N заранее не заданы и под-

лежат оптимизации.

Начальное состояние (x₀, y₀) является случайным вектором, имеющим

равномерное распределение на параллелограмме с вершинами A(7,5; 5),

B(8,5; 5), C(7,5; 6), D(6,5; 6). Качество управления системой со случайным

начальным состоянием оценивается средним значением функционала (7.10):

∫

(7.11)

I(t₀, w) =

I(x₀, w)dx₀.

ABCD

Требуется найти:

1) оптимальное управление w для траектории, исходящей из центра x₀ =

= (7,5; 5,5) параллелограмма ABCD, и соответствующее этому управлению

значение функционала (7.10);

2) оптимальное в среднем управление w и соответствующее этому управ-

лению среднее значение (7.11) функционала (7.10).

В системе (7.8), (7.9) имеется один канал управления: первая координата

управляема при непрерывном движении, а вторая - нет (она экспоненциаль-

но отклоняется от нуля). В момент переключения фактически происходит

взаимная замена координат состояния неуправляемая координата стано-

вится управляемой и наоборот, причем значение первой управляемой коор-

динаты корректируется при помощи управления. Таким образом, совершая

переключения (т.е. меняя канал управления), можно попеременно управлять

координатами состояния системы.

По сравнению с общей постановкой задачи имеем гибридную систему

постоянной размерности (второго порядка) со скалярными управлениями:

X = R², U = V = R, t₀ = 0, t_F = 3. Нижнюю индексацию количества сделан-

ных переключений у вектора состояния x_i(t), функций цены ϕ_i (стоимости β_i)

и моментных функций цены (стоимости), а также соответствующих матриц

опускаем.

1. Перед синтезом оптимального управления ГСПР рассмотрим вспомога-

тельную ЛКЗ Больца

x₁(t) = u(t),

x₂(t) = x₂(t), t₀ ≤ t ≤ t_F , x(t₀) = (x₁₀,x₂₀)^T,

∫tF

[

]

I(x₀, w) =

u²(t) + x²¹(t) + x²²(t)

dt +

x^T(t_F )Fx(t_F ) → min,

t₀

где F симметрическая неотрицательно определенная матрица второго по-

рядка. Функция цены в этой задаче квадратичная ϕ(t, x) =¹² x^TΦ(t|t_F , F )x.

Элементы симметрической матрицы Φ имеют вид [17]:

[

]

F₁₂

Φ₁₁ =

(1 + F²¹¹) sh 2τ + 2F₁₂ ch 2τ

Φ₁₂ =

e^τ ,

2Δ²

2τ

(

)

F²¹²e

Φ₂₂ = -

shτ +

e^2τ - 1

+F₂₂e^2τ,

где τ = t_F - t, Δ = ch τ + Φ₁₁ sh τ. Оптимальное позиционное управление ли-

нейно по состоянию u(t, x) = -Φ₁₁(t)x₁ - Φ₁₂(t)x₂.

Перейдем к нахождению моментных функций цены, которые имеют вид:

ϕ(t₀, x|t₁, . . . , t_k) =

x^TΦ(t|t₁,... ,t_k)x + kλ.

Непрервное изменение матриц Φ моментных функций цены выражается при

помощи матрицы Φ, а скачки при переключениях определяются рекуррент-

ным уравнением

(

)

ηΦ₂₂ + Φ₁₁Φ₂₂ - Φ²¹² ηΦ₁₂

(7.12)

Φ(t₁|t₁, . . . , t_N ) =

η+Φ₁₁

ηΦ₁₂

ηΦ₁₁

В правой части уравнения (7.12) стоят элементы матрицы Φ(t₁|t₂, . . . , t_N ),

предшествующей (N - 1)-моментной функции цены. Условное оптималь-

ное позиционное управление переключением системы v(t₁, x|t₂, . . . , t_N ) =

= -Φ₁₂x₁ - Φ₁₁x₂.

Для нульмоментной функции цены ϕ(t₀, x₀) матрица Φ(t₀) получается по

формуле Φ(t₀) = Φ(t₀|t_F , O), где O нулевая квадратная матрица второго

порядка.

Матрица Φ(t₀|t₁) одномоментной функции цены ϕ(t₀, x₀, y₀|t₁) находится

следующим образом. Сначала определяется матрица нульмоментной функ-

ции цены Φ(t₁) = Φ(t₁|t_F , O) в момент t₁ после переключения. Затем матрица

Φ(t₁|t₁) одномоментной функции цены в момент t₁ перед переключением, ко-

торая определяется рекуррентным уравнением (7.12) c элементами матрицы

Φ(t₁) в правой части. Наконец, по формуле Φ(t₀|t₁) = Φ(t₀|t₁, Φ₀(t₁|t₁)) полу-

чаем искомую матрицу. Продолжая аналогичным образом, получаем следую-

щие моментные функции цены [17].

На каждом шаге рекуррентной процедуры определяем наименьшее значе-

ние функционала (7.10) при фиксированном числе переключений

}

(7.13)

I_k =

min

x^T0Φ(t₀|t₁,... ,t_k)x₀ + kλ

k = 1,2,...

t₀≤t₁≤...≤t_k≤t_F

Рис. 3.

Условием окончания служит неравенство I_k ≤ I_k+1, т.е. шаг k, после которого

наименьшие значения (7.13) перестают убывать. Проверку нужно начинать с

неравенства I₀ ≤ I₁, где I₀ = ϕ(t₀, x₀) наименьшее значение функционала

в задаче без переключений.

При численном решении задачи моментные функции находились по точ-

ным формулам, а оптимизация моментов переключений выполнялась при-

ближенно перебором на сетке с шагом 0,01. Для заданного начального состоя-

ния были получены следующие значения функционалов:

I₀ = 2547,0217, I₁ = 111,97371, I₂ = 111,74633,

I₃ = 111,70389, I₄ = 111,76546.

Так как I₃ < I₄, то оптимальной оказывается траектория с тремя переклю-

чениями в моменты времени: t₁ = 0,35, t₂ = 1,15, t₃ = 2,15. На рис. 3 опти-

мальная фазовая траектория изображена сплошной линией, начинающейся

в точке x₀, состояния непосредственно до и после переключений отмечены

маленькими окружностями, направление движения указано стрелками.

2. Для решения задачи оптимального в среднем управления нужно найти

моментные функции стоимости (6.4), которые для рассматриваемой задачи

имеют вид

β(t, x, x|t₁, . . . , t_N ) =

x^TΦx_i +

x^TΦΔx_i +

(7.14)

Δx^TΦx +

Δx^TΓΔx + Nλ.

Матрицы Φ моментных функций цены найдены в п. 1 решения. Поэтому для

формирования (7.14) остается получить матрицы Γ. В формуле (7.14) учи-

тывается, что при Δx = 0 выполняется равенство (6.1).

Обозначим через Γ(t|t_F , F ) симметрическую матрицу второго порядка c

элементами

(

)

Γ₁₁ = F₁₁ + τ, Γ₁₂ = F₁₂e^τ , Γ₂₂ = F₂₂ + e^2τ +

e^2τ - 1

Эта матрица удовлетворяет уравнению (6.5), соответствующему решаемой

задаче, с терминальным условием Γ(t_F |t_F , F ) = F .

Запишем также рекуррентное уравнение (6.6) для рассматриваемой ЛКЗ

(

)

Γ₂₂

Γ₁₂

(7.15)

Γ(t₁|t₁, . . . , t_N ) =

Γ₁₂

Γ₁₁

В правой части уравнения (7.15) стоят элементы матрицы Γ(t₁|t₂, . . . , t_N ),

предшествуюшей (N - 1)-моментной функции стоимости β(t₁, x, x|t₂, . . . , t_N ).

Для нульмоментной функции стоимости β(t₀, x₀, x₀) матрица Γ(t₀) полу-

чается по формуле Γ(t₀) = Γ(t₀|t_F , O), где O нулевая квадратная матрица

второго порядка.

Матрица Γ(t₀|t₁) одномоментной функции стоимости β(t₀, x₀, x₀|t₁) на-

ходится следующим образом. Сначала определяется матрица нульмомент-

ной функции стоимости Γ(t₁) = Γ(t₁|t_F , O) в момент t₁ после переключения.

Затем получаем матрицу Γ(t₁|t₁) одномоментной функции стоимости в мо-

мент t₁ перед переключением, которая определяется рекуррентным уравне-

нием (7.15) c элементами матрицы Γ(t₁) в правой части. Наконец, по формуле

Γ(t₀|t₁) = Γ(t₀|t₁, Γ(t₁|t₁)) получаем искомую матрицу. Продолжая аналогич-

ным образом, получаем моментные функции стоимости.

На каждом шаге рекуррентной процедуры определяем наименьшее сред-

нее значение функционала (7.10) при фиксированном числе переключений.

Для этого решаем задачу минимизации, используя формулу (6.8):

}

I_k = min

x^T0Φ(t₀|t₁,... ,t_k)x₀ +

tr [Γ₀(t₀|t₁, . . . , t_N )K₀] + kλ

t₀≤t₁...≤t_k

Для заданного распределения начального состояния были получены следую-

щие значения функционалов:

I₀ = 3076,988, I₁ = 119,663, I₂ = 115,185,

I₃ = 115,066, I₄ = 115,016, I₅ = 115,058.

Так как I₄ < I₅, то оптимальным в среднем оказывается управление с

четырьмя переключениями в моменты времени t₁ = 0,2, t₂ = 0,6, t₃ = 1,4,

t₄ = 2,2. Для этого управления на рис. 3 изображены множества возможных

состояний системы в начальный и конечный моменты времени, представляю-

щие собой параллелограммы, а также траектория, исходящая из математиче-

ского ожидания x₀ = (7,5; 5,5)^T. Отметим, что эта траектория (штриховая ли-

ния) отличается от оптимальной траектории для того же начального состоя-

ния (сплошная линия). У этих процессов даже разное количество переклю-

чений. Значит, классический принцип разделения не выполняется. Условный

принцип разделения выполняется, так как оптимальное в среднем управле-

ние является условным оптимальным для траектории, исходящей из центра

тяжести.

8. Заключение

Принцип разделения позволяет свести задачу оптимального в среднем

управления детерминированной системой со случайным начальным состояни-

ем к совокупности двух задач оптимального управления одной траектори-

ей и оптимального наблюдения. Решением задачи наблюдения служит оценка

начального состояния, например его математическое ожидание. Эта оценка

используется в оптимальном позиционном управлении, полученном при реше-

нии задачи управления одной траекторией. Обоснованием такого подхода для

ЛКЗ управления ГСПР служит доказанный в статье так называемый услов-

ный принцип разделения. По сравнению с обычным принципом разделения,

справедливым для ЛКЗ оптимального в среднем управления непрерывными,

дискретными и непрерывно-дискретными системами, условный принцип раз-

деления сложнее с вычислительной точки зрения. Для его применения нужно

вычислить и запомнить моментные функции цены, которые зависят от на-

растающего количества моментов переключений. Это существенно повышает

требования к вычислительным ресурсам, необходимым для численного ре-

шения задачи. Если количество допустимых переключений небольшое из-за

технических ограничений, то решение задачи упрощается. Условный принцип

разделения можно применять и для нелинейных ГСПР. Поскольку принцип

разделения для нелинейных систем не выполняется, получаемое управление

не будет оптимальным в среднем. Однако на практике это субоптимальное

управление часто оказывается вполне приемлемым.

СПИСОК ЛИТЕРАТУРЫ

1. Овсянников Д.А. Математические методы управления пучками. Л.: Изд-во ЛГУ,

1980.

2. Куржанский А.Б. Управление и наблюдение в условиях неопределенности. М.:

Наука, 1977.

3. Бортаковский А.С. Оптимальное и субоптимальное управления пучками траек-

торий детерминированных непрерывно-дискретных систем // Изв. РАН. Теория

и системы управления. 2009. № 1. С. 18-33.

4. Бортаковский А.С., Немыченков Г.И. Оптимальное в среднем управление

детерминированными переключаемыми системами при наличии дискретных

неточных измерений // Изв. РАН. Теория и системы управления. 2019. № 1.

С. 52-77.

5. Бортаковский А.С. Теорема разделения в задачах управления пучками траекто-

рий детерминированных линейных переключаемых систем // Изв. РАН. Теория

и системы управления. 2020. № 2. С. 37-63.

6. Величенко В.В. Оптимальное управление составными системами // Докл. АН

СССР. 1967. Т. 176. № 4. С. 754-756.

7. Медведев В.А., Розова В.Н. Оптимальное управление ступенчатыми система-

ми // АиТ. 1972. № 3. С. 15-23.

Medvedev V.A., Rozova V.N. Optimal Control of Incremental Systems // Autom.

Remote Control. 1972. V. 33. No. 3. P. 359-366.

Болтянский В.Г. Задача оптимизации со сменой фазового пространства // Диф-

ференц. уравнения. 1983. Т. 19. № 3. С. 518-521.

Гурман В.И. Принцип расширения в задачах управления. М.: Наука, 1985.

10.

Емельянов С.В., Уткин В.И., Таран В.А. и др. Теория систем с переменной

структурой. М.: Наука, 1970.

11.

Кириллов А.Н. Динамические системы с переменной структурой и размерно-

стью // Изв. вузов. Сер. Приборостроение. 2009. Т. 52. № 3. С. 23-28.

12.

Sussmann H.J. A maximum principle for hybrid optimal control problems / Proc.

of 38th IEEE Conf. on Decision and Control. Phoenix, 1999.

13.

Dmitruk A.V., Kaganovich A.M. The Hybrid Maximum Principle is a consequence

of Pontryagin Maximum Principle // Syst. Control Lett. 2008. V. 57. P. 964-970.

14.

Миллер Б.М., Рубинович Е.Я. Оптимизация динамических систем с импульс-

ными управлениями. М.: Наука, 2005.

15.

Бортаковский А.С. Синтез оптимальных систем управления со сменой моделей

движения // Изв. РАН. Теория и системы управления. 2018. № 4. С. 57-74.

16.

Бортаковский А.С. Достаточные условия оптимальности гибридных систем пе-

ременнной размерности // Тр. МИАН. 2020. Т. 308. № 2. С. 88-100.

17.

Бортаковский А.С., Урюпин И.В. Минимизация количества переключений оп-

тимальных непрерывно-дискретных управляемых процессов // Изв. РАН. Тео-

рия и системы управления. 2019. № 4. С. 29-46.

18.

Летов А.М. Динамика полета и управление. М.: Наука, 1973.

19.

Wonham W.M. On the Separation Theorem of Stochastic Control // SIAM J. Con-

trol. 1968. V. 6. P. 312-326.

20.

Ли Э.Б., Маркус Л. Основы теории оптимального управления. М.: Наука, 1972.

21.

Овсянников Д.А. Моделирование и оптимизация динамики пучков заряженных

частиц. Л.: Изд-во Ленингр. ун-та, 1990.

22.

Беллман Р. Динамическое программирование. М.: Изд-во иностр. лит. 1960.

Статья представлена к публикации членом редколлегии А.И. Кибзуном.

Поступила в редакцию 02.03.2020

После доработки 18.05.2020

Принята к публикации 09.07.2020