Автоматика и телемеханика, № 11, 2022

Нелинейные системы

(Институт проблем управления РАН им. В.А. Трапезникова, Москва;

Национальный исследовательский университет

“Высшая школа экономики”, Москва)

ЗАДАЧА СЛЕЖЕНИЯ ПРИ ДЕЙСТВИИ

ОГРАНИЧЕННЫХ ВОЗМУЩЕНИЙ.

АЛГЕБРАИЧЕСКИЙ МЕТОД СИНТЕЗА¹

Рассматривается задача дифференциальной игры слежения с нуле-

вой суммой и квадратичным функционалом качества, в которой объект

управления, подвергающийся воздействию неконтролируемых возмуще-

ний, описывается нелинейным обыкновенным дифференциальным урав-

нением. Известно, что синтез оптимальных управлений приводит к необ-

ходимости решать в темпе функционирования системы скалярное диф-

ференциальное уравнение в частных производных Беллмана-Айзекса, со-

держащее сведения о траектории процесса, который должен отслеживать-

ся. Отсутствие информации об этом процессе на всем интервале управ-

ления делает синтезированные управления нереализуемыми. Для реше-

ния уравнения Беллмана-Айзекса, содержащее текущее значение отсле-

живаемого процесса, в работе предложен алгебраический метод. В каче-

стве иллюстрации полученных результатов приведено моделирование по-

ведения нелинейной системы с двумя игроками с открытым горизонтом

управления.

Ключевые слова: дифференциальные игры, оптимальное управление с об-

ратной связью, уравнение Беллмана-Айзекса, пвсевдообратные матрицы.

DOI: 10.31857/S0005231022110046, EDN: KEGMFD

1. Введение

Теория дифференциальных игр как направление математической тео-

рии управления тесно связана с математической теорией оптимальных про-

цессов, теорией игр, вариационным исчислением и теорией дифференци-

альных уравнений. Становление теории дифференциальных игр связано

с именами Р.П. Айзекса [1, 2], Л.С. Понтрягина [3, 4], Е.Ф. Мищенко [5],

Б.Н. Пшеничного [6], Н.Н. Красовского [7] и многих других зарубежных и

российских ученых. Начиная с работ А.Е. Брайсона [8] дифференциальные

¹ Работа выполнена при поддержке Российского фонда фундаментальных исследований

(проект № 20-8-00535).

103

игры с ненулевой суммой стали рассматриваться как задачи теории опти-

мального управления. В задачах дифференциальной игры с заданным ин-

тервалом управления с нулевой суммой и квадратичным функционалом ка-

чества синтез оптимальных управлений приводит при их реализации к необ-

ходимости решать в темпе функционирования объекта скалярное дифферен-

циальное уравнение в частных производных Беллмана-Айзекса [9] с коэф-

фициентами, зависящими от состояния объекта. Кроме этого, решение тре-

бует предварительного знания отслеживаемой траектории на всем интервале

управления. Аналитическое решение такого уравнения в общем случае явля-

ется проблемным. В задачах c линейными объектами можно получить реали-

зуемые решения только для случая, когда желаемая траектория описывает-

ся соответствующим дифференциальным уравнением [10, 11]. В этом случае

параметры регулятора определяются решениями двух дифференциальных

уравнений (одно из которых является матричным дифференциальным урав-

нением типа Риккати, второе матричным неоднородным линейным диффе-

ренциальным уравнением), краевые условия для которых задаются на правом

конце.

В настоящей статье задача дифференциальной игры слежения с неза-

данным временем окончания переходного процесса, нелинейным объектом и

ограниченными возмущениями рассматривается как проблема оптимально-

го управления, т.е. дифференциальной игры с нулевой суммой. Решение со-

ответствующего уравнения Беллмана-Айзекса ищется с применением алгеб-

раического метода. Построение оптимальных управлений с использованием

разработанного метода иллюстрируется результатами математического моде-

лирования для системы уравнений Лотки-Вольтерра, описывающей взаимо-

действие биологических объектов [12, 13]. В данном случае рассматривается

система в общем виде без указания конкретного прикладного применения

используемой модели и ее параметров. Будем считать, что эта система опи-

сывает классическое межпопуляционное взаимодействие хищников и жертв.

В случае использования методов дифференциальных игр в задачах воздей-

ствия лекарства на зараженные вирусом клетки используется подобная си-

стема уравнений, но более высокого порядка [14].

Материал статьи представлен следующим образом. Во втором разделе

осуществлена постановка задачи дифференциальной игры с квадратическим

функционалом качества, производится синтез управлений, доказывается их

оптимальность. Определяются условия существования решения дифферен-

циальной игры с нулевой суммой. В первой части третьего раздела статьи

доказывается Лемма 3.1 о необходимых и достаточных условиях существо-

вания алгебраического решения скалярного функционального нелинейного

уравнения. Во второй части этого раздела приводятся результаты приме-

нения Леммы 3.1 для нахождения решения уравнения Беллмана-Айзекса,

содержащего текущее значение отслеживаемого процесса. Доказывается оп-

тимальность полученного решения.

104

В четвертой части статьи приводится пример использования полученных

теоретических результатов при решении задачи дифференциальной игры,

описывающей взаимодействие популяций.

2. Задача слежения при действии возмущающих сил

2.1. Постановка задачи

Пусть детерминированная управляемая нелинейная система описывается

обыкновенным дифференциальным уравнением

x(t) = f(x(t)) + g₁(x(t))u(t) + g₂(x(t))w(t), x(t₀) = x₀ ,

(2.1)

y(t) = C(t)x(t).

Здесь x(t) = {x(·) ∈ Rⁿ, t ∈ [t₀, t_f )}, x ∈ Ω_x, где Ω_x открытое множество в Rⁿ;

y(t)

измеряемый выход системы, y(t) ∈ R^p; u(t) = {u(·) ∈ R^r, t ∈ [t₀, t_f )},

{

}

r ≤ n управление, w(t) =

w(·) ∈ R^k, t ∈ [t₀, t_f )

, k ≤ n внешнее возму-

щение. В силу того, что возможны случаи, когда размерности векторов u(t)

и w(t) могут быть r > k или r < k, условимся, что число нулевых элементов

в векторе {g₁(x(t))u(t) + g₂(x(t))w(t)} ∈ Rⁿ есть m < n. Векторы и матрицы

f (x(t)), g₁(x(t)), g₂(x(t))

непрерывные функции.

Предположение 2.1. Непрерывные функции f(x(t)), g₁(x(t)), g₂(x(t))

такие, что при любых (t₀, x₀) ∈ R⁺ × Ω_x проходит одно и только одно решение

уравнения (2.1) x(t, t₀, x₀).

Предположения относительно ограничений на управляющее воздействие

и возмущение будут сделаны ниже.

Пусть z(t) ∈ Ω_z ⊂ R^p желаемый выход системы.

Введем в рассмотрение ошибку слежения

(2.2)

ε(t) = y(t) - z(t) = C(t)x(t) - z(t), ε(t) ∈ Ω_ε, где Ω_ε = Ω_x

⋃Ω_z.

Предположение 2.2. Управления u(t) и w(t) реализуются с использо-

ванием обратной связи по состоянию объекта и желаемого выхода, т.е.

(2.3)

u(t) = u(t, ε(t)), w(t) = w(t, ε(t)).

Рассматривая возмущение w(t) как действие некоторого игрока, проти-

водействующего успешному выполнению задачи управления, сформулируем

задачу управления в ключе дифференциальной игры двух игроков G_u и G_w.

В статье задача дифференциальной игры рассматривается как проблема оп-

тимального управления, т.е. игра с нулевой суммой [8].

Предположение 2.3. Управляющее воздействие и возмущение удовле-

творяют следующим ограничениям:

(2.4)

u^T(t)Ru(t) = ∥u(t)∥^2R ≤ E_u, w^T(t)Pw(t) = ∥w(t)∥^2P ≤ E_w.

105

Предполагается, что существуют такие управляющие воздействия u(t) и

w(t), отвечающие ограничениям (2.4), что каждое состояние x₀ ∈ X₀ ⊂ Ω_x в

каждый момент t₀ на интервале существования решения системы (2.1) пол-

ностью управляемо [15], т.е. в рассматриваемой задаче для всех x(t) систе-

ма (2.1) управляема, t ∈ R⁺.

Для оценки действий игроков введем функционал качества

J (ε(·), u(·), w(·)) =

∫

{

}

(2.5)

= lim

ε^T(t)Qε(t) + u^T(t)Ru(t) - w^T(t)Pw(t) dt,

tf →∞ 2

t₀

Q ≻ 0, R ≻ 0, P ≻ 0.

Предположение 2.4. Об условиях существования оптимального реше-

ния задачи (2.1)-(2.5). Для того чтобы записать условия, которым долж-

ны удовлетворять оптимальные управления u⁰(t) = u⁰(t, ε(t)) и w⁰(t) =

= w⁰(t,ε(t)) для игроков G_u и G_w, предположим, что такие управления суще-

ствуют и x⁰(t) соответствующая этим управлениям траектория (здесь знач-

ком⁰ отмечаются оптимальные величины). Другими словами, x⁰(t), u⁰(t) и

w⁰(t) удовлетворяют следующему условию:

x⁰(t) = f(x⁰(t)) + g₁(x⁰(t))u⁰(t) + g₂(x⁰(t))w⁰(t), x⁰(t₀) = x₀;

2) если u(t) и w(t)

любые управления, удовлетворяющие ограничени-

ям (2.4), такие что соответствующая им траектория x(t) удовлетворяет

условию

x(t) = f(x(t)) + g₁(x(t))u(t) + g₂(x(t))w(t), x(t₀) = x₀,

то J(ε⁰(·), u⁰(·), w⁰(·)) ≤ J(ε(·), u(·), w(·)).

2.2. Оптимальное решение задачи дифференциальной игры

Для синтеза оптимальных управлений в смысле поставленной в разделе 1.1

задачи введем функцию Беллмана-Айзекса [10, 11]

(2.6)

V (ε(t)) = inf sup

J (ε(·), u(·), w(·)),

u w

где управления u(t), w(t), t ∈ [t₀, t_f ) удовлетворяют ограничениям (2.4),

а соответствующая им траектория ε(t) определена на всем интервале [t₀, t_f )

и удовлетворяет фазовому ограничению ε(t) ∈ Ω_ε.

Предположение 2.5. Пусть V (ε(t)), f(x(t)), g₁(x(t)), g₂(x(t)) доста-

точно гладкие, непрерывно дифференцируемые функции. Тогда для функ-

106

ции V (ε(t)) запишем уравнение Беллмана-Айзекса:

[∂V (ε(t))

∂V (ε(t))

inf sup

{f(x(t)) + g₁(x)u(t) + g₂(x)w(t)} +

u w

∂t

∂ε

{

}]

(2.7)

ε^T(t)Qε(t) + u^T(t)Ru(t) - w^T(t)Pw(t)

= 0,

ε(t) ∈ Ω_ε, t ∈ [t₀, t_f ) .

Перепишем уравнение (2.7) в виде

{

}

[∂V (ε(t))

∂V (ε(t))

inf sup

f (x(t)) +

u^T(t)R +

g₁(x) u(t) +

u w

∂t

∂ε

{

}

∂V (ε(t))

-w^T(t)P +

g₂(x) w(t) -

u^T(t)Ru(t) +

∂ε

]

w^T(t)Pw(t) +

ε^T(t)Qε(t) =0

и назначим управления u(t) и w(t) так, чтобы выражения в фигурных скобках

были равны нулю. Будем иметь

{∂V (ε(t))

{∂V (ε(t))}T

(2.8)

u(t) = -R^-1g^T1(x(t))

, w(t) = P^-1g^T2(x(t))

∂ε

Выражения (2.8) предопределяют структуры уравнений, в рамках которых

будут отыскиваться оптимальные управления u⁰(t) и w⁰(t). В силу (2.8) урав-

нение Беллмана-Айзекса (2.7) принимает вид

[

∂V (ε(t))

inf sup

f (x(t)) -

u w

∂t

∂ε

}

{∂V (ε(t))

{∂V (ε(t))}T

g₁(x(t))R^-1g^T1(x(t))

∂ε

}

(2.9)

{∂V (ε(t))

{∂V (ε(t))}T

g₂(x(t))P^-1g^T2(x(t))

∂ε

]

ε^T(t)Qε(t)

= 0,

ε(t) ∈ Ω_ε, t ∈ [t₀, t_f ) .

Теорема 1. Пусть существует единственное непрерывно дифференци-

руемое решение V⁰(x(t)) задачи (2.1)-(2.5) и существуют управления

}_T

{∂V⁰(ε(t))

u⁰(t) = -R^-1g^T1(x(t))

∂ε

(2.10)

}_T

{∂V (ε(t))

w⁰(t) = P^-1g^T2(x(t))

∂ε

107

такие, что

∂V⁰(ε(t))

(

)_T

f (x(t)) -

u⁰(t)

Ru⁰(t) +

∂t

∂ε

(

)_T

(2.11)

w⁰(t)

Pw⁰(t) +

ε^T(t)Qε(t) = 0,

ε(t) ∈ Ω_ε, t ∈ [t₀, t_f ) .

Тогда управления u⁰(t) и w⁰(t) являются оптимальными, а соответствую-

щая функция Беллмана-Айзекса есть V⁰(ε(t)).

Доказательство теоремы 1. Перепишем уравнение (2.11) (с учетом,

что в рассматриваемой задаче ∂V⁰(ε(t))/∂t = 0) в виде модифицированного

уравнения Беллмана-Айзекса

dV⁰(ε(t))

1 ∂V ⁰(ε(t))

{∂V⁰(ε(t))}T

(2.12)

Π(x(t))

ε^T

(t)Qε(t) = 0,

∂ε

где

(2.13)

Π(x(t)) = g₁(x(t))R^-1g^T1(x(t)) - g₂(x(t))P^-1g^T2

(x(t)).

Запишем функционал (2.5) с учетом (2.10) и (2.12):

J (x(·), u(·), w(·)) =

{

∫

∂V⁰(ε(t))

{∂V⁰(ε(t))}T}

= lim

ε^T(t)Qε(t) +

Π(x(t))

dt =

tf →∞ 2

∂ε

t₀

∫

{ dV⁰(ε(t))}T

[

]

= - lim

dt = lim

V⁰(ε(t₀)) - V⁰(ε(t_f ))

tf →∞

t₀

Отсюда вытекает, что

(2.14)

J (u⁰, w⁰) = V⁰(ε(t₀

)),

так как в силу (2.5) V⁰(ε(t_f )) = 0.

Пусть теперь управления u(t) и w(t) любые отличные от (2.10), но удо-

влетворяющие предположению 2.4, а x(t) соответствующее решение уравне-

ния (2.1) с этими управлениям. Тогда, используя равенство (2.12), заключаем,

что

dV (ε(t))

1 ∂V (ε(t))

{∂V (ε(t))}T

Π(x(t))

ε^T(t)Qε(t) ≥ 0.

∂ε

Откуда

(2.15)

J (u, w) ≥ V⁰(ε(t₀

)).

108

Сравнение (2.14) и (2.15) показывает, что

J (u⁰, w⁰) = V⁰(ε(t₀)) ≤ J(u, w).

Тем самым оптимальность управлений u⁰(t, x(t)) и w⁰(t, x(t)) установлена. ■

Утверждение 1. Дифференциальная игра (2.1)-(2.5) с нулевой суммой

имеет решение, если ограничения (2.4) связаны соотношением

(2.16)

E_u > E_w.

Доказательство утверждения 1. Рассмотрим модифицированное

уравнение Беллмана-Айзекса (2.12). Так как в этом уравнении ε^T(t)Qε(t) > 0

при ε(t) = 0, то

dV⁰(ε(t))

1 ∂V ⁰(ε(t))[

g₁(x(t))R^-1g^T1(x(t)) -

∂ε

}_T

]{∂V 0_(ε(t))

- g₂(x(t))P^-1gT2 (x(t))

∂ε

или, учитывая (2.10) и (2.4), имеем

dV⁰(ε(t))

[E_u - E_w] .

Из последнего выражения следует, что дифференциальная игра (2.1)-(2.5)

с нулевой суммой имеет решение, если ограничения (2.4) связаны соотно-

шением

E_u > E_w.

■

Очевидно, что последнее будет выполняться, если матрица Π(x(t)) по

крайней мере положительно полуопределенная, что обеспечивается соот-

ветствующими свойствами матричных функций g₁(x(t)), g₂(x(t)) и поло-

жительной определенностью матриц штрафов R, P в функционале (2.5).

Выполнение утверждения 1 предопределяет существование решения зада-

чи дифференциальной игры с гарантирующим результатом J(u⁰(t), w(t)) ≤

≤ J(u⁰(t),w⁰(t)).

Отметим, что в соответствии с принятыми свойствами системы (2.1) число

ненулевых строк в матрице Π(x(t)) есть n - m.

Система (2.1) с управлениями (2.10) принимает вид

{∂V⁰(ε(t))}T

(2.17)

x(t) = f(x(t)) - Π(x(t))

, x(t₀) = x₀,

∂ε

{

}_T

где вектор

∂V⁰(x(t))/∂x

отыскивается решением скалярного уравнения в

частных производных

∂V⁰(ε(t))

1 ∂V ⁰(ε(t))

{∂V⁰(ε(t))}T

(2.18)

f (x(t)) -

Π(x(t))

ε^T

(t)Qε(t) = 0.

∂ε

109

3. Алгебраический метод решения

уравнения Беллмана-Айзекса

В задачах с линейными объектами, с не заданным временем окончания

переходного процесса и квадратичным функционалом качества от уравнения

Беллмана-Айзекса при выполнении ряда условий можно перейти к урав-

нению типа Риккати. Уравнение Риккати встречается в различных обла-

стях математики (например, в алгебраической геометрии и в теории кон-

формных отображений) и физики. Оно также нередко возникает в приклад-

ных математических задачах. Проблеме поиска решения такого уравнения

посвящено достаточно много работ [8, 11]. В этом разделе статьи для за-

дачи дифференциальной игры разрабатывается метод решения уравнения

Беллмана-Айзекса вида (2.12), основанный на применении алгебраического

подхода. Следует отметить, что некоторые результаты разработки алгебраи-

ческого метода в задачах построения управления для аффинных нелиней-

ных систем, сформулированные в виде леммы, можно обнаружить в рабо-

тах [19-21]. В этих работах используются свойства псевдообратной матри-

цы [22] и ее образа, правила выбора которого не устанавливаются. В отличие

от этих работ в представляемой статье рассматривается класс задач диф-

ференциальной игры, структура входящих параметров в ее математическую

модель объекта такова, что при синтезе оптимальных управлений не требует-

ся использование понятия образа псевдообратной матрицы. Для этого класса

задач доказывается лемма, использование которой для синтеза управлений

дифференциальной игры с объектом (2.1) и функционалом (2.5) приводит

к реализуемым решениям.

3.1. Лемма о методе решения скалярного нелинейного

функционального уравнения специального вида

Предположение 3.1. Пусть η(t) ∈ Ω_η ⊂ Rⁿ действительный вектор,

γ(η), µ(η) ⊂ Rⁿ действительные вектор-функции, α(η) > 0 действитель-

ная функция, определенная на Rⁿ и Π(η) ⊂ R^n×n действительная симмет-

рическая неотрицательно определенная вырожденная матрица.

Лемма 1. Псевдообратная матрица Π⁺(η), удовлетворяющая условию

(3.1)

Π(η)Π⁺(η)Π(η) = Π(η), Π⁺(η) = UΠ^T(η) = Π^T

(η)V,

где U ⊂ R^n×n и V ⊂ R^n×n некоторые матрицы, существует и единст-

венна.

(

)₊

Учитывая, что рассматриваются симметрические матрицы,

Π^T(η)

= (Π⁺(η))^T.

Пусть K⁺(η) ⊂ R^n×n симметрическая псевдообратная матрица от K(η),

которая входит в Π(η) так, что Π⁺(η) = K⁺(η)K⁺(η). Учитывая (3.1), свой-

110

ства псевдообратных матриц выводятся из определения [22]

(

)₊

Π(η)Π⁺(η)Π(η) = Π(η), Π⁺(η)Π(η)Π⁺(η) = Π⁺(η),

Π⁺(η)

= Π(η),

(K(η)K(η))⁺ = K⁺(η)K⁺(η), K⁺(η) = (K(η)K(η))⁺ K(η) =

= K(η)(K(η)K(η))+ , K⁺(η)K(η)K(η) = K(η)K(η)K⁺(η) = K(η).

Рассмотрим скалярное нелинейное функциональное уравнение:

(3.2)

γ^T(η)µ(η) -

γ^T(η)Π(η)γ(η) +

α(η) = 0.

Лемма 2. Уравнение (3.2) имеет решение относительно γ(η)в виде

(3.3)

γ(η) = Π⁺(η)µ(η) + K⁺(η) (1_n

⊗ β(η)) ,

где 1_n вектор столбец размера n × 1 с элементами, равными 1, ⊗ про-

изведение Кронекера,

[

]}1/2

{

}

(3.4)

β(η) =

µ^T(η)

Π⁺(η)

^T µ(η) + α(η)

Доказательство леммы 2. Подставив (3.3) в (3.2), будем иметь

µ^T(η)Π⁺(η)Π(η)Π⁺(η)µ(η) + µ^T(η)Π⁺(η)Π(η)K⁺(η)(I_n ⊗ β(η)) +

+ (I_n ⊗ β(η))^T K⁺(η)Π(η)Π⁺(η)µ(η) +

+ (I_n ⊗ β(η))^T K⁺(η)Π(η)K⁺(η) (I_n ⊗ β(η)) -

-2µ^T(η)Π⁺(η)µ(η) - 2 (I_n ⊗ β(η))^T K⁺(η)µ(η) - α(η) = 0

или, учитывая свойства псевдообратных матриц, будем иметь

(3.5)

nβ²(η) - µ^T(η)Π⁺

(η)µ(η) - α(η) = 0.

Из последнего уравнения имеем

{

}]1/2

{

}

β(η) =

µ^T(η)

Π⁺(η)

^T µ(η) + α(η)

Этим получены достаточные условия существования γ(η) как решения

уравнения (3.2). Используя уравнение (3.5), получим необходимые условия

выполнения леммы. Добавим и вычтем в левой части уравнения (3.5) выра-

жение µ^T(η)K⁺(η) (1_n ⊗ β(η)). Будем иметь

[

]

nβ²(η) -

µ^T(η)Π⁺(η)µ(η) + K⁺(η)(1_n ⊗ β(η))

− α(η) + µ^T(η)K⁺(η) (1_n ⊗ β(η)) = 0.

111

Учитывая, что из (3.3) следует

K⁺(η)(1_n ⊗ β(η)) = γ(η) - Π⁺(η)µ(η),

получаем из предыдущего уравнения:

nβ²(η) - µ^T(η)Π⁺(η)µ(η) - α(η) + µ^T(η)γ(η) - µ^T(η)Π⁺(η)µ(η) -

- µ^T(η)γ(η) + µ^T(η)Π⁺(η)µ(η) = 0

или

nβ²(η) - µ^T(η)Π⁺(η)µ(η) - α(η) = 0.

Полученное уравнение не что иное, как уравнение (3.5). Этим доказыва-

ется необходимое условие выполнения леммы 2.

■

Добавление к лемме 2.

Предположение 3.2. Пусть неотрицательно определенная матри-

ца Π(η) является диагональной.

В случае выполнения предположения 3.2, когда неотрицательно опреде-

ленные матрицы Π(η) и K(η) являются диагональными. В этом случае псев-

дообратная матрица Π⁺(η) заменяется на обратную матрицу Π^-1(z). В этом

случае решение уравнения (3.2) относительно γ(η) имеет вид

γ(η) = Π^-1(η)µ(η) + K^-1(η) (1_n ⊗ β(η)) ,

где

{

}]1/2

{

}

β(η) =

µ^T(η)

Π^-1(η)

^T µ(η) + α(η)

Отметим, что сформулированное выше справедливо и для случая, когда

матрица Π(η) для всех η(t) ∈ Ω_η симметричная положительно определен-

ная действительная матрица.

3.2. Применение леммы 2 при решении

уравнения Беллмана-Айзекса

Используем результаты леммы 2 для рассматриваемой в статье задачи

слежения. Сравнивая (2.18) и (3.2), будем иметь

}_T

{∂V⁰(ε(t))

γ(η) = γ(t) =

, µ(η) = f(x(t)),

(3.6)

∂ε

α(η) = ε^T(t)Qε(t), Π(η) = Π(x(t)).

112

С учетом введенных обозначений уравнение Беллмана-Айзекса (2.18) при-

нимает вид

(3.7)

γ^T(t)f(x(t)) -

γ^T(t)Π(x(t))γ(t) +

ε^T

(t)Qε(t) = 0.

Решением этого уравнения относительно функции γ(t) ∈ Rⁿ является:

(3.8)

γ(t) = Π⁺(x(t))f(x(t)) + K⁺(x(t)) (I_n

⊗ β(x(t),ε(t))) ,

где скалярная функция β(x(t), ε(t)) определяется решением уравнения

}_1/2

[

]

(3.9)

β(x(t), ε(t)) =

f^T(x(t))Π⁺(x(t))f(x(t)) + ε^T(t)Qε(t)

Система (2.17) с учетом (3.6) запишется в виде

(3.10)

x(t) = f(x(t)) - Π(x(t))γ(t), x(t₀) = x₀,

где

γ(t) = Π⁺(x(t))f(x(t)) +

(

)

}

1/2

(3.11)

[

]

+ K⁺(x(t)) I_n ⊗

f^T(x(t))Π⁺(x(t))f(x(t)) + ε^T(t)Qε(t)

Прежде чем ответить на вопрос об оптимальности управления γ(x(t)) для

системы (3.10), отметим, что функционал

∫

{

}

(3.12)

J (x(·), γ(·)) = lim

ε^T(t)Qε(t) + γ^T(t)Π(x(t))γ(t)

dt,

tf →∞ 2

t₀

учитывая введенные обозначения (3.6), эквивалентен функционалу (2.5).

Теорема 2. Пусть имеется система, описываемая обыкновенным диф-

ференциальным уравнением

x(t) = f(x(t)) - Π(x(t))γ(t), x(t₀) = x₀,

где Π(x(t))

вырожденная неотрицательная матрица. Вектор-функция

γ(t) ⊂ Rⁿ доставляет минимум функционалу (3.12) на решениях системы

x(t) = f(x(t)) - Π(x(t))γ(t), x(t₀) = x₀.

113

Доказательство теоремы 2. Учитывая, что γ(t)={∂V⁰(ε(t))/∂ε}^T,

перепишем функционал (3.12):

J (x(·), γ(·)) =

{

∫

{∂V⁰(ε(t))}

{∂V⁰(ε(t))}T}

= lim

ε^T(t)Qε(t) +

Π(x(t))

dt =

tf →∞ 2

∂ε

t₀

∫

{ dV⁰(ε(t))}

[

]

= - lim

dt = lim

V⁰(ε(t₀)) - V⁰(ε(t_f ))

tf →∞ 2

tf →∞

t₀

Отсюда вытекает, что

(

)

(3.13)

γ⁰(t)

= V ⁰(ε(t₀

)).

Сравнение

(3.13) и

(2.14) показывает, что J(γ⁰(t)) = J(u⁰(t), w⁰(t)) =

= V ⁰(ε(t₀)). Тем самым оптимальность управления γ⁰(x(t)) в задаче (3.10),

(3.12) установлена.

■

Запишем управления (2.10) с учетом (3.6):

u⁰(t) = -R^-1g^T1(x(t))Π^-1(x(t))f(x(t)) - R^-1g^T1(x(t))K^-1(x(t)) ×

(

)

}

1/2

(3.14)

[

]

× 1_n ⊗

f^T(x(t))Π^-1(x(t))f(x(t)) + ε^T(t)Qε(t)

w⁰(t) = P^-1g^T2(x(t))Π^-1(x(t))f(x(t)) + P^-1g^T2(x(t))K^-1(x(t)) ×

(

)

}

1/2

(3.15)

[

]

× 1_n ⊗

f^T(x(t))Π^-1(x(t))f(x(t)) + ε^T(t)Qε(t)

Система (2.1) с управлениями (3.14) и (3.15) принимает вид

(

)

}_1/2

[

]

x(t) = -K(x(t))

1_n ⊗

f^T(x(t))Π^-1(x(t))f(x(t)) + ε^T(t)Qε(t)

x(t₀) = x₀, y(t) = Cx(t),

или

x(t) = f(x(t)) - I^∗f(x(t)) - K(x(t)) (1_n ⊗ β(x(t), ε(t))) ,

(3.16)

x(t₀) = x₀, y(t) = Cx(t),

где I^∗

диагональная матрица, содержащая в диагонали m нулевых эле-

ментов и n - m единичных элементов. Расположение этих элементов в этой

114

матрице определяется матрицей K(x(t)), в которой m строк содержат нуле-

вые элементы.

Следует отметить, что в силу того что Π(x(t)) = K(x(t))K(x(t)), то мат-

рица K(x(t)) может быть, по крайней мере, как положительно, так и отрица-

тельно полуопределенной. В силу того, что скалярная функция β(x(t), ε(t))

определяется выражением (3.9), может быть принято как β(x(t), ε(t)) > 0,

так и β(x(t), ε(t)) < 0. Для анализа устойчивости системы (3.16) введем в

рассмотрение функцию Ляпунова

(3.17)

V_L(ε(t)) =

ε^T

(t)ε(t).

Тогда полная производная (3.17) будет иметь вид

{

}

{

}

{

}

V_L(x) = ε^T(t)

ε^T(t)

= -ε^T(t)

z^T(t)

+ ε^T(t) C

x^T(t)

{

}

= -ε^T(t)

z^T(t)

+ ε^T(t)C [f^∗(x(t)) - K(x(t))(I_n ⊗ β(x(t),ε(t)))] =











f₁(x(t))













{

}











fm-1(x(t))















= -ε^T(t)

z^T(t)

+ε^T(t)C

< 0,











k_mm(x(t))β(x(t),ε(t))



























k_nn(x(t))β(x(t),ε(t))

где f^∗(x(t)) = f(x(t)) - I^∗f(x(t)), или

∑

(3.18)

V_L(ε(t)) =

ε^Tj(t)f_j(x(t)) -

j=1

{

}

∑

- ε^Tj(t)k_jj(x(t))β(x(t),ε(t)) - ε^T(t)

z^T(t)

j=m

при ε(t) = 0.

Из полученного условия можно видеть, что устойчивость системе (3.17)

должно обеспечивать слагаемое уравнения (3.18), в которое входит синтези-

рованное управление, т.е.

∑

(3.19)

- ε^Tj(t)k_jj

(x(t))β(x(t), ε(t)) < 0 при x(t) = 0.

j=m

Для определения арифметического знака перед функцией

ε^Tj(t)k_jj(x(t))β(x(t),ε(t)), j = m,... ,n - m примем k_jj(x(t))β(x(t),ε(t)) > 0.

Тогда условие (3.19) будет выполняться, если назначать знак перед функцией

так, чтобы

{

}

sign ε^Tj(t)k_jj (x(t))β(x(t), ε(t))

= sign εTj (t), j = m,... ,n - m.

115

4. Моделирование системы уравнений Лотки-Вольтерра

Рассмотрим динамическую систему [12, 13]

x₁(t) = b₁x₁(t) - a₁₁x²¹(t) - a₂₁x₁(t)x₂(t),

(4.1)

x₂(t) = b₂x₂(t) - a₁₂x₁(t)x₂(t) - a₂₂x²²(t),

которая описывает взаимодействие конкурирующих популяций. Параметры

b₁ и b₂ отвечают за скорость роста каждой популяции (рождаемость), пара-

метры a_ij , i = 1, 2, j = 1, 2 - за эффективность уничтожения популяции-про-

тивника. В большинстве задач данные параметры предполагаются посто-

янными. Будем рассматривать случай, когда параметры могут быть изме-

няемыми около некоторых номинальных значений a^∗ij

выступать в ка-

честве игроков, т.е. эффективности уничтожения будут задаваться форму-

(

)_T

лой a_ij(t) = a^∗ij + u_ij (t), i = 1, 2, j = 1, 2, векторы u(t) =

u₁₁(t) u₁₂(t)

(

w(t) =

u₂₁(t) u₂₂(t))T управления для двух игроков. В этом случае дина-

мическая система записывается следующим образом:

(

)

b₁x₁(t) - a^∗11x²¹(t) - a^∗21x₁(t)x₂(t)

x(t) =

b₂x₂(t) - a^∗12x₁(t)x₂(t) - a^∗22x²²(t)

(4.2)

(

)

(

)

-x²(t)

-x₁(t)x₂(t)

u(t) +

w(t).

-x₁(t)x₂(t)

-x²²(t)

Таким образом, система (4.2) в сравнении с системой (2.1) имеет следую-

щие параметры:

(

)

b1x1(t) - a11x1(t) - a21x1(t)x2(t)

f (x(t)) =

b₂x₂(t) - a^∗12x₁(t)x₂(t) - a^∗22x²²(t)

(

)

(

)

-x²(t)

-x₁(t)x₂(t)

g₁(x(t)) =

g₂(x(t)) =

-x₁(t)x₂(t)

-x²²(t)

В соответствии с (3.11) управление γ(t) определяется выражением:

γ(t) = Π^-1(x(t))f(x(t)) +

(

)

]}

1/2

{1[

+ K^-1(x(t)) I_n ⊗

f^T(x(t))Π^-1(x(t))f(x(t)) + ε^T(t)Qε(t)

где матрицы Π(x(t)) и K(x(t)) имеют вид





x⁴¹(t) - x²¹(t)x²²(t)





(6x₁(t) + 3x₂(t) + 1)





Π(x(t)) =



x²¹(t)x²²(t) - x⁴²(t)

,

(3x₁(t) + 6x₂(t) + 1)

116



√



x⁴¹(t) - x²¹(t)x²²(t)







(6x₁(t) + 3x₂(t) + 1)





√

.

K(x(t)) =







x²¹(t)x²²(t) - x⁴²(t)



(3x₁(t) + 6x₂(t) + 1)

Система (4.1) имеет четыре положения равновесия

(

)_T

(

)_T

(

)

b₂

b₁

^T,

a^∗22

a^∗

(4.3)

(

)_T

b₁a^∗22 - b₂a^∗21

b₂a^∗11 - b₁a^∗12

-a^∗12a^∗21 + a^∗22a^∗

Пусть желаемым значением для состояния x(t) будет первое условие рав-

(

)_T

(

)_T

(

)_T

новесия из (4.3), т.е.

z₁(t) z₂(t)

. В силу этого

ε₁(t) ε₂(t)

(

x₁(t) x₂(t))T.

Будем предполагать, что популяции борются между собой, минимизируя

собственные затраты и максимизируя затраты противника. Матрицы функ-

ционала (2.5) Q (x(t)), R (x(t)), P (x(t)) назначим в виде

)

( (x2(t) - 1/3)2

Q(x(t)) =

(x₁(t) - 1/3)2

)

( 6x1(t) + 3x2(t) + 1

(4.4)

R (x(t)) =

3x₁(t) + 6x₂(t) + 1

)

( 6x1(t) + 3x2(t) + 1

P (x(t)) =

3x₁(t) + 6x₂(t) + 1

Управляемая система (4.2) с учетом изложенного выше принимает вид

√

x⁴¹(t) - x²¹(t)x²²(t)

x₁(t) = - ε₁(t)

(6x₁(t) + 3x₂(t) + 1)

{

[

]}1/2

f^T(x(t))Π^-1(x(t))f(x(t)) + ε^T(t)Q(x)ε(t)

(4.5)

√

x²¹(t)x²²(t) - x⁴²(t)

x₂(t) = - ε₂(t)

(3x₁(t) + 6x₂(t) + 1)

{

[

]}1/2

f^T(x(t))Π^-1(x(t))f(x(t)) + ε^T(t)Q(x)ε(t)

117

0,5

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

0,5

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

O set = 0

Рис. 1. Управляемые переходные процессы (x₁(t), x₂(t)) и (z₁(t), z₂(t)).

O set = 0

Рис. 2. Управляемые переходные процессы (x₁(t), x₂(t)) и (z₁(t), z₂(t)).

Вслед за [13] рассмотрим случай, когда постоянные параметры принима-

ются равными b₁ = 1, b₂ = 1, a^∗11 = 2, a^∗22 = 2, a^∗12 = 1 и a^∗21 = 1. Назначим для

(

)_T

системы (4.5) начальные условия x₀ =

x₁(0) x₂(0))T =(10

. На рис. 1

представлены графики для переходных процессов x₁(t), x₂(t) при z(t) =

(

)_T

(

)_T

z₁

z₂

На рис. 2 представлены графики переходных процессов x₁(t), x₂(t) при

(

x₀ =

x₁(0) x₂(0))T =(10

5)T и z(t) =(z1 z2)T =(1,5 + cos(t) 1,5 + sin(t)

)^T.

118

Приведенные в статье результаты математического моделирования под-

тверждают эффективность синтезированных управлений в задаче слежения,

организованных с использованием ошибки слежения без предварительного

знания на всем интервале управления отслеживаемой траектории.

5. Заключение

Дифференциальная игра с нулевой суммой рассмотрена как задача синте-

за оптимальных управлений в задаче слежения для класса нелинейных объ-

ектов с квадратическим функционалом качества. Реализация полученных

управлений связана с проблемой нахождения решения скалярного уравне-

ния в частных производных Беллмана-Айзекса. Для решения этого уравне-

ния предложен алгебраический метод нахождения оптимальных управлений

дифференциальной игры. Реализация этих управлений осуществляется ре-

шением алгебраических матричных нелинейных уравнений, которое может

производиться в темпе функционирования динамического объекта. Разрабо-

танный метод алгебраического решения уравнения в частных производных

Беллмана-Айзекса может быть использован для реализации управляющих

воздействий нелинейными объектами достаточно широкого класса. Получен-

ные в работе теоретические положения проиллюстрированы результатами

математического моделирования.

СПИСОК ЛИТЕРАТУРЫ

1. Айзекс Р. Дифференциальные игры. М.: Мир, 1967.

2. Isaacs R.P. Games of Pursuit, Paper P-257. - RAND Corporation, Santa Monica,

California. 1951.

3. Понтрягин Л.С. О линейных дифференциальных играх. 1 // Доклады Акаде-

мии наук СССР. 1967. Т. 174. № 6. С. 1278-1280.

4. Понтрягин Л.С. О линейных дифференциальных играх. 2 // Доклады Акаде-

мии наук СССР. 1967. Т. 175. № 4. С. 764-766.

5. Мищенко Е.Ф. О некоторых игровых задачах преследования и уклонения от

встречи // АиТ. 1972. № 9. С. 24-30.

Mishchenko E.F. On certain game problems in pursuit and evasion // Autom. Re-

mote Control. 1972. V. 33. No. 9. P. 1424-1429.

6. Пшеничный Б.Н. Необходимые условия экстремума. М.: Наука, 1969.

7. Красовский Н.Н., Субботин А.И. Позиционные дифференциальные игры. М.:

Наука, 1974.

8. Bryson А.Е., Yu-Chi Ho. Applied Optimal Control. Optimization, Estimation and

Control. Waltham, Massachusetts Toronto, London, 1969.

9. Беллман Р., Энджел Э. Динамическое программирование и уравнения в част-

ных производных. М.: Мир, 1974.

10. Kalman R.E. The Theory of Optimal Control and Calculus of Variations / in Bellman

(ed). Mathematical Optimization Techniques, University of California Press, Berkely,

Calif. 1963.

119

11.

Афанасьев В.Н. Математическая теория управления нелинейными непрерывны-

ми динамическими системами. М.: КРАСНАНД. 2021.

12.

Buratto A., Cesaretto R., Zamarchi R. HIV vs. the Immune System: A Differential

Game // Math. 2015. V. 3. No. 4. P. 1139-1170.

13.

Братусь А.С., Новожилов А.С., Платонов А.П. Динамические системы и мо-

дели биологии. М.: ФИЗМАТЛИТ, 2010.

14.

Трубецков Д.И. Феномен математической модели Лоттки Вольтерры и сходных

с ней // Известия вузов. Прикладная нелинейная динамика. 2011. Т. 19. № 2.

С. 69-88.

15.

Васильев Ф.П. Методы оптимизации. Том 2. М.: МЦНМО, 2011.

16.

Галеев Э.М., Зеликин М.Ю., Конягин С.В. и др. Оптимальное управление / Под

ред. Н.П. Осмоловского и В.М. Тихомирова. М.: МЦНМО, 2008.

17.

Егоров А.И. Уравнения Риккати. М.: Физматлит, 2001. Изд-во Наука, Физмат-

лит 2001.

18.

Winternitz P. Lie groups and solutions of nonlinear partial differential equations.

Lecture Notes in Physics, 1983. V. 189. P. 263-331.

19.

Liu R.W., Leake J. Inverse Lyapunov Problems // Technical Report No. EE6510,

Department of Electrical Engineering, University of Notre Dame, August 1965.

20.

Sain M.K., Won C.-H., Spencer Jr., B.F., Liberty S.R. Cumulants and Risk-Sensitive

Control: A Cost Mean and Variance Theory with Application to Seismic Protection

of Structures // Advances in Dynamic Games and Applications, Annals of the In-

ternational Society of Dynamic Games, Boston: Birkhauser. 2000. V. 5. P. 427-459.

21.

Won Chang-Hee, Biswas Saroj. Optimal Control Using Algebraic Method for

Control - Affine Nonlinear Systems. Temple University, USA. cwon@temple.edu,

sbiswas@temple.edu. April 20. 2007. 33 p.

22.

Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. М.: Наука,

1977.

Статья представлена к публикации членом редколлегии Е.Я. Рубиновичем.

Поступила в редакцию 26.07.2021

После доработки 27.06.2022

Принята к публикации 28.07.2022

120