Известия РАН. Теория и системы управления, 2023, № 4, стр. 59-74

Введение. Известна принципиальная сложность классического подхода к решению задачи оптимального, в смысле минимума среднего значения интегрально-терминального функционала качества, управления нелинейным стохастическим объектом по вектору его измеряемого выхода, не совпадающему с вектором состояния [1–6]. Она состоит в чрезмерно высокой сложности получаемого в результате ее решения динамического (инерционного) регулятора Стратоновича–Мортенсена, который накапливает информацию об измерениях. Этот оптимальный регулятор имеет распределенные параметры, так как задается уравнениями в частных и вариационных производных, что практически не позволяет реализовать необходимые вычисления в требуемом реальном масштабе времени, т.е. в темпе с поступлением измерений.

Основной способ борьбы с этим недостатком состоит в применении метода достаточных координат (статистик), который позволяет заменить распределенный регулятор на сосредоточенный, но имеющий бесконечное число переменных состояния [1, 4, 6]. Тогда, ограничиваясь конечным числом этих переменных в виде набора из нескольких достаточных координат младших порядков, которыми являются апостериорные моменты, кумулянты или квазимоменты неизмеряемого вектора состояния, можно получить его реализуемые субоптимальные приближения.

Обычно применяют приемлемые по скорости вычислений ковариационные приближения к регулятору, ограничиваясь учетом достаточных координат первого и второго порядков. При этом для восстановления вектора состояния объекта в качестве инерционной части регулятора используют обобщенный (extended) фильтр Калмана, более точный фильтр нормальной аппроксимации, а также занимающие промежуточное положение между ними кубатурный, нечувствительный (unscented) и т.п. фильтры Калмана. Тогда безынерционная часть субоптимального регулятора определяется как функция вектора оценки состояния объекта и матрицы ковариаций его ошибки, получаемая решением соответствующего “стохастического” уравнения Беллмана.

Другой способ борьбы с нереализуемостью оптимального инерционного регулятора возможен в случае точного измерения части вектора состояния объекта. Он состоит в отказе от накопления информации о неизмеряемой части переменных состояния. В результате получены различные версии частично позиционного регулятора, легко реализуемые вследствие их безынерционности (статичности). Это версия централизованная, с зависимостью всех компонент вектора управления от всего измеряемого вектора [7, 8], или децентрализованная, когда определенные компоненты вектора управления зависят лишь от некоторых элементов измеряемой части вектора состояния [9]. Однако этот отказ приводит к очевидному ухудшению возможного качества управления, увеличивая получаемое в итоге значение минимизируемого функционала.

Только в частной линейно-квадратично-гауссовской задаче стохастического управления справедлива теорема (принцип) разделения [10], согласно которому регулятор Стратоновича–Мортенсена распадается на два легко реализуемых блока: оптимально обрабатывающий измерения линейный фильтр Калмана и оптимально вырабатывающий управление по получаемой оценке вектора состояния линейный позиционный регулятор. Этот удобный факт дает возможность, например, строить более быстрый субоптимальный регулятор для нелинейной системы, применяя условно-оптимальный фильтр Пугачева [11], или управлять линейным объектом при измеряемом негауссовском возмущении [12].

В настоящей работе рассматривается строго оптимальный подход, позволяющий и в общем случае получить точный алгоритм динамического управления любого желаемого порядка. Этот порядок выбирается с учетом располагаемой мощности реализующего его вычислителя. Используя известное уравнение в частных производных для соответствующей усеченно-апостериорной (условной) плотности вероятности, исходная стохастическая задача сводится к эквивалентной ей детерминированной. Решение последней выполняется путем получения с помощью принципа расширения Кротова достаточных условий оптимальности предлагаемого регулятора, а также уравнений для нахождения его экстремальной версии. Все они проверяются на примере синтеза статической версии регулятора.

Способ построения конечномерного регулятора для зависящего от времени оперативного критерия качества предложен в [13].

1. Постановка задачи при неполных измерениях. 1.1. Объект управления и критерий оптимальности. Рассмотрим парную (двойную) марковскую модель подверженного случайным воздействиям объекта управления в виде системы из двух стохастических дифференциальных уравнений, понимаемых в смысле Ито:

Здесь ${{X}_{t}} \in {{\mathbb{R}}^{n}}$, ${{Y}_{t}} \in {{\mathbb{R}}^{m}}$ – не измеряемая и измеряемая точно части случайного вектора состояния объекта соответственно, ${{U}_{t}} \in \Omega \subset {{\mathbb{R}}^{l}}$ – случайное кусочно-непрерывное ограниченное управление, ${{W}_{t}} \in {{\mathbb{R}}^{k}}$ – центрированный и нормированный винеровский процесс. Последний не зависит от случайных начальных условий X₀, Y₀, имеющих плотность вероятности ${{p}_{0}}(x,y)$. При этом закон распределения начального значения неизмеряемого вектора X₀ определяется известной условной плотностью вероятности ${{\rho }_{0}}(x\,{\text{|}}\,y)$, тогда как маргинальная (частная) плотность вероятности ${{q}_{0}}(y)$ измеряемого вектора Y₀ может быть произвольной, так что

Отметим, что вектор-функции сноса (смещения) $a(t,x,y,u) \in {{\mathbb{R}}^{n}}$, $c(t,x,y,u) \in {{\mathbb{R}}^{m}}$ двухкомпонентного диффузионного марковского процесса $({{X}_{t}},{{Y}_{t}})$ задают детерминированное поведение (траекторию) объекта управления, тогда как матричные функции диффузии $B(t,x,y,u) \in {{\mathbb{R}}^{{n \times k}}}$, $D(t,x,y,u) \in {{\mathbb{R}}^{{m \times k}}}$ определяют влияние на нее случайного возмущения в виде одного и того же гауссовского белого шума ${{V}_{t}} = {{d{{W}_{t}}} \mathord{\left/ {\vphantom {{d{{W}_{t}}} {dt}}} \right. \kern-0em} {dt}}$. Независимость шумов каждого из двух уравнений (1.1) обеспечивается условием $B( \cdot ){{D}^{{\text{T}}}}( \cdot ) \equiv 0$ [13].

Пусть начальные условия X₀, Y₀ имеют конечные вторые моменты ${\rm M}{{\left| {{{X}_{0}}} \right|}^{2}} + {\rm M}{{\left| {{{Y}_{0}}} \right|}^{2}} < \infty $, где M – оператор математического ожидания, а измеримые по Борелю функции сноса $a( \cdot )$, $c( \cdot )$ и диффузии $B( \cdot )$, $D( \cdot )$ удовлетворяют достаточным условиям существования и единственности непрерывного по времени потраекторного решения уравнений Ито [14]. Эти условия гарантируют конечность вторых моментов случайных векторов ${{X}_{t}},\;{{Y}_{t}}$ и в любой другой момент времени ${\rm M}{{\left| {{{X}_{t}}} \right|}^{2}} + {\rm M}{{\left| {{{Y}_{t}}} \right|}^{2}} < \infty $ $\forall t \geqslant 0$.

Требуется найти такую неупреждающую зависимость управления U_t от всех предыдущих измерений

которая при любом распределении ${{q}_{0}}(y)$ вектора ${{Y}_{0}}$ обеспечивает минимум критерия качества управления (1.3) объектом (1.1) в виде среднего значения случайного функционала Больца:

Конечный момент времени T будем считать фиксированным, а заданные функции потерь $\mu {\kern 1pt} '(t,x,y,u)$, $\nu {\kern 1pt} '(x,y)$ – неотрицательными.

1.2. Известный закон управления. Как отмечено во Введении, классическое решение задачи (1.1)–(1.4) ищется как функционал ${{U}_{t}} = \chi \,[t,p(t, \cdot \,{\text{|}}\,Y_{0}^{t})]$ мгновенного случайного значения апостериорной плотности вероятности $p(t,x\,{\text{|}}\,y_{0}^{t})$. Этот функционал $\chi \,[ \cdot ]$ можно получить методом динамического программирования с помощью решаемого в обратном времени, от $t = T$ до $t = 0$, уравнения Беллмана–Мортенсена в вариационных производных Фреше [2–4]. Апостериорная же плотность находится путем интегрирования в прямом времени, от $t = 0$ до $t = T$, стохастического интегродифференциального уравнения Стратоновича–Кушнера (Дункана–Мортенсена–Закаи) с начальным условием $p{{{\text{|}}}_{{t = 0}}} = {{q}_{0}}(x\,{\text{|}}\,{{Y}_{0}})$. В это уравнение входит то же управление ${{U}_{t}}$, в чем проявляется известная дуальность оптимального стохастического управления. Тем самым оптимальный закон управления по выходу (1.3) оказывается инерционным, а реализующее его устройство управления состоит из управляемого стохастического фильтра Стратоновича и безынерционного регулятора Мортенсена.

Такой закон управления обычно слишком сложен для его практической реализации, поэтому ограничиваются приближенным конечномерным решением задачи методом достаточных координат [1, 4], приводящим лишь к субоптимальным динамическим регуляторам. К тому же их порядок (число дифференциальных уравнений состояния) весьма быстро растет с повышением желаемой точности аппроксимации апостериорной плотности отрезками гауссовоподобных рядов Эджворта (по кумулянтам) или Грама–Шарлье (по квазимоментам) из-за факториально быстрого роста количества элементов старших апостериорных статистик неизмеряемого вектора состояния ${{X}_{t}}$ [15].

1.3. Предлагаемый регулятор и более общий критерий. С целью гарантированной реализации инерционного закона управления в темпе со временем ограничим класс функционалов (1.3) предыдущих наблюдений. Вместо использования для управления бесконечномерного фильтра Стратоновича будем искать конечномерный регулятор с вектором состояния ${{Z}_{t}} \in {{\mathbb{R}}^{p}}$ произвольной размерности $p = 0,1,2, \ldots $, задавая его дифференциальным уравнением состояния:

а значение управления ${{U}_{t}}$ в момент времени t определим как функцию последнего измерения ${{Y}_{t}}$ и полученного к этому моменту состояния регулятора, задавая формулу выхода регулятора:

Этот регулятор при ненулевой размерности (порядке) $p = 1,2, \ldots $ вектора его состояния ${{Z}_{t}}$ является динамическим (инерционным), а при нулевой p = 0, когда переменная ${{Z}_{t}}$ и уравнение (1.5) исчезают, он становится статическим (безинерционным) и определяется только формулой выхода ${{U}_{t}} = u(t,{{Y}_{t}})$.

Замечание 1. Заданный уравнением (1.5) p-мерный вектор ${{Z}_{t}}$ является функционалом всех проведенных до момента времени t измерений ${{Z}_{t}} = \theta (t,Y_{0}^{t})$, он накапливает в себе информацию о них. Поэтому он представляет собой массив оперативной памяти об измерениях, и чем больше размерность p этого вектора, тем более эффективным будет получаемый из (1.6) закон конечномерного управления ${{U}_{t}} = u[t,{{Y}_{t}},\theta (t,Y_{0}^{t})]$, все более приближаясь к бесконечномерному закону управления Стратоновича–Мортенсена.

Определяющие нелинейную структуру регулятора (1.5), (1.6) неизвестные функции его начального состояния $h(y) \in {{\mathbb{R}}^{p}}$, смещения $f(t,y,z) \in {{\mathbb{R}}^{p}}$, усиления $G(t,y,z) \in {{\mathbb{R}}^{{p \times m}}}$ и выхода $u(t,y,z) \in \Omega \subset {{\mathbb{R}}^{l}}$ должны быть найдены из условия оптимальности управления (1.4). При этом в связи с появлением новой переменной Z_t добавим в функции потерь критерия оптимальности (1.4) возможную их зависимость и от состояния регулятора. На решениях уравнений (1.1), (1.5), (1.6) будем минимизировать более общий критерий качества всей замкнутой системы управления:

с неотрицательными функциями потерь $\mu (t,x,y,u,z) \geqslant 0,$ $\nu (x,y,z) \geqslant 0$, что позволяет накладывать условия и на желаемую эффективность регулятора. Например, можно так доопределить целевые функции $\mu {\kern 1pt} '( \cdot ),\,\,\nu {\kern 1pt} '( \cdot )$ критерия $I{\kern 1pt} '$ до функций $\mu ( \cdot ),$ $\nu ( \cdot )$ критерия $I$, чтобы p-мерный вектор ${{Z}_{t}}$ был в определенном смысле еще и некоторой “оценкой” неизмеряемого n-мерного вектора ${{X}_{t}}$. Отметим, что функционал (1.7) при любых его аргументах ограничен снизу:

Предлагаемые уравнения регулятора (1.5) обеспечивают совместную марковость его случайного состояния ${{Z}_{t}}$ вместе с компонентами ${{X}_{t}},$ ${{Y}_{t}}$ вектора состояния объекта. Действительно, исключая управление ${{U}_{t}}$ из уравнений (1.1) с помощью формулы (1.6) и добавляя к ним (1.5), получим систему из трех уравнений Ито:

Здесь функции сноса и диффузии третьего уравнения имеют вид

а верхним индексом u отмечены сложные функции, содержащие функцию выхода регулятора $u( \cdot )$, например

Поэтому допустимыми функциями двух уравнений регулятора $f( \cdot )$, $G( \cdot )$, $u( \cdot )$ являются те, которые вместе с функциями объекта $a( \cdot )$, $B( \cdot )$, $c( \cdot )$, $D( \cdot )$ удовлетворяют условиям существования и единственности решения системы (1.8). Таковыми, например, являются условия липшицевой непрерывности этих функций по переменным $x,\;y,\;z$ и ограниченной скорости их роста при $\left| x \right| + \left| y \right| + \left| z \right| \to \infty $. Они вместе с условием конечности второго момента начального состояния регулятора ${\rm M}{{\left| {{{Z}_{0}}} \right|}^{2}} = {\rm M}{{\left| {h({{Y}_{0}})} \right|}^{2}} < \infty $ дают конечность вторых моментов всех трех случайных векторов в любой момент времени ${\rm M}{{\left| {{{X}_{t}}} \right|}^{2}} + {\rm M}{{\left| {{{Y}_{t}}} \right|}^{2}} + {\rm M}{{\left| {{{Z}_{t}}} \right|}^{2}} < \infty $ $\forall t \geqslant 0$.

2. Сведение задачи к детерминированной. Подставляя формулу выхода регулятора (1.6) также и в функционал (1.7), операцию усреднения М в нем запишем через совместную плотность вероятности $r(t,x,y,z)$ всех элементов случайного вектора состояния ${{\Xi }_{t}} = {{(X_{t}^{{\text{T}}},Y_{t}^{{\text{T}}},Z_{t}^{{\text{T}}})}^{{\text{T}}}}$ замкнутой системы управления (1.8):

Здесь угловыми скобками $\left\langle {\eta ,r} \right\rangle $ для краткости обозначен интеграл усреднения функции $\eta (t, \cdot )$ с весом в виде этой плотности $r(t, \cdot )$:

При этом интегралы по переменным $x,y,z$ берутся по всему евклидову пространству соответствующей размерности, например

Из (1.8) следует [14, 16], что при заданных функциях регулятора $u( \cdot )$, $f( \cdot )$, $G( \cdot )$, $h( \cdot )$ и известной начальной плотности ${{p}_{0}}( \cdot )$ случайный вектор ${{\Xi }_{t}}$ является диффузионным марковским процессом. Его совместная плотность вероятности $r( \cdot )$ при определенных условиях дифференцируемости функций сноса ${{\omega }^{{ufG}}}( \cdot )$ и диффузии ${{\Sigma }^{{uG}}}( \cdot )$ всей системы

определяется как дифференцируемое один раз по t и дважды по $x,y,z$ решение уравнения Фоккера–Планка–Колмогорова (ФПК): где $K_{{xyz}}^{{ufG}}$ – прямой производящий оператор этого процесса:

Здесь tr – след матрицы,$\nabla = {{(\nabla _{x}^{{\text{T}}},\nabla _{y}^{{\text{T}}},\nabla _{z}^{{\text{T}}})}^{{\text{T}}}}$ – оператор градиента. В подробной форме записи этот оператор имеет вид

где сгруппированы следы от матриц одинаковых порядков $n \times n$, $m \times m$, $p \times p$, а через ${{Q}^{u}},{{R}^{u}},{{S}^{u}}$ обозначены коэффициенты диффузии исходного процесса ${{(X_{t}^{{\text{T}}},Y_{t}^{{\text{T}}})}^{{\text{T}}}}$:

Начальным для уравнения (2.2) является условие

где $\delta ( \cdot )$ – функция Дирака. Граничные же условия на бесконечности для плотности $r( \cdot )$ и вектора потока вероятности $\pi = {{\omega }^{{ufG}}}r - 0.5\,{{[{{\nabla }^{{\text{T}}}}({{\Sigma }^{{uG}}}{{\Sigma }^{{uG}}}^{{\text{T}}}r)]}^{{\text{T}}}}$ будут нулевыми.

Такие граничные условия приводят к справедливости для любой функции $\eta (t,\xi )$, дважды непрерывно дифференцируемая по переменной $\xi = (x,y,z)$, формулы интегрирования по частям [4]

где $K_{\xi }^{{*ufG}}$ – обратный (сопряженный к $K_{\xi }^{{ufG}}$) производящий оператор процесса:

В подробной форме записи результат его действия на пробную функцию $\eta ( \cdot )$ имеет вид

Здесь одинарными или двойными нижними индексами обозначены столбцы первых и матрицы вторых частных производных скалярной функции $\eta ( \cdot )$ соответственно. Например ${{\eta }_{x}} = {{\nabla }_{x}}\eta $ есть n-мерный столбец, тогда как матрица ${{\eta }_{{xy}}} = {{\nabla }_{x}}\nabla _{y}^{{\text{T}}}\eta $ имеет порядок $n \times m$.

В случае отсутствия требуемой дифференцируемости функций сноса ${{\omega }^{{ufG}}}( \cdot )$ и диффузии ${{\Sigma }^{{uG}}}( \cdot )$ системы (1.8) по переменным $x,y,z$ плотность вероятности $r( \cdot )$ тоже может быть негладкой. Это заставляет понимать решение уравнения (2.2) в обобщенном смысле, как удовлетворяющее справедливому для любой достаточно гладкой пробной функции

интегродифференциальному тождеству [15, 17] с начальным условием

Однако неопределенность в этом начальном условии, как и в (2.3), плотности вероятности ${{q}_{0}}(y)$ начального измерения Y₀ и функции $h(y)$ начального состояния регулятора Z₀ приводит к неопределенности совместной плотности вероятности $r(t,x,y,z)$ и при $t > 0$. Представляя же ее в виде произведения маргинальной плотности вероятности $q(t,y,z)$ только случайных величин ${{Y}_{t}}$, ${{Z}_{t}}$ на соответствующую ей плотность $\rho (t,x|y,z)$ распределения вероятности случайной величины ${{X}_{t}}$ при условиях ${{Y}_{t}} = y$, ${{Z}_{t}} = z$:

можно показать [17], что эта неопределенность касается только плотности $q( \cdot )$, тогда как условная плотность вероятности $\rho ( \cdot )$ полностью определяется некоторым уравнением. Для их компактной записи операцию условного усреднения функции будем обозначать чертой над ней:

Повторяя приведенные в [17] доказательства этого факта применительно к рассматриваемому здесь управляемому объекту (1.1) добавлением в них переменной ${{U}_{t}}$ и функции $u(t,y,z)$, аналогичным образом легко получим следующие утверждения.

Лемма 1 [17]. Если маргинальная плотность вероятности $q(t,y,z)$ дифференцируема по времени, то она удовлетворяет аналогичному (2.6) линейному интегродифференциальному тождеству

с начальным условием $\iint {\xi \,q\,dydz}\left| {_{{t = 0}}} \right. = \int {\xi \,[0,y,h(y)]\,{{q}_{0}}(y)dy} $ и с оператором коэффициенты которого ${{\bar {c}}^{u}}( \cdot )$, ${{\bar {R}}^{u}}( \cdot )$, согласно (2.8), зависят от условной плотности $\rho ( \cdot )$.

Лемма 2 [17]. Если дифференцируемая по времени условная плотность $\rho (t,x|y,z)$ дважды непрерывно дифференцируема по своим переменным y, z, то она полностью определяется известным начальным значением $\rho (0,x|y,z) = {{\rho }_{0}}(x|y)$ и нелинейным интегродифференциальным тождеством

Следствие [17]. Пусть условная плотность $\rho (t,x|y,z)$ дифференцируема по t и дважды непрерывно дифференцируема по $x,y,z$, тогда как функции $a( \cdot )$, $B( \cdot )$ из (1.1) непрерывно дифференцируемы по $x$ 1 и 2 раза соответственно. Тогда из (2.10) следует, что эта плотность удовлетворяет интегродифференциальному уравнению в частных производных

При этом граничные условия на бесконечности по переменной x для плотности $\rho ( \cdot )$ и ее производных равных нулю, в то время как на их асимптотическое поведение по переменным y, z никаких ограничений не наложено.

Замечание 2. В рассматриваемой задаче синтеза конечномерного регулятора условная плотность $\rho ( \cdot )$ заменяет обычно используемую в классической задаче апостериорную плотность вероятности $p(t,x\,{\text{|}}\,Y_{0}^{t})$. Последняя в каждый момент времени t несет в себе всю информацию о возможных значениях неизмеряемой части вектора состоянии объекта X_t, полученную в результате проведенных изменений. В отличие от этого такой информации в плотности $\rho ( \cdot )$ содержится меньше из-за вносимого уравнением (1.5) сжатия (усечения) всей предыстории измерений $Y_{0}^{t}$ путем помещения ее в вектор состояния регулятора Z_t, так как последний является функционалом накопленных измерений ${{Z}_{t}} = \theta (t,Y_{0}^{t})$. Поэтому здесь вместо апостериорной плотности $p(t,x\,{\text{|}}\,Y_{0}^{t})$ используется плотность $\rho [t,x\,{\text{|}}\,{{Y}_{t}},\theta (t,Y_{0}^{t})]$, что позволяет считать ее усечено-апостериорной.

В результате исходная стохастическая задача (1.5)–(1.7) сведена к следующей задаче управления на отрезке времени $t \in [0,T]$ детерминированным объектом (2.11) с распределенными параметрами в виде функций его состояния $\rho ( \cdot )$ и управления $f( \cdot ),G\,( \cdot ),h( \cdot ),u( \cdot )$. Требуется на множестве допустимых функций

связанных уравнением (2.11) для условной плотности $\rho ( \cdot )$ или соответствующим тождеством (2.10), найти минимум функционала (2.1):

Отметим, что функционал I определен на множестве функций

связанных более общим уравнением ФПК (2.2) для совместной плотности $r( \cdot )$ или ее тождеством (2.6). Из формулы умножения плотностей вероятности (2.7) и лемм 1, 2 следует, что множество ${{{\mathbf{D}}}_{r}}$ шире, чем ${{{\mathbf{D}}}_{\rho }}$, так как содержит и множество маргинальных плотностей $q( \cdot )$, связанных с функциями из ${{{\mathbf{D}}}_{\rho }}$ тождеством (2.9), так что

В результате так как ${{{\mathbf{D}}}_{\rho }} \subset {{{\mathbf{D}}}_{r}}$, то искомый минимум I на ${{{\mathbf{D}}}_{\rho }}$ можно искать его минимизацией на ${{{\mathbf{D}}}_{r}}$ при любых маргинальных плотностях $q( \cdot )$:

3. Достаточные условия оптимальности регулятора. Для того чтобы при минимизации критерия (2.1) избавиться от уравнения связи (2.2), образуем функционал Лагранжа

где $\varphi (t,x,y,z) \in {{\mathbb{C}}^{{1,2,2,2}}}$ – неопределенный множитель (сопряженная функция) Лагранжа–Кротова. Функционал L определим на более широком, чем D_r, множестве V функций, не связанных уравнением (2.2), причем на нем функция $r( \cdot )$ может иметь разрывы первого рода при t = 0 и t = T. Очевидно, что ${{{\mathbf{D}}}_{r}} \subset {\mathbf{V}}$ и на множестве D_r справедливо равенство $L{{{\text{|}}}_{{{{{\mathbf{D}}}_{r}}}}} = I{{{\text{|}}}_{{{{{\mathbf{D}}}_{r}}\forall q}}}$.

Тогда, согласно принципу расширения Кротова [18, 19], если при любых $q( \cdot )$ минимум функционала $L$ на множестве ${\mathbf{V}}$ достигается на функциях из ${{{\mathbf{D}}}_{\rho }}$, то последние доставляют искомый минимум функционалу I на ${{{\mathbf{D}}}_{\rho }}$, причем

При этом из неотрицательности I на ${{{\mathbf{D}}}_{\rho }}$ следует и неотрицательность $L$ на ${\mathbf{V}}$:

Производя в выражении для L интегрирование одного из слагаемых по частям:

учитывая вид (2.1) критерия I, выражение (2.3) для начального вида плотности $r( \cdot )$ и сопряженность операторов (2.4), получаем

Так как на множестве V функция $r( \cdot )$ допускает разрывы при $t = 0$ и $t = T$, то минимум последнего выражения для L на нем можно находить для каждого из трех слагаемых в отдельности. Используя при этом свойство монотонности операции интегрирования по t, представление (2.7) совместной плотности $r( \cdot )$ как произведения маргинальной $s( \cdot )$ и условной $\rho ( \cdot )$ плотностей, а также неотрицательность плотностей вероятности $q( \cdot ) \geqslant 0$, ${{q}_{0}}(y) \geqslant 0$, находим

Здесь обозначены

Кроме этого, благодаря произволу в выборе сопряженной функции $\varphi ( \cdot )$ нетрудно показать, аналогично [7], что функции $\alpha ( \cdot )$ и $\gamma ( \cdot )$ без ограничения общности можно положить равными нулю. Учтем также, что в выражении для $\gamma ( \cdot )$ производная ${{\partial \varphi } \mathord{\left/ {\vphantom {{\partial \varphi } {\partial t}}} \right. \kern-0em} {\partial t}}$ не зависит от оптимизируемых переменных $u,f,G$, а для зависимой от них его части введем обозначение

Этот линейный относительно функций $\varphi ( \cdot ),\,\,\rho ( \cdot )$ функционал H с параметрами $t,y,z,u,f,G$ является условным средним известной из “стохастического” принципа максимума Понтрягина функции Гамильтона. В результате доказано следующее утверждение.

Теорема 1. Достаточным условием оптимальности в смысле (1.7) регулятора (1.5), (1.6) является наличие такой дифференцируемой функции $\varphi (t,x,y,z)$, что экстремумы

существуют и достигаются на множестве функций D_ρ, связанных тождеством (2.10) или соответствующим ему уравнением (2.11). При этом минимальное значение критерия (1.7) находится по функции (3.4) что требует знания плотности ${{q}_{0}}(y)$ распределения начального измерения ${{Y}_{0}}$.

В результате, как следует из (3.5), три оптимальные структурные функции регулятора ${{u}^{o}}( \cdot )$, ${{f}^{o}}( \cdot )$, ${{G}^{o}}( \cdot )$ находятся максимизацией определенного на функциях $\varphi ( \cdot ),\,\,\rho ( \cdot )$ гамильтониана (3.2) по трем его параметрам $u,f,G$ при любых значениях трех других:

Функцию же начального состояния $h(y)$ регулятора получим из (3.4) в результате максимизации условного среднего начального значения функции $\varphi ( \cdot )$:

Теорема 1 позволяет проверить найденные каким-либо образом структурные функции регулятора $u( \cdot ),\,f( \cdot ),\,G( \cdot ),\,h( \cdot )$ и соответствующую им условную плотность $\rho ( \cdot )$ на оптимальность на всем отрезке времени $t \in [0,T]$. Для этого, задавшись подходящей дифференцируемой функцией $\varphi ( \cdot )$, следует убедиться в достижении экстремумов (3.3)–(3.5) на проверяемых функциях. Эта процедура проще исходной вариационной задачи (2.12) на условный экстремум функционала (2.1) тем, что сводится сначала к максимизации двух функций (3.6), (3.7) параметров $u,\,f,\,G$ и $h$ соответственно, а затем к нахождению в (3.3), (3.5) безусловных экстремумов функционалов одного лишь аргумента $\rho ( \cdot )$.

Если результат положительный, то полученные функции являются оптимальными, если же отрицательный, то следует попытаться выбрать другую пробную функцию $\varphi ( \cdot )$. Эта неопределенность полученных достаточных условий требует поиска более регулярной процедуры решения исходной задачи, которую и рассмотрим ниже.

4. Соотношения для экстремалей. Назовем экстремалями регулятора функции $\tilde {u}( \cdot )$, $\tilde {f}( \cdot )$, $\tilde {G}( \cdot )$, получаемые максимизацией гамильтониана (3.2), определенного на порождаемой ими экстремальной плотности $\tilde {\rho }( \cdot )$ и на некоторой соответствующей ей функции $\tilde {\varphi }( \cdot )$:

На этих экстремалях достаточное условие (3.5) принимает вид

Используем здесь необходимое условие экстремума функционала – равенство нулю его вариационной производной (интегрального ядра вариации функционала). Вследствие линейности этого функционала получаем уравнение для функции $\tilde {\varphi }( \cdot )$:

Это равенство также является и условием независимости функции (3.5) от $\rho ( \cdot )$, что гарантирует существование этого экстремума. Аналогичным образом находим необходимое условие минимума и для функционала (3.3):

В результате доказано следующее утверждение.

Теорема 2. Соотношения (4.1)–(4.3) вместе с уравнением (2.11) для экстремальной условной плотности

или с соответствующим ему тождеством (2.10) образуют двухточечную краевую задачу, решая которую можно найти эти экстремали и функцию $\tilde {\varphi }( \cdot )$. После этого экстремаль $\tilde {h}(y)$ определяется из (3.4):

Приведенные здесь соотношения являются аналогом известных уравнений принципа максимума Понтрягина, возникающих в задачах управления детерминированным объектом с распределенными параметрами.

5. Случаи оптимальности статического регулятора. Для проверки правильности полученных соотношений сначала рассмотрим три известных случая статического (безынерционного) оптимального управления объектом (1.1).

5.1. Программное управление. Случай отсутствия наблюдений за состоянием объекта получим удалением из уравнений (1.1) вектора измеряемого выхода ${{Y}_{t}}$, положив его размерность равной нулю: $m = 0$. В результате имеем уравнение объекта управления

с неизмеряемым вектором состояния ${{X}_{t}} \in {{\mathbb{R}}^{n}}$. При этом формула выхода регулятора (1.6) вырождается в зависимость ${{U}_{t}} = u(t,{{Z}_{t}})$, а уравнение его состояния становится независимым:

Следовательно, ${{Z}_{t}}$ – произвольная функция времени, из-за чего искомое управление оказывается зависящим лишь от времени:

Это позволяет положить порядок регулятора равным нулю: p = 0 и исключить из приведенных выше выражений две переменные y, z вместе с их функциями $f(t,y,z)$, $G(t,y,z)$.

В результате соотношения для экстремалей изменяются следующим образом. Условная плотность превращается в безусловную: $\rho (t,x\,{\text{|}}\,y,z) = p(t,x)$, ее уравнение (4.4) вырождается в уравнение ФПК с известным начальным условием

а соотношения (4.2), (4.3) дают уравнение и конечное условие для сопряженной функции

Гамильтониан (3.2) в этом случае принимает более простой вид

и, согласно (4.1), достигает на экстремали $\tilde {p}( \cdot )$ максимума по переменной u:

Эти выражения для экстремалей совпадают с известными необходимыми условиями “стохастического” принципа максимума Понтрягина [4, 15] и позволяют найти программное управление ${{\tilde {u}}_{o}}(t)$, оптимальное только для заданной плотности вероятности ${{p}_{0}}(x)$ начального состояния объекта (5.1).

5.2. Позиционное управление. Случай полных измерений всего вектора состояния объекта управления получим удалением из уравнений (1.1) неизмеряемого вектора X_t, положив его размерность равной нулю: n = 0. В результате имеем уравнение объекта управления

с полностью измеряемым вектором состояния ${{Y}_{t}} \in {{\mathbb{R}}^{m}}$.

Тогда в найденных выше соотношениях переменная х вместе с ее условной плотностью $\rho (t,x\,{\text{|}}\,y,z)$ пропадают, так что $\int {\eta \rho dx} = \eta $, а совместная плотность совпадает с маргинальной $r(t,x,y,z) = q(t,y,z)$. Поэтому достаточные условия (3.3)–(3.5) с независящей теперь от переменной х функцией $\varphi ( \cdot )$ принимают вид

При этом операция интегрирования в гамильтониане (3.2) исчезает:

где, согласно (2.5),

Частная максимизация в (5.3) гамильтониана (5.6) при любых $u,G$ только по переменной  f из-за его линейности по ней дает условие ${{\varphi }_{z}} = 0$ независимости функции $\varphi (t,y,z)$ и от переменной z. Поэтому имеем $\varphi = \varphi (t,y)$, выражение (5.7) упрощается:

так что гамильтониан (5.6) оказывается не зависящим от параметров f, G: а из (5.5) получаем, что $\beta (y) = \varphi (0,y)$ и не зависит от выбора h. В результате достаточные условия (5.3)–(5.5) с гамильтонианом (5.8) принимают вид

В эти соотношения функции $f( \cdot )$, $G( \cdot )$, $h( \cdot )$ уравнения состояния регулятора не входят, а потому могут быть выбраны любыми. Это приводит, согласно (1.5), к произвольности состояния регулятора ${{Z}_{t}}$ для любых $t \geqslant 0$, что можно учесть выбором управления (1.6) в виде его статической (безынерционной) зависимости от полного вектора состояния объекта (5.2):

т.е. также считать порядок регулятора p = 0. В результате переменную z следует опустить везде, и тогда достаточные условия (5.9), (5.10) оказываются такими

Это решаемое в обратном времени уравнение с точностью до знака и типа экстремума совпадает с известным “стохастическим” уравнением Беллмана [4, 15] для объекта (5.2) с полностью измеряемым состоянием ${{Y}_{t}}$. Действительно, положив $\psi (t,y) = - \varphi (t,y)$, вместо (5.11) получаем более привычный вид уравнения Беллмана

Оно позволяет в обратном времени найти управление с полной обратной связью ${{u}^{o}}(t,y)$, которое оптимально при любых распределениях ${{q}_{0}}(y)$ начального состояния объекта (5.2).

5.3. Частично позиционное управление. Если для управления парной моделью объекта (1.1) ограничиться нахождением только статического (безынерционного) закона управления

то в регуляторе (1.5), (1.6) размерность вектора состояния регулятора ${{Z}_{t}}$ достаточно также выбрать равной нулю: p = 0. Тогда во всех соотношениях для экстремалей (3.2), (4.1)–(4.4) пропадает переменная z и связанные с ней функции $f( \cdot )$, $G( \cdot )$, $h( \cdot )$. В частности, теперь

В результате для урезанных удалением аргумента z экстремальной условной плотности $\tilde {\rho }(t,x\,{\text{|}}\,y)$ и соответствующей ей сопряженной функции $\tilde {\varphi }(t,x,y)$ из (4.1)–(4.4) имеем такую систему уравнений на отрезке управления $t \in [0,T]$:

где оператор $K_{x}^{u}[\rho ]$ задан в (2.11), тогда как два других определяются выражениями а входящая в них функция управления $\tilde {u}(t,y)$ находится как частный максимум упрощенной версии гамильтониана (3.2):

Полученные соотношения (5.13)–(5.14) совпадают с известными из [7, 8], отличаясь от них лишь обозначениями неизмеряемой $x = {{x}_{{(2)}}}$ и измеряемой $y = {{x}_{{(1)}}}$ частей вектора состояния объекта (1.1), его функций сноса ${{[{{a}^{{\text{T}}}}( \cdot ),{{c}^{{\text{T}}}}( \cdot )]}^{{\text{T}}}}$ и диффузии ${{[{{B}^{{\text{T}}}}( \cdot ),{{D}^{{\text{T}}}}( \cdot )]}^{{\text{T}}}}$ как $f( \cdot )$ и $\sigma ( \cdot )$ соответственно, а оператора $K_{{xy}}^{{*u}}[\varphi ]$ – как ${\text{A}}_{{u( \cdot )}}^{*}\varphi $. Однако использование здесь уравнения (5.12) для условной плотности $\tilde {\rho }(t,x\,{\text{|}}\,y)$ вместо применявшегося в [7, 8], в предположении о полностью известной начальной плотности (1.2), уравнения ФПК для совместной плотности $p(t,x,y)$ и формул ее пересчета в $\tilde {\rho }(t,x\,{\text{|}}\,y)$ делает найденные здесь соотношения справедливыми для любых плотностей вероятности ${{q}_{0}}(y)$ начального измерения ${{Y}_{0}}$.

6. Оптимальная структура динамического регулятора. Конкретизируем теперь процедуры получения функций $f( \cdot ),G( \cdot ),\,h(y),u( \cdot )$ уравнения состояния (1.5) и формулы выхода (1.6) регулятора при его порядке $p \ne 0$. Как следует из (3.6), первые три из них определяются нахождением частного максимума по параметрам $u,f,G$ гамильтониана (3.2) при любых значениях трех других его аргументов $t,y,z$. Функция же $h(y)$ определяется из (3.7).

Выражение (3.2), используя вид оператора (2.5), запишем подробнее:

Здесь уже верхний индекс u у ряда функций просто подчеркивает их зависимость от этой переменной. Так, в отличие от (1.9), теперь ${{a}^{u}} = a(t,x,y,u)$. Видно, что гамильтониан (6.1) линеен по переменной $f \in {{\mathbb{R}}^{p}}$, квадратичен по $G \in {{\mathbb{R}}^{{p \times m}}}$ и нелинеен по $u \in \Omega \subset {{\mathbb{R}}^{l}}$. Поэтому, снова применяя принцип сечений

последовательно, от нахождения простого экстремума к сложному, получим следующее.

6.1. Функция смещения. Максимизируем сначала функцию (6.1) по векторному параметру $f \in {{\mathbb{R}}^{p}}$ при любых допустимых $u,G$. Выделяя в ней слагаемые, зависящие только от  f, имеем задачу на экстремум линейной функции

где ${\text{invar (}}f)$ – не зависящие от  f  инвариантные слагаемые. Ее решением является требуемое для существования этого экстремума условие независимости H от  f:

В результате гамильтониан оказывается инвариантен к функции $f( \cdot )$ смещения регулятора

т.е. ее выбор на его значение никак не влияет.

Выражение для функции смещения найдем дифференцированием равенства (6.3) по времени. Используя при этом тождество (2.10), линейность входящих в него операторов $K_{{xyz}}^{{*ufG}}$, $L_{{yz}}^{{*ufG}}$ по функции $f( \cdot )$ и ее независимость от переменной интегрирования х, получим

Здесь чертой сверху по-прежнему отмечено условное среднее (2.8), а действие оператора $K_{{xyz}}^{{*u0G}}$ на вектор-функцию ${{\varphi }_{z}}$ осуществляется поэлементно:

Значением же этого первого частного максимума гамильтониана является функция

Таким образом, доказано следующее утверждение.

Теорема 3. Если выполняется условие инвариантности (6.3), то частный максимум гамильтониана H по f существует, а соответствующий вид функции смещения определяется формулой (6.4).

6.2. Функция усиления. Теперь в серии частных экстремумов (6.2) найдем максимум по G полученной функции $H_{{yz}}^{{u0G}}[\varphi ,\rho ]$ при любых допустимых u. В результате определим частично оптимальную (парциальную) функцию усиления регулятора:

и соответствующее ей значение второго частного максимума гамильтониана: для его последующей максимизации по переменной u. Оптимальную же функцию усиления $G( \cdot )$ найдем только после определения функции выхода $u(t,y,z)$, подставляя последнюю в частично оптимальную функцию (6.5):

Выделяя в (6.1) слагаемые, зависящие только от G, и используя матричное равенство ${{(G{{c}^{u}})}^{{\text{T}}}}{{\varphi }_{z}} = {\text{tr}}\,[G{{c}^{u}}\varphi _{z}^{{\text{T}}}]$, получим

где $\Delta _{{xyz}}^{u}[\varphi ]$ – не зависящая от G функция

Максимум этого гамильтониана, квадратичного по переменной $G \in {{\mathbb{R}}^{{p \times m}}}$, найдем с помощью необходимых и достаточных условий экстремума. Используя известные формулы матричного дифференцирования [15]

и учитывая симметричность матриц R и ${{\varphi }_{{zz}}}$, получим уравнение и неравенство где $ \otimes $ – символ прямого (внешнего, кронекерова) произведения матриц

Так как искомая функция (6.5) не зависит от переменной интегрирования x, то полученное уравнение для нее является алгебраическим и может быть записано, используя обозначение условного среднего (2.8), в многомерном матричном виде

Его коэффициент $\bar {\Lambda }_{z}^{u}[\varphi ]$ и свободный член $\bar {\Delta }_{{xyz}}^{{u{\text{T}}}}[\varphi ]$ определяются по формулам

а символом $ * * \,$ отмечена операция двойного умножения (свертки по двум индексам) попарно симметрической четырехмерной $p \times p \times m \times m$-матрицы (тензора) его коэффициентов $\bar {\Lambda }_{z}^{u}$ на двумерную (плоскую) $p \times m$-матрицу $G$, которая дает другую $p \times m$-матрицу:

При этом для выполнения достаточного условия ${{{{\partial }^{2}}H} \mathord{\left/ {\vphantom {{{{\partial }^{2}}H} {\partial {{G}^{2}}}}} \right. \kern-0em} {\partial {{G}^{2}}}} < 0$ искомого максимума (6.6) при условии невырожденности в (1.1) шума изменения ${{R}^{u}}( \cdot ) = {{D}^{u}}( \cdot ){{D}^{u}}^{{\text{T}}}( \cdot ) > 0$ и при очевидной неотрицательности условной плотности $\rho ( \cdot ) \geqslant 0$ требуется отрицательная определенность матрицы ${{\varphi }_{{zz}}}( \cdot ) < 0$. Тогда в точках с ненулевыми значениями плотности $\rho ( \cdot ) \ne 0$ функция $H_{{yz}}^{{u0G}}[\varphi ,\rho ]$ при любых $u$ достигает частного максимума по G. Таким образом, доказано следующее утверждение.

Теорема 4. Если шум измерителя не вырожден, т.е. ${{R}^{u}}( \cdot ) > 0$, а матричная функция ${{\varphi }_{{zz}}}( \cdot )$ отрицательно определена, то частично-оптимальная функция усиления (6.5) является единственным решением линейного матричного уравнения

с матрицами (6.8), а соответствующее максимальное значение гамильтониана (6.6) имеет вид

6.3. Функция выхода. Согласно (6.2), остается максимизировать функцию (6.9) по переменной $u \in \Omega \subset {{\mathbb{R}}^{l}}$. Вследствие неопределенного пока конкретного вида этой зависимости ограничимся следующим очевидным утверждением.

Теорема 5. Если функция (6.9) выпукла по переменной u, то оптимальная функция выхода регулятора $u(t,y,z)$ определяется как единственное решение задачи параметрического нелинейного программирования:

После этого из (6.7) становится известной и оптимальная функция усиления регулятора $G( \cdot )$.

6.4. Функция начального состояния. Для нахождения максимали (3.7) также используем необходимые и достаточные условия экстремума, в результате чего легко получаем такое утверждение.

Теорема 6. Оптимальная функция $h(y)$ определяется из условий

первое из которых есть алгебраическое уравнение относительно переменной $h$, а второе гарантирует наличие соответствующего максимума.

Заключение. С целью ускорения практической реализации инерционного процесса оптимального в среднем и на отрезке времени $t \in [0,T]$ управления стохастическим объектом по его измеряемому выходу предложен способ синтеза конечномерного динамического регулятора состояния объекта. Этот регулятор учитывает всю предысторию измерений, но не требует восстановления вектора состояния объекта. В отличие от различных конечномерных приближений к использующему апостериорную плотность вероятности оптимальному регулятору Стратоновича–Мортенсена, получаемых методом достаточных координат, он является точным. Его размерность не требуется изменять большими скачками, как при учете очередной группы многомерных апостериорных моментов следующего порядка. Более того, размерность регулятора, влияющая на скорость обработки измерений, может быть выбрана не только много меньше порядка наиболее простого ковариационного приближения к регулятору Стратоновича–Мортенсена, в котором участвуют различные нелинейные обобщения фильтра Калмана, но даже и меньше порядка самого объекта управления.

Синтез предлагаемого регулятора основан на использовании, благодаря его конечномерности, усеченной версии апостериорной плотности вероятности, которая удовлетворяет детерминированному интегродифференциальному уравнению в частных производных. Оно позволило получить достаточные условия оптимальности структурных функций регулятора и уравнения для нахождения их экстремалей. Для случая синтеза статической версии регулятора они проверены сравнением с тремя известными результатами. Приведены и алгоритмы нахождения каждой из структурных функций динамического регулятора.

В второй части статьи планируется рассмотреть случай стохастических измерений состояния объекта и на примере линейно-квадратично-гауссовской задачи проверить полученные здесь алгоритмы синтеза регулятора сравнением их результатов с известной теоремой разделения.