Известия РАН. Теория и системы управления, 2023, № 2, стр. 93-107

Введение. Как известно, решением задачи синтеза управления объектом, оптимального в среднем и на определенном интервале времени, в случае отсутствия точных измерений всех переменных его состояния является динамическое преобразование измерений в управление [1–6]. Оно состоит из инерционного стохастического фильтра Стратоновича, который накапливает информацию об измерениях, преобразуя их в апостериорную плотность вероятности неизмеряемого вектора состояния объекта, и безынерционного детерминированного регулятора Мортенсена, который в каждый момент времени вычисляет управление по сечению (мгновенному виду) апостериорной плотности в этот момент времени. На такой закон управления никакие ограничения вроде объема используемой памяти и скорости обработки измерений не накладываются. Поэтому будем называть подобные устройства управления абсолютно оптимальными, подчеркивая этим их способность обеспечивать достижение глобального экстремума соответствующего критерия качества управления. Эффективность же других устройств, учитывающих какие-либо ограничения, например конечномерность [7], будет заведомо хуже, но при их лучшей реализуемости.

Однако процедура построения интервально-оптимального регулятора Мортенсена весьма сложна из-за необходимости находить функционал от апостериорной плотности. В этом случае метод динамического программирования приводит к необходимости решать весьма сложное уравнение Беллмана–Мортенсена в вариационных производных Фреше. Только замена апостериорной плотности вероятности соответствующими ей достаточными координатами (статистиками) неизмеряемого состояния объекта в виде всех его условных моментов, квазимоментов или кумулянтов приводит к поиску функции Беллмана из уравнения в частных производных. Хотя эта функция и имеет бесконечное количество аргументов, но, ограничиваясь достаточными координатами только нескольких младших порядков, можно найти некоторое приближение к абсолютно оптимальному регулятору.

Таким способом в частном случае линейно-квадратично-гауссовской (ЛКГ) задачи неограниченного управления удалось доказать теорему (принцип) разделения [3, 4, 6, 8], согласно которой оптимальное устройство управления Стратоновича–Мортенсена распадается на два легко получаемых и реализуемых блока. Первым из них является линейный стохастический фильтр Калмана–Бьюси, оптимальный в смысле минимума среднего квадрата ошибки оценивания в каждый момент времени. Синтез фильтра сводится к решению независимого от измерений прямого (в прямом времени) дифференциального уравнения Риккати для матрицы ковариаций этой ошибки, которое учитывает только параметры управляемой системы. Второй представляет собой линейный позиционный регулятор, оптимальный в смысле детерминированной версии квадратичного критерия качества управления. Построение этого регулятора требует решения своего обратного (в обратном времени) уравнения Риккати, которое учитывает еще и весовые матрицы критерия. Но нарушение любого из четырех довольно жестких условий этой теоремы приводит к необходимости все же решать уравнение Беллмана.

В работе предлагается более простая процедура синтеза абсолютно оптимального безынерционного регулятора, который тоже использует апостериорные достаточные координаты, но оптимален в несколько другом смысле. Традиционный интервальный критерий оптимальности, обеспечивающий управление объектом на всем заранее заданном интервале времени, а потому от времени не зависящий, заменяется похожим критерием, но зависящим от времени. Это позволяет учитывать информацию только о прошлом и текущем состоянии объекта, оперативно меняя закон управления при чем-либо вызванных изменениях его будущего поведения. Кроме того, переменный критерий оптимальности существенно упрощает процедуру синтеза регулятора, позволяя отказаться от решения уравнения Беллмана. В частности, в доказанной ниже оперативной теореме разделения коэффициент усиления соответствующего линейного позиционного регулятора оказывается известным из условий задачи. Подобный эффект от оперативного критерия в нелинейном детерминированном случае продемонстрирован в [9]. Кроме того, процедура синтеза стохастического оперативно-оптимального конечномерного устройства управления, который учитывает требования к скорости обработки измерений, а потому не является абсолютно оптимальным, описана в [7].

1. Постановки задачи. Рассмотрим две задачи управления динамическими объектами в предположении марковости и диффузионности (отсутствия скачков) их векторов состояния, для описания которых будем использовать стохастические дифференциальные уравнения Ито.

Пусть $t \geqslant 0$ – время, ${{X}_{t}}$ – n-мерный не измеряемый вектор состояния объекта управления, ${{Y}_{t}}$ – m-мерный вектор его измеряемого выхода, ${{U}_{t}}$ – $l$-мерный вектор кусочно-непрерывного управления из в общем случае ограниченной области $\Omega $, ${{V}_{t}}$ – k-мерный вектор непрерывных возмущений в виде центрированного и нормированного белого шума.

1.1. Управление по неполным точным измерениям. Эта задача возникает в случае, когда имеет место парная марковская модель объекта управления в виде системы из двух взаимозависимых уравнений для его общего вектора состояния $({{X}_{t}},{{Y}_{t}})$:

Здесь и далее производные случайных функций по времени t будем понимать как отношение их стохастического дифференциала Ито вроде $d{{X}_{t}}$ к дифференциалу времени, например ${{\dot {X}}_{t}} = {{d{{X}_{t}}} \mathord{\left/ {\vphantom {{d{{X}_{t}}} {dt}}} \right. \kern-0em} {dt}}$. В этом смысле белый шум является производной ${{V}_{t}} = {{d{{W}_{t}}} \mathord{\left/ {\vphantom {{d{{W}_{t}}} {dt}}} \right. \kern-0em} {dt}}$ соответствующего стандартного винеровского процесса ${{W}_{t}}$.

В (1.1) плотность распределения вероятности ${{p}_{0}}(x,y)$ начальных условий ${{X}_{0}}$, ${{Y}_{0}}$ известна не полностью, а лишь с точностью до условной плотности вероятности ${{\rho }_{0}}\left( {x\,{\text{|}}\,y} \right)$ начального значения неизмеряемого вектора X₀, тогда как маргинальная (частная) плотность вероятности ${{q}_{0}}(y)$ измеряемого вектора Y₀ может быть произвольной:

Требуется найти не упреждающую зависимость управления U_t объектом (1.1), (1.2) от всех предыдущих измерений $Y_{0}^{t} = \left\{ {{{Y}_{\tau }}\,{\text{|}}\,\tau \in [0,t)} \right\}$ и выполненных управлений $U_{0}^{t} = \{ {{U}_{\tau }}\,{\text{|}}\,\tau \in [0,t)\} $ как такой их функционал:

который обеспечивает минимум некоторому критерию качества управления состоянием объекта. В зависимости от объема располагаемой информации о процессе управления будем различать два вида таких критериев.

Обычно требуется минимизация постоянного во времени критерия оптимальности, задаваемого как среднее значение полученной на всем заданном отрезке времени $t \in [0,T]$ суммы случайных интегральных и терминальных потерь от управления:

Здесь М – оператор математического ожидания, конечный момент времени Т будем считать, для простоты, фиксированным, а функции потерь являются неотрицательными $\mu (t,x,y,u) \geqslant 0$, $\nu (x,y) \geqslant 0$. Далее такой критерий будем называть интервальным (И-критерий).

Однако получаемое с его помощью управление (1.3) хоть и является не упреждающим, но в каждый текущий момент времени t требует информации о процессе функционирования объекта и в будущем, на интервале времени (t, T]. Это проявляется в использовании при решении задачи предварительного знания функций его уравнений (1.1) на всем интервале управления $[0,T]$, которое наблюдается при применении соответствующих стохастических версий как принципа максимума Понтрягина, так и метода динамического программирования Беллмана. Более того, функции потерь критерия (1.4) штрафуют и возможное будущее поведение объекта управления. Таким образом, использование критерия (1.4) требует полной информации как об уравнениях объекта, так и функциях потерь критерия оптимальности на всем плановом отрезке времени управления $[0,T]$.

В отличие от такой традиционной постановки задачи управления в последнее время усилился интерес к оптимизации переменного во времени критерия [7, 9]

с функциями потерь $\varphi (t,x,y,u) \geqslant 0$, $\psi (t,x,y) \geqslant 0$, который будем называть оперативным (О-критерий). В отличие от И-критерия (1.4) он уже не штрафует неизвестное будущее поведение объекта и, как показало исследование его детерминированного аналога [9], получаемое с его помощью управление не использует информации об этом будущем. В результате внезапно возникшие в уравнениях объекта изменения не требуют пересчета всего закона оптимального управления им, а вид функций потерь $\varphi ( \cdot )$, $\psi ( \cdot )$ этого критерия можно, по мере необходимости, изменять со временем без какого-либо их влияния на предыдущее управление. Применение такого критерия в стохастической задаче синтеза конечномерного динамического устройства управления продемонстрировано в [7].

1.2. Управление по измерениям со случайными погрешностями. Такая более популярная задача возникает, если имеет место скрытая марковская модель объекта управления, когда измеряемый выход ${{Y}_{t}}$ не влияет на неизмеряемое состояние ${{X}_{t}}$. В таком случае система уравнений (1.1) распадается на независящее от измерений ${{Y}_{t}}$ уравнение состояния объекта с полностью известным начальным условием

и зависимое только от состояния ${{X}_{t}}$ и управления ${{U}_{t}}$ уравнение измерителя этого состояния причем его нулевое начальное условие общности измерений не ограничивает.

Тогда для синтеза закона управления (1.3) только состоянием объекта (1.6) И-критерий (1.4) не должен штрафовать сами измерения, поэтому он принимает вид

Аналогично изменяется и О-критерий (1.5):

Формально уравнения (1.6), (1.7) и критерии (1.8), (1.9) отличаются от системы уравнений (1.1) и критериев (1.4), (1.5) лишь независимостью определяющих их функций от переменной выхода $y$. Поэтому и весь алгоритм решения этой задачи может быть получен из результатов решения предыдущей простым удалением из них этой переменной.

2. Апостериорная плотность и достаточные координаты. Синтез абсолютно оптимального закона управления основан на использовании наиболее полной информации о возможных значениях случайного вектора ${{X}_{t}}$, которая получена в результате всех произведенных к моменту времени t измерений $Y_{0}^{t}$ и выполненных управлений $U_{0}^{t}$. Эта информация содержится в случайных значениях $\rho (t,x\,{\text{|}}\,Y_{0}^{t},U_{0}^{t})$ функционала условной плотности вероятности $\rho (t,x\,{\text{|}}\,y_{0}^{t},u_{0}^{t})$, определенной в результате регистрации измерений $Y_{0}^{t} = y_{0}^{t}$ и управлений $U_{0}^{t} = u_{0}^{t}$. Называемая поэтому апостериорной плотностью вероятности (АПВ), случайная функция

удовлетворяет сложному стохастическому интегродифференциальному уравнению (ИДУ) Стратоновича–Кушнера. Последнее является уравнением состояния абсолютно оптимального фильтра (АОФ) Стратоновича, который представляет собой динамическое устройство с распределенными параметрами. Поэтому практическое использование АПВ как функции его состояния весьма затруднительно.

Выход состоит в замене АПВ вектором зависящих только от времени t статистик ${{S}_{t}}$ неизмеряемого вектора ${{X}_{t}}$ в виде числовых характеристик АПВ, называемых достаточными координатами (ДК) [1]. Ими могут быть бесконечные последовательности соответствующих условных моментов, квазимоментов или кумулянтов [10, 11]. Каждая из них, являясь функционалом измерений и управлений, определяется по АПВ с помощью определенной производящей вектор-функции $\xi (x)$ как ее апостериорное среднее:

Например, производящая функция начальных моментов содержит все степени элементов усредняемого вектора $\xi (x) = {{[{{x}_{i}},\,\,{{x}_{i}}{{x}_{j}},\,{{x}_{i}}{{x}_{j}}{{x}_{k}},\, \ldots ]}_{{i,j,k, \ldots = \overline {1,n} }}}$. Далее символом “” над именами и других функций будем отмечать результаты их апостериорного усреднения:

а подобные интегралы считать определенными, берущимися по всему евклидову пространству соответствующей размерности:

Восстановление АПВ по ДК выполняется по формуле

где в качестве функции $\pi ( \cdot )$ выступает функциональный ряд Эджворта или Грама–Шарлье.

Второе преимущество ДК, кроме их зависмости только от времени, состоит в возможности “урезания” бесконечных последовательностей квазимоментов или кумулянтов волевым обнулением (отбрасыванием) старших из них, начиная с некоторого порядка $L = 3,4, \ldots $ Это позволяет получать приближенные решения задач, улучшая точность за счет увеличения порядка L. Недостатком такой процедуры является факториально быстрый рост размерности урезанного вектора $S_{t}^{{(L)}}$, определяемый по формуле [10]

где n – размерность вектора X_t.

Приведем уравнения, которым удовлетворяют ДК в двух рассматриваемых случаях.

2.1. Неполные измерения. Если объект управления определяется соотношениями (1.1), (1.2), то АПВ является решением следующего стохастического ИДУ в частных производных [4, 10, 11]:

с известным начальным условием и с естественными нулевыми граничными условиями на бесконечности для нее самой $\mathop {\lim }\limits_{\left| x \right| \to \infty } {\rm P}(t,x) = 0$ и для вектора потока ее вероятности $\Pi = a{\rm P} - 0.5{{[\nabla _{x}^{{\text{T}}}(Q{\rm P})]}^{{\text{T}}}}$. Здесь $K_{x}^{{y,u}}$ – прямой производящий дифференциальный оператор Фоккера–Планка–Колмогорова (ФПК) управляемого диффузионного процесса ${{X}_{t}}$, в обозначении которого верхние индексы подчеркивают зависимости его коэффициентов от соответствующих переменных, а нижний – переменную, по которой им осуществляется дифференцирование: тогда как $Q = B{{B}^{{\text{T}}}},$ $R = D{{D}^{{\text{T}}}},$ $\Sigma = B{{D}^{{\text{T}}}}$ – матрицы условных интенсивностей собственных и взаимных возмущений элементов X_t, Y_t вектора состояния объекта (1.1). При этом в уравнении (2.4) функции $a( \cdot ),\,\,c( \cdot ),\,\,Q( \cdot ),\,\,\Sigma ( \cdot )$ зависят от аргументов $(t,x,{{Y}_{t}},{{U}_{t}})$, а не зависят от переменной х только функции $\hat {c} = \hat {c}(t,Y_{0}^{t},U_{0}^{t}),\;R = R(t,{{Y}_{t}},{{U}_{t}})$.

Для нахождения соответствующего уравнения для вектора ДК, определяющего состояние АОФ Стратоновича, продифференцируем по времени его связь с АПВ (2.1) и подставим в нее (2.4). Получаем

или, учитывая независимость сомножителя ${{R}^{{ - 1}}}({{\dot {Y}}_{t}} - \hat {c})$ от переменной интегрирования,

Избавляясь здесь от частных производных АПВ по х вычислением первого и третьего интеграла по частям, с учетом упомянутых выше нулевых граничных условий для АПВ находим

где $K_{x}^{{*y,u}}$ – сопряженный к оператору $K_{x}^{{y,u}}$ обратный производящий оператор процесса X_t: причем результат его действия на вектор-функцию $\xi (x) = {{\left[ {{{\xi }^{{(i)}}}(x)} \right]}_{{i = 1,2, \ldots }}}$ следует понимать поэлементно как $K_{x}^{{*{\kern 1pt} y,u}}[\xi ] = {{[K_{x}^{{*y,u}}[{{\xi }^{{(i)}}}]]}_{{i = 1,2, \ldots }}}$, а ${{\xi }_{x}} = {{({{\nabla }_{x}}{{\xi }^{{\text{T}}}})}^{{\text{T}}}}$ – матрица Якоби первых частных производных вектор-функции $\xi (x)$. Поэлементная запись выражения (2.6) имеет вид и при отсутствии управления она совпадает с формулой для стохастического дифференциала апостериорного среднего ${{\hat {\xi }}^{{(i)}}}( \cdot )$, непосредственно полученной в [10, с. 401].

Наконец, заменяя АПВ функцией $\pi ( \cdot )$ ее восстановления (2.3) по ДК, получаем, что апостериорное среднее (2.2) из функционала прошлых измерений и управлений превращается в обычную функцию

а соотношение (2.6) принимает вид искомого уравнения состояния АОФ [4]:

Здесь функция смещения $h( \cdot )$ и коэффициент усиления измерения $\Theta ( \cdot )$ вычисляются по использующим исходные данные (1.1) формулам

Начальным же условием для уравнения (2.8) является, согласно (2.1), (2.5), случайная величина

В результате уравнение состояния АОФ из интегродифференциального (2.4) преобразовано в дифференциальное (2.8), что существенно облегчает решение задачи управления.

2.2. Стохастические измерения. Пусть теперь объект управления определяется уравнениями (1.6), (1.7). Тогда из-за независимости их функций $a( \cdot ),\,\,B( \cdot ),\,\,c( \cdot ),\,\,D( \cdot ),\,\,{{p}_{0}}( \cdot )$ от вектора измерений ${{Y}_{t}}$ уравнение состояния АОФ (2.8) и его начальное условие (2.9) упрощаются соответственно:

причем структурные функции этого уравнения определяются по формулам

3. Интервально-оптимальный регулятор. Представим основанные на применении ДК известные решения обоих задач оптимального управления с И-критериями [4].

3.1. Неполные измерения. Сначала рассмотрим задачу (1.1)–(1.4). Согласно (2.1), вектор ${{S}_{t}}$ информативно эквивалентен всем прошлым измерениям $Y_{0}^{t}$ и управлениям $U_{0}^{t}$, поэтому текущее управление U_t можно искать не как их инерционный функционал (1.3), а как позиционную версию регулятора Мортенсена в виде безынерционной зависимости управления от последнего измерения и текущего вектора ДК:

Тогда, исключая переменную U_t из уравнений (1.1), (2.8), получим замкнутую систему из трех уравнений Ито:

Здесь функции сноса и диффузии третьего уравнения имеют вид

а верхним индексом “$u$” отмечены сложные функции своих аргументов, содержащие функцию выхода $u( \cdot )$ регулятора (3.1), например

Из (3.2) следует, что случайный процесс $({{X}_{t}}{\text{,}}{{Y}_{t}}{\text{,}}{{S}_{t}})$ является марковским со следующей вектор-функцией сноса $\omega ( \cdot )$ и матричной функцией диффузии $\Upsilon ( \cdot )$:

Его совместная плотность вероятности $r(t,x,y,s)$ удовлетворяет дифференциальному уравнению ФПК:

где $\nabla = {{\left( {\nabla _{x}^{{\text{T}}},\nabla _{y}^{{\text{T}}},\nabla _{s}^{{\text{T}}}} \right)}^{{\text{T}}}}$ – оператор общего градиента, или соответствующему интегродифференциальному тождеству ФПК [12, 13]: в котором сопряженный к $K_{{xys}}^{u}$ обратный производящий оператор $K_{{xys}}^{{*u}}$ этого же процесса определим более подробным выражением:

Начальное значение совместной плотности $r( \cdot )$, согласно (1.2), (2.9), задано частично:

где $\delta ( \cdot )$ – функция Дирака, а плотность ${{q}_{0}}(y)$ является произвольной.

Подобным соотношениям, но с другим начальным условием удовлетворяет и характеризующая переход этого процесса за интервал времени $[t,\theta ]$ из состояния $({{X}_{t}} = x,{{Y}_{t}} = y,{{S}_{t}} = s)$ в состояние $({{X}_{\theta }} = \tilde {x},{{Y}_{\theta }} = \tilde {y},{{S}_{\theta }} = \tilde {s})$ плотность вероятности перехода $p\left( {\theta ,\tilde {x},\tilde {y},\tilde {s}\,{\text{|}}\,t,x{\text{,}}y{\text{,}}s} \right)$. Она позволяет определить функцию будущих априорных средних потерь $w(t,x{\text{,}}y{\text{,}}s)$ как ту часть минимизируемого И-критерия общих потерь (1.4), которые будут получены за оставшееся время управления $\theta \in [t,T]$ при старте из любого текущего состояния $({{X}_{t}} = x,$ ${{Y}_{t}} = y,$ ${{S}_{t}} = s)$:

Однако эта функция зависит от значения х неизмеряемого вектора ${{X}_{t}}$. Не зависящим от него является ее апостериорное среднее:

которое удовлетворяет следующему уравнению Беллмана [4]: с конечным условием в виде апостериорного среднего терминального члена критерия и следующими коэффициентами:

Однако, как обычно, процедура применения уравнения Беллмана (3.8) требует выполнения двух весьма сложных операций. Во-первых, необходимо найти частный минимум по переменной u функции $f( \cdot )$ его правой части:

Во-вторых, следует решить в обратном времени, учитывая конечное условие (3.9), полученное в результате уравнение в частных производных, найдя тем самым функцию Беллмана $W(t,y{\text{,}}s)$. Наконец, подставляя ее в функцию частного минимума, получим искомую функцию безынерционной версии регулятора Мортенсена:

Подчеркнем, что уравнение АОФ Стратоновича (2.8) при синтезе этого регулятора решать не требуется. Оно используется только на следующем этапе реализации оптимального устройства управления, поставляя информацию регулятору Мортенсена (3.1) для получения управления U_t и учитывая это управление в своих структурных функциях $h( \cdot ),$ $\Theta ( \cdot ),$ $\hat {c}( \cdot )$ для соответствующей коррекции своего состояния S_t.

3.2. Стохастические измерения. Если же имеет место более простая задача управления (1.6)–(1.8), то из-за отсутствия в ней влияния измерения ${{Y}_{t}}$ на состояние X_t объекта и на значение И‑критерия J можно, в отличие от (3.1), искать управление без непосредственного учета измерения как функцию только ДК:

Тогда, учитывая соответствующее уравнение АОФ (2.10), вместо трех уравненй Ито (3.2) удается ограничиться рассмотрением только двух:

с такими функциями второго из них:

Поэтому процесс $({{X}_{t}}{\text{,}}{{S}_{t}})$ марковский, а его плотность вероятности $r(t,x,s)$ удовлетворяет аналогичному (3.5) тождеству ФПК:

с полностью заданным начальным условием $r(0,x,s) = {{\rho }_{0}}(x)\,\delta \,(s - {{\bar {\xi }}_{0}})$ и с оператором

В результате уравнение Беллмана (3.8) и его конечное условие (3.9) тоже принимают более простой вид

Однако процедура его решения остается по-прежнему весьма сложной. Аналитически оно решено только в весьма частном случае ЛКГ-задачи неограниченного управления, которая будет рассмотрена в разд. 5.

4. Оперативно-оптимальный регулятор. Приступим теперь к решению двух новых задач синтеза аналогов регулятора Мортенсена, оптимальных в смысле изменяющихся во времени О-критериев качества (1.5) или (1.9).

4.1. Неполные измерения. Снова рассмотрим парную марковскую модель объекта управления (1.1) с начальными условиями (1.2):

для которой уравнение АОФ имеет вид (2.8) с начальным условием (2.9). Для этого объекта также будем искать уравнение безынерционного регулятора (3.1): но от последнего потребуем оптимальности в смысле О-критерия (1.5), который в результате подстановки в него выражения (4.1) принимает вид

В таком случае вместо метода динамического программирования приходится использовать метод припасовывания, состоящий в последовательной оптимизации сначала стартового значения критерия

которое в данном случае от выбора управления не зависит, а затем и приращения этого критерия за каждый сколь угодно малый промежуток времени $[t,t + \Delta t]$, $\Delta t \downarrow 0$. Последнее, как показано в [7, 13], сводится к минимизации скорости изменения этого функционала в любой момент времени: что известно как условие локальной оптимальности. Заметим, что вследствие неотрицательности самого критерия ${{I}_{t}} \geqslant 0$ эта скорость ограничена снизу ${{\dot {I}}_{t}} > - \infty $, так что ее минимум существует.

Для нахождения зависимости ${{\dot {I}}_{t}}$ от искомой функции регулятора $u( \cdot )$ представим критерий (4.2) через плотность вероятности $r(t,x,y,s)$ случайных аргументов усредняемых в нем функций потерь:

Здесь для краткости символом $\left\langle {\eta ,r} \right\rangle $ обозначен интеграл от произведения функций $\eta ( \cdot )$ и $r( \cdot )$, который в данном случае имеет смысл математического ожидания (среднего значения) первой из них:

Дифференцируя равенство (4.4) по времени, имеем ${{\dot {I}}_{t}} = \langle {{\varphi }^{u}},r\rangle + d{{\left\langle {\psi ,r} \right\rangle } \mathord{\left/ {\vphantom {{\left\langle {\psi ,r} \right\rangle } {dt}}} \right. \kern-0em} {dt}}$ или, используя во втором слагаемом этой суммы тождество ФПК (3.5), находим вид производной критерия:

Искомая функция входит в это выражение только в виде ее сечения $u(t, \cdot )$ при фиксированном t. Так как слагаемое $\left\langle {{{\partial \psi } \mathord{\left/ {\vphantom {{\partial \psi } {\partial t}}} \right. \kern-0em} {\partial t}},\;r} \right\rangle $ от него не зависит, то, согласно (4.3), достаточно минимизировать функционал

Учитывая в нем вид (3.6) оператора $K_{{xys}}^{{*u}}$ и независимость дифференцируемой им функции текущих потерь $\psi (t,x,y)$ от переменной s, получаем явное выражение

Так как искомая функция $u(t,y,s)$ от одной из трех переменных интегрирования не зависит, то этот функционал можно упростить, заменив совместную плотность вероятности $r( \cdot )$ случайного процесса $({{X}_{t}}{\text{,}}{{Y}_{t}}{\text{,}}{{S}_{t}})$ произведением маргинальной (частной) плотности $q( \cdot )$ случайных величин ${{Y}_{t}},{{S}_{t}}$ на соответствующую условную плотность $\rho ( \cdot )$:

Действительно, представляя тройной интеграл совместного среднего (4.5) в виде повторного, состоящего из внутреннего интеграла усреднения по условной плотности и внешнего интеграла усреднения по маргинальной плотности

получаем, что функционал (4.6) принимает вид маргинального среднего от следующей подинтегральной функции условного среднего:

Тогда из свойства монотонности операции интегрирования и неотрицательности плотности вероятности $q( \cdot ) \geqslant 0$ следует [7, 13], что для отыскания минимума функционала (4.6) достаточно найти минимум его маргинально усредняемой функции условного среднего $\zeta ( \cdot )$ по одному из ее аргументов при любых значениях других:

Однако минимизируемая здесь функция (4.8) требует знания условной плотности вероятности $\rho ( \cdot )$. Хотя она формулами (4.7) и выражается через совместную плотность $r( \cdot )$, которая определяется как решение задачи Коши (3.4), (3.7) для уравнения ФПК или соответствующего ему тождества (3.5), но частичная неопределенность начальных условий (1.2) объекта управления (1.1) делает нахождение плотности $r( \cdot )$ в общем случае невозможным.

Поэтому при неопределенности плотности вероятности ${{q}_{0}}(y)$ начального измерения ${{Y}_{t}}$ следует решать, вместо уравнения ФПК, полностью определенную задачу Коши для ИДУ относительно условной плотности $\rho ( \cdot )$ [13]. Оно получено декомпозицией уравнения ФПК (3.4) на независимое уравнение для плотности $\rho ( \cdot )$ и зависящее от нее уравнение для маргинальной плотности $q( \cdot )$. В рассматриваемом здесь случае это уравнение и его начальное условие имеют вид

причем в коэффициенты его оператора входят интегральные функции условного среднего ${{\bar {c}}^{u}},\,\,{{\bar {e}}^{u}}$, обозначенные, в отличие от (2.7), чертой сверху:

Таким образом, синтез оперативно-оптимального регулятора (4.1) сведен к задаче параметрического нелинейного программирования (4.9), но минимизируемая в ней функция $\zeta ( \cdot )$ с течением времени изменяется не только из-за нестационарности исходных функций объекта управления (1.1) и оперативного критерия (1.5), но и благодаря изменению условной плотности $\rho ( \cdot )$. Динамика последней определяется задачей Коши (4.10), которая функцию $u( \cdot )$ использует. Оперативность этой процедуры, в отличие от решения уравнения Беллмана (3.8), состоит в неиспользовании информации о будущем поведении объекта.

4.2. Стохастические измерения. Теперь рассмотрим скрытую марковскую модель объекта управления (1.6), (1.7):

Снова будем искать закон управления (3.10):

но оптимальный в смысле О-критерия (1.9)

В этом случае уравнение состояния АОФ имеет вид (2.10), а тождество ФПК для совместной плотности вероятности $r(t,x,s)$ – (3.12).

Тогда, повторяя рассуждения из разд. 4.1, из (4.8), (4.9) получаем, что построение О-регулятора также сводится к параметрической минимизации:

но более простой функции условного среднего:

Здесь условная плотность $\rho ( \cdot )$ определяется либо по получаемой решением задачи Коши для тождества ФПК (3.12) совместной плотности $r( \cdot )$ как отношение

либо находится из своего уравнения, которое является частным случаем (4.10) и имеет вид [13]

5. Пример ЛКГ-задачи. Ограничимся более простым вариантом случайных измерений. Пусть уравнения объекта (1.6) и измерителя (1.7) линейные:

начальное состояние объекта X₀ гауссовское с плотностью вероятности нормального закона распределения $N( \cdot )$ при математическом ожидании $m_{0}^{x}$ и ковариации $D_{0}^{x}$, управление не ограничено ${{U}_{t}} \in \Omega = {{\mathbb{R}}^{l}}$, а критерии его оптимальности (1.8), (1.9) являются квадратическими: с весовыми матрицами $\Phi (t),\Upsilon (t) > 0$, ${\rm X}(t),\Pi \geqslant 0$.

Исходные соотношения этой задачи отличаются от общих выражений линейностью функций сноса объекта и измерителя $a(t,x,u) = A(t)x + K(t)u$, $с(t,x,u) = C(t)x + M(t)u$, зависимостью интенсивностей шумов только от времени $Q(t,x,u) = Q(t)$, $R(t,u) = R(t)$, $S(t,x,u) = S(t)$, гауссовостью начальной плотности вероятности ${{p}_{0}}(x) = N\left( {x\,{\text{||}}\,m_{0}^{x},D_{0}^{x}} \right)$, а также квадратичностью интегрантов и терминантов обоих критериев:

Далее очевидные зависимости параметров системы и критериев от времени t будем опускать.

5.1. Линейный фильтр Калмана–Бьюси. Из-за линейности уравнений (5.1), (5.2) и гауссовости как начального состояния X₀, так и белого возмущения ${{V}_{t}}$, АПВ (2.3) является гауссовской $\pi (t,x,{{S}_{t}}) = N(x\,{\text{||}}\,{{\hat {X}}_{t}},{{P}_{t}})$, так что вектор кумулянтных или квазимоментных ДК состоит только из двух компонент ${{S}_{t}} = ({{\hat {X}}_{t}},{{P}_{t}})$. При этом случайная оценка ${{\hat {X}}_{t}}$ состояния X_t определяется управляемым стохастическим уравнением Ито:

а детерминированная матрица ковариаций ошибки оценивания ${{P}_{t}} = \operatorname{cov} ({{X}_{t}} - {{\hat {X}}_{t}})$ находится из не зависящего ни от оценки ${{\hat {X}}_{t}}$, ни от управления ${{U}_{t}}$ прямого уравнения Риккати:

Последнее обстоятельство делает матрицу ${{P}_{t}}$ заранее известной функцией времени. Это позволяет исключить ее из состава ДК, считая теперь ${{S}_{t}} = {{\hat {X}}_{t}}$, и искать управление вместо (3.10) как функцию только от оценки

При этом уравнением состояния фильтра (2.10) становится только уравнение для оценки (5.5), так что далее

5.2. Интервальная теорема разделения. Приведем известный результат [4, 8]. Оптимизируем функцию (5.7) по квадратическому И-критерию (5.3), для чего воспользуемся уравнением Беллмана (3.13). Оно теперь принимает вид

в котором

В уравнении (5.8) минимизируемая по переменной $u \in {{\mathbb{R}}^{l}}$ функция является квадратической:

и (так как $\Phi > 0$) достигает минимума в точке

Подставляя это в (5.8), имеем обратную задачу Коши для уравнения в частных производных:

Покажем, что его решением является смещенная по времени квадратическая форма

а формула (5.9) принимает вид

Действительно, подставляя производные ${{\partial W} \mathord{\left/ {\vphantom {{\partial W} {\partial t}}} \right. \kern-0em} {\partial t}} = 0.5[\dot {\sigma } + {{\hat {x}}^{{\text{T}}}}\dot {L}\hat {x}],$ ${{W}_{{\hat {x}}}} = L\hat {x},$ ${{W}_{{\hat {x}\hat {x}}}} = L$ в равенство (5.10) и приводя в нем подобные члены, получаем два алгебраических тождества:

которые справедливы при любых значениях переменной $\hat {x}$. Приравнивая в них свободные члены, находим уравнение для величины смещения $\sigma (t)$: а из равенства квадратичных форм, представив одну из них в симметрическом виде $2{{\hat {x}}^{{\text{T}}}}({{A}^{{\text{T}}}}L)\hat {x} = {{\hat {x}}^{{\text{T}}}}({{A}^{{\text{T}}}}L)\hat {x} + {{\hat {x}}^{{\text{T}}}}{{({{A}^{{\text{T}}}}L)}^{{\text{T}}}}\hat {x}$, имеем известное обратное уравнение Риккати для матрицы коэффициентов $L(t)$:

В результате из (5.7), (5.11) следует, что интервально-оптимальным в рассматриваемой ЛКГ-задаче является линейный регулятор

часть $L(t)$ матрицы коэффициентов которого $F(t)$ вычисляется заранее путем решения в обратном времени уравнения (5.12). Для этого на всем плановом отрезке управления $t \in [0,T]$ должны быть известны матрицы $A(t),K(t)$ уравнения состояния объекта (5.1) и весовые матрицы $\Phi (t)$, ${\rm X}(t)$ квадратичного критерия (5.3), а также его терминальная матрица $\Pi $.

Отметим, что матрица усиления $F(t)$ оценки ${{\hat {X}}_{t}}$ в (5.13) совпадает с таковой у позиционного регулятора ${{u}_{t}} = u(t,{{x}_{t}})$, оптимального в детерминированной линейно-квадратической задаче:

с соответствующим (5.3) интервальным критерием оптимальности так как в этом случае ${{u}_{t}} = - F(t){{x}_{t}}$. Это обстоятельство и позволило называть инерционный закон стохастического управления (5.5), (5.13) термином “разделенный”. Итак, справедливо следующее утверждение.

Теорема 1 [8]. В интервальной ЛКГ-задаче (5.1)–(5.3) абсолютно оптимальное устройство управления (1.3) разделяется на линейный фильтр Калмана–Бьюси (5.5) с параметром, оперативно получаемым по (5.6), и интервально-оптимальный линейный детерминированный регулятор (5.13), настраиваемый на весь отрезок управления по (5.12).

5.3. Оперативная теорема разделения. Если же оптимизировать функцию (5.7) по квадратическому О-критерию (5.4), то достаточно найти частный минимум (4.11) функции условного среднего (4.12). В данном случае она имеет вид

в котором от переменной $u \in {{\mathbb{R}}^{l}}$ зависят только два слагаемых: где $\bar {x}(t,\hat {x}) = \int {x\rho (t,x\,{\text{|}}\,\hat {x})dx} $ – условное среднее. Так как и здесь $\Phi > 0$, то минимум этой квадратической функции достигается в точке

При этом из линейности уравнений объекта (5.1), измерителя (5.2) и фильтра (5.5), а также из гауссовости их возмущения и начальных условий следует, что совместная плотность вероятности $r(t,x,\hat {x})$ является гауссовской:

а ее параметры могут быть определены из уравнений метода моментов Пугачева–Дункана. Тогда по теореме о нормальной корреляции [14] гауссова и условная плотность а ее среднее и ковариация находятся по известным формулам где $ \otimes $ – символ псевдообращения матрицы по Муру–Пенроузу. Используя здесь известные свойства несмещенности оценки ${\rm M}[{{\hat {X}}_{t}}] = {\rm M}[{{X}_{t}}]$ и ее ортогональности к ошибке оценивания $\operatorname{cov} ({{X}_{t}} - {{\hat {X}}_{t}},{{\hat {X}}_{t}}) = 0$ [13, 15], имеем равенства $m_{t}^{{\hat {x}}} = m_{t}^{x}$, $D_{t}^{{x\hat {x}}} = D_{t}^{{\hat {x}}}$. В результате предыдущие общие соотношения существенно упрощаются: формула (5.15) принимает вид $u(t,\hat {x}) = - {{\Phi }^{{ - 1}}}{{K}^{{\text{T}}}}\Upsilon \,\hat {x}$, а из (5.7) окончательно получаем

Таким образом оперативно-оптимальным в ЛКГ-задаче тоже является линейный регулятор, но матрица его коэффициентов полностью известна из исходных данных. Действительно, сравнивая полученное соотношение (5.16) с (5.13), видим, что место определяемой из уравнения Риккати (5.12) матрицы $L(t)$ здесь заняла заданная весовая матрица $\Upsilon (t)$ терминального члена О-критерия (5.4). В этом состоит принципиальное отличие данного оперативно-оптимального случая от рассмотренного выше интервально-оптимального, когда для синтеза регулятора еще нужно решать и обратное уравнение Риккати (5.12), используя для этого дополнительную информацию о будущем.

Остается отметить, что в детерминированной задаче при управлении линейным объектом (5.14) по соответствующему (5.4) О-критерию

оптимальным является подобный (5.16) закон позиционного управления ${{u}_{t}} = - G(t){{x}_{t}}$ [9]. Итак, доказано следующее утверждение.

Теорема 2. В оперативной ЛКГ-задаче (5.1), (5.2), (5.4) абсолютно оптимальное устройство управления (1.3) разделяется на линейный фильтр Калмана–Бьюси (5.5), (5.6) и оперативно-оптимальный линейный детерминированный регулятор (5.16) с известной матрицей усиления.

Заключение. Поставлена и решена новая задача синтеза оперативно получаемого закона оптимального в среднем управления нелинейным стохастическим динамическим объектом по его измеряемому выходу. Она обобщает задачу синтеза локально-оптимального управления детерминированным объектом по измерениям его состояния [9]. При этом также применяется переменный во времени критерий оптимальности, который минимизирует потери, накопленные к текущему моменту времени, и не учитывает их будущие значения. Это позволяет не принимать во внимание и возможные в будущем изменения параметров и структуры управляемого объекта.

Для получения управления используется абсолютно вся статистическая информация о его случайном состоянии, которую дают проведенные измерения. Сосредоточенная в известном векторе апостериорных достаточных координат, получаемых с помощью инерционного нелинейного фильтра Стратоновича, она позволяет искать управление в виде функции этих координат. Следовательно, задача оптимизации управления сводится к синтезу такого безынерционного регулятора. Но построение традиционного интервально-оптимального регулятора, который обеспечивает минимизацию всех потерь на заданном плановом отрезке времени как прошлых так и будущих, требует априорного синтеза регулятора путем решения в обратном времени уравнения Беллмана.

Показано, что синтез предлагаемого регулятора может быть выполнен оперативно, в темпе со временем, решением задачи Коши для уравнения типа ФПК и задачи нелинейного программирования. Процедура синтеза продемонстрирована на примере ЛКГ-задачи, в результате чего доказана новая оперативная версия известной теоремы разделения.