Известия РАН. Теория и системы управления, 2019, № 5, стр. 20-31

Введение. Метод статистических (вероятностных) моментных характеристик (коротко, метод моментов), описываемый в настоящей работе, не является широко распространенным подходом к решению стохастических задач оптимального управления. Это связано с тем, что область его использования обычно представляется достаточно узкой. Тем не менее хорошо известна применимость метода для решения линейных задач оптимизации с управлением в виде линейного регулятора или в виде функции времени по квадратичному функционалу качества, что вполне продемонстрировано в работах [1, 2], как для случая заданного конечного временного интервала функционирования системы, так и на бесконечном горизонте. Авторы пользовались методом моментов для получения достаточных условий оптимальности в стохастических задачах оптимального управления линейными и квазилинейными системами [3] с мультипликативными шумами и нелинейными по управлению коэффициентами на конечном временном интервале. Суть метода заключается в том, чтобы свести исходную стохастическую задачу оптимального управления к детерминированной задаче оптимизации моментных характеристик (моментов) случайного процесса, описывающего эволюцию состояния управляемой системы. После этого к полученной детерминированной задаче может применяться любая из известных процедур поиска оптимального управления (в частности, авторы использовали в своих работах принцип максимума Л.С. Понтрягина [4] и подход Лагранжа–Понтрягина, разработанный В.Ф. Кротовым и В.И. Гурманом [5]).

Из такого краткого описания ясно, что метод моментных характеристик можно разумно применить только тогда, когда выполнены два основных требования: управление моментами позволяет достичь цели управления, а сами моменты в принципе могут быть найдены интегрированием некоторой разрешимой системы дифференциальных уравнений. Если эти требования оказываются выполненными для некоторого класса проблем, то метод становится хорошей альтернативой различным стохастическим принципам максимума [2, 6–8] и методу функций Ляпунова–Лагранжа [9, 10] в вопросе решения задач этого класса, так как не требует существования и гладкости плотности вероятности или работы с вероятностными мерами или случайными процессами.

Еще одним отличительным свойством метода является его совершенно естественное сужение на класс детерминированных оптимизационных проблем. Детерминированные задачи оптимального управления, с точки зрения метода моментов, представляют собой попросту частный случай стохастических задач, в то время как некоторые подходы (например, основанные на работе с плотностью вероятности) к таким задачам в явном виде неприменимы, а для их использования требуется вводить в рассмотрение дополнительные обобщенные конструкции (дельта-функции) и оперировать с ними [2]. При этом метод моментных характеристик в отсутствие случайностей в задаче сводится к работе с математическим ожиданием процесса, т.е. к самому исходному детерминированному уравнению. Точно также естественно обрабатываются и промежуточные ситуации, например, детерминированная система управления со случайными начальными данными или смешанная система, содержащая как стохастические, так и обыкновенные дифференциальные уравнения (для многих альтернативных методов [6, 7] такие системы подлежат непременному разделению на случайную и неслучайную подсистемы с их последующим обособленным анализом).

В данной работе предлагается расширить границы применимости метода моментов, оставаясь, тем не менее, в рамках стохастических задач оптимального управления на конечном интервале времени с квадратичным функционалом качества и управляемой системой диффузионного типа.

1. Метод моментных характеристик. Отложим строгую математическую формулировку основных понятий до разд. 2 и объясним суть метода на простом примере. Пусть поведение управляемой динамической системы на интервале времени $[{{t}_{0}};{{t}_{1}}]$ описывается линейным стохастическим уравнением Ито (уравнением диффузии) [2, 8, 11–18]

где x(t) – n-мерный вектор состояния (случайный процесс), $u(t)$ – $m$-мерный вектор управления (детерминированная функция), $w(t)$ – стандартный винеровский процесс.

Требуется подобрать процесс управления (пару функций x(t), $u(t)$) с целью минимизации значения квадратичного функционала качества:

Функции $A(t), B(t), C(t), D(t), S(t), E(t)$ и коэффициент Q в формулах (1.1), (1.2) – неслучайные матрицы соответствующих размеров.

Линейно-квадратичная по x структура функционала качества является естественным практическим требованием, когда управлять динамической системой нужно для минимизации отклонения от заданной траектории или от заданного конечного положения при условии минимального расхода ресурсов. Везде далее будет ставиться задача оптимального управления с функционалом данной структуры.

Основная идея метода моментных характеристик состоит в следующем. Применим оператор математического ожидания $\mathbb{E}$ в формуле (1.2). Тогда функционал качества преобразуется к виду

где $m(t) = \mathbb{E}[x(t)]$ и $N(t) = \mathbb{E}[x(t){{x}^{{\text{T}}}}(t)]$ – вектор математического ожидания и матрица вторых начальных моментов процесса $x(t)$, tr – оператор следа квадратной матрицы. Таким образом, при минимизации значения функционала (1.2) фактически минимизируется значение функционала (1.3) и наоборот. Следовательно, для решения задачи синтеза оптимального управления вовсе не обязательно опираться на решение уравнения (1.1) в виде случайного процесса x(t) (хотя всегда есть возможность вернуться к нему позднее), и даже информация о конечномерных распределениях (уравнение для вероятностой меры [9, с. 198] или уравнение Фоккера–Планка–Колмогорова [11, с. 470] для плотности вероятности) является избыточной. Все что на самом деле представляет интерес – это эволюция первых двух моментных характеристик процесса x(t), т.е. уравнения для функций $m(t)$ и $N(t)$.

Для рассматриваемой системы (1.1) эти уравнения хорошо известны [2, 7, 10, 13–15, 18]:

здесь ${{m}_{0}} = \mathbb{E}[{{x}_{0}}], {{N}_{0}} = \mathbb{E}[{{x}_{0}}x_{0}^{{\text{T}}}]$.

Формулы (1.3)–(1.5) составляют структуру (детерминированной) задачи оптимального управления, которую на самом деле нужно решить для определения ответа в стохастической задаче. Возникает следующий вопрос: если задача для моментов будет решена, то действительно ли получится решение исходной задачи? На самом деле, это не совсем так. Решение задачи (1.3)–(1.5) представляет собой тройку $(\bar {m}(t),\bar {N}(t),\bar {u}(t))$, в то время как изначально нужно было определить пару $(\bar {x}(t),\bar {u}(t))$, здесь черта обозначает оптимальное значение. Но эта проблема может быть легко устранена. Из приведенных построений ясно, что оптимальное управление $\bar {u}(t)$ для обеих задач совпадает, а это означает, что для получения оптимального случайного процесса $\bar {x}(t)$ можно подставить $\bar {u}(t)$ в уравнение Ито и осуществить приближенное численное моделирование его решения (например, методом Эйлера [14, с. 224]) или, если это не вызывает затруднений, решить его точно. В частности, линейное уравнение (1.1) при заданном u(t) имеет единственное решение [18, с. 141]

где $\Phi (t)$ – фундаментальная матрица, удовлетворяющая детерминированному матричному уравнению здесь и далее I – единичная матрица соответствующих размеров. Проблема с явной записью решения x(t) в этом случае полностью эквивалентна проблеме записи решений обыкновенных дифференциальных уравнений, т.е. запись возможна только в ряде частных случаев (например, задача является одномерной, или система линейна, как в (1.1), и матрицы системы постоянны, или можно установить периодичность некоторых из этих матриц и т.п. [18, 19]).

Заметим, что решать стохастическое уравнение Ито нужно один раз в самом конце и только в том случае, если требуется определить поведение случайного процесса $x$ при оптимальном управлении. Для поиска самого оптимального управления достаточно детерминированных функций и соотношений (1.3)–(1.5).

Сами процедуры синтеза оптимального управления, как было сказано выше, могут опираться на любые известные методы. Одна из таких процедур (в применении к более сложной системе) подробно описана в статье [3], где также приведены модельные примеры и обсуждаются различные аспекты решения. Не будем здесь долго останавливаться на этом вопросе, отметим лишь, что матричная структура уравнения (1.5) может доставить определенные неудобства в процессе решения, но можно свести ее к векторной, воспользовавшись (как это сделано в [3]) процедурой векторизации системы (1.4)–(1.5) либо модифицировать классические методы детерминированной теории управления для работы с матричными уравнениями [20]. Последний подход использован для решения чуть более общей задачи вида (1.1)–(1.2) в работе [1].

2. Область применимости метода. В первую очередь отметим еще раз, что метод моментов позволяет без каких-либо изменений использовать полученные формулы для решения детерминированных задач оптимизации. Действительно, из формул (1.1), (1.4), (1.5) видно, что при отсутствии шумов в линейной системе и при заданном неслучайном начальном условии решением задачи по методу моментов будет тройка $(\bar {m}(t) = \bar {x}(t), \overline N (t) = \bar {x}(t){{\bar {x}}^{{\text{T}}}}(t), \bar {u}(t))$, которая дает явное решение исходной проблемы. Таким образом, область его применимости выделяет одновременно и среди детерминированных, и среди стохастических (а также и среди смешанных) задач некоторый класс схожих по структуре проблем. В [3] показано, что к этому классу относятся линейные (см. предыдущий раздел) и квазилинейные системы с мультипликативными шумами и нелинейными по управлению коэффициентами. Последние, к слову, получаются и при поиске оптимального управления с неполной обратной связью в виде линейного регулятора для линейной или квазилинейной системы (см. [21, разд. 6]).

Вообще говоря, использование в качестве управления исключительно неслучайной функции времени играет достаточно значительную роль. Несмотря на то, что такая условность несколько уменьшает общность задачи, она же позволяет ее увеличить за счет весьма свободного выбора коэффициентов стохастического уравнения, так как в этом случае любая функция времени и управления заведомо является полностью детерминированной.

Опишем в данном разделе требования к управляемым системам так, чтобы иметь возможность пользоваться для их оптимизации методом моментов, а затем с помощью этих требований очертим круг подходящих задач. Но для начала строго сформулируем основные понятия.

Управляемой динамической системой будем называть уравнение Ито вида

где $t \in T = [{{t}_{0}};{{t}_{1}}]$ – конечный интервал времени функционирования системы; $x(t) \in {{\mathbb{R}}^{n}}$ – состояние системы (случайная величина при каждом $t \in T$); $t \to u(t):T \to U \subset {{\mathbb{R}}^{m}}$ – неслучайная функция программного управления; $w(t)$ – стандартный $\nu $-мерный винеровский процесс. Функция $u( \cdot )$ считается ограниченной и измеримой, а измеримые функции $f( \cdot )$ и $g( \cdot )$ (вектор сноса и матрица диффузии) должны быть такими, что существует, по крайней мере, слабое решение [11, с. 498] уравнения (2.1) на T. Случайная величина x₀ и процесс $w(t)$ предполагаются независимыми, x₀ имеет известное математическое ожидание m₀ и ковариационную матрицу K₀.

Может показаться, что возможные слабые решения уравнения (2.1) привносят излишнюю сложность в постановку задачи. Однако, как было отмечено в разд. 1, численное построение траектории системы является удобным способом практического получения реализаций случайного процесса x(t) при заданной функции u(t), и с этой точки зрения понятие слабого решения вполне естественно [8, с. 98], так как при моделировании шум в системе не задается заранее, а строится совместно с траекторией.

Через $\mathcal{D}$ обозначим множество допустимых процессов управления $z = (x( \cdot ),u( \cdot ))$, удовлетворяющих условию: при заданном управлении u(t) случайный процесс x(t) – решение уравнения (2.1) для некоторого винеровского процесса w(t). Предполагается, что при любом заданном $u(t)$ имеется возможность подобрать $w(t)$ и x(t) так, чтобы пара $(x( \cdot ),u( \cdot ))$ была допустимым процессом управления. Последнее допущение является важным для перехода от решения задачи оптимизации моментов обратно к решению стохастической задачи оптимизации.

Для процесса $z \in \mathcal{D}$ определим функционал качества управления:

где при каждом $(t,u) \in T \times U$ выполнены условия $D(t,u) \succcurlyeq 0, Q \succcurlyeq 0$, $D(t,u),$ Q – симметрические матрицы. Предполагается, что функционал (2.2) определен для любого элемента $z \in \mathcal{D}$. Цель управления состоит в минимизации функционала качества на множестве $\mathcal{D}$.

Важно отметить, что метод моментов призван свести стохастическую (в общем случае) задачу оптимизации к конкретной детерминированной задаче, после чего ее решение может основываться на весьма произвольном подходе. В зависимости от этого подхода на функции $f, g, D, S$ и E могут быть наложены различные дополнительные требования. Так, например, если для решения детерминированной задачи будут применяться необходимые условия первого порядка (стационарность гамильтониана в принципе максимума), то потребуется их дифференцируемость по переменной u, если же будут использованы достаточные условия второго порядка (метод Лагранжа–Понтрягина и его вариации, см. [3, 5]), то будет нужна и дополнительная гладкость. Кроме того, в практических приложениях зачастую удобнее бывает заменить условие “почти-непрерывности” в виде измеримости по $t$ на обыкновенную непрерывность.

Сравнение функционалов (1.2) и (2.2) показывает, что принципиальная линейно-квадратичная структура по $x$ осталась неизменной, так что имеется возможность снова переписать формулу (2.2) в виде

Теперь все готово для формулировки следующего основного вопроса.

Пусть существует целое число $L \geqslant 2$, такое, что для любого целого положительного $l \leqslant L$ все l-е начальные моменты процесса x(t) могут быть найдены из решения системы обыкновенных дифференциальных уравнений вида

где $E_{{{{l}_{1}},\;...,\;{{l}_{n}}}}^{l}(t) = \mathbb{E}[x_{1}^{{{{l}_{1}}}}(t) \cdot ... \cdot x_{n}^{{{{l}_{n}}}}(t)]$, ${{l}_{1}},\;...,\;{{l}_{n}},{{L}_{1}},\;...,\;{{L}_{n}} \geqslant 0$ – целые числа, ${{l}_{1}} + ... + {{l}_{n}} = l, {{L}_{1}} + ... + {{L}_{n}}$ = L. Какую структуру в этом случае могут иметь функции  f и $g$ в уравнении (2.1)?

Понятно, что речь в этом вопросе идет в первую очередь о структуре функций $f(t,x,u)$ и $g(t,x,u)$ относительно переменной x. По совокупности переменных $(t,u)$ при данном исследовании достаточно потребовать измеримости и ограниченности на $T \times U$, чтобы все полученные дифференциальные уравнения имели решения. Понятно также, что в первую очередь интерес представляет возможность вычислить все моменты до второго порядка включительно, но если система уравнений для моментных характеристик будет иметь вид (2.4) при некотором $L > 2$, то это все равно можно сделать. Здесь ничего не было сказано о начальных условиях к уравнениям моментов, в то время как они несомненно нужны для определения решения системы. Тем не менее, пока для простоты будем считать, что случайная величина ${{x}_{0}}$ имеет столько конечных моментов, сколько может понадобиться так, чтобы эта проблема была устранена, и вернемся к ней в конце данного раздела.

Хорошо известно, что для определения уравнений, которым удовлетворяют функции $E_{{{{l}_{1}},\;...,\;{{l}_{n}}}}^{l}(t)$, можно воспользоваться формулой Ито [2, 8, 11–18]:

для $\varphi (t,x) = x_{1}^{{{{l}_{1}}}} \cdot ... \cdot x_{n}^{{{{l}_{n}}}}$, а затем применить к левой и правой части оператор математического ожидания (в этой формуле $\partial \varphi {\text{/}}\partial x$ и ${{\partial }^{2}}\varphi {\text{/}}\partial {{x}^{2}}$ означают вектор-строку первых и матрицу вторых частных производных соответственно). При этом также известно [2, 13, 15, 18], что в общем случае каждое из полученных таким образом уравнений будет содержать в правой части моменты более высокого порядка, чем в левой (а значит, совокупная размерность системы из всех этих уравнений будет бесконечной), и эта зависимость может быть, вообще говоря, нелинейной. Линейную зависимость можно получить [13, с. 89], предположив, что функции  f и $g{{g}^{{\text{T}}}}$ являются полиномами некоторого конечного порядка по $x$, но это не решает проблему бесконечной размерности. Эту проблему можно решить, применив один из методов замыкания системы моментных характеристик [13, разд. 4.2 и 4.3], например, за счет их аппроксимации при помощи нелинейных функций от меньших моментов. Такая техника и ее новые модификации [22, 23] активно применяются в современных работах [24–26] в области исследования задач биологии, биохимии и генетики. Еще более простой вариант подобного замыкания состоит в отбрасывании моментов порядка выше заданного. Однако такой подход обладает слишком большой погрешностью приближения к исходной системе, поэтому чаще его применяют для замыкания семиинвариантов или квазимоментов [27, 28]. Тем не менее, если интерес представляют точные значения моментных характеристик (как в рассматриваемом здесь случае), определяемые из системы линейных (желательно) дифференциальных уравнений, то методы замыкания оказываются неприменимы.

Начнем с того, что запишем явно несколько первых уравнений для начальных моментов процесса $x(t)$ первого и второго порядков, которые представляют интерес более остальных. Для краткости будем обозначать $E_{i}^{1}(t) = \mathbb{E}[{{x}_{i}}(t)], E_{{i,j}}^{2}(t) = \mathbb{E}[{{x}_{i}}(t){{x}_{j}}(t)]$. Воспользовавшись формулой Ито (2.5), получим [18, с. 116]

Здесь ${{g}_{i}}$ – i-я строка матрицы $g$ размеров $n \times \nu , i,j = \overline {1,n} $. В идеальном варианте хотелось бы, чтобы уже такая система уравнений (при известных начальных условиях) была разрешимой (замкнутой). Что для этого нужно? Фактически, уже уравнения (2.6) ограничивают класс возможных функций f полиномами второго порядка по x, т.е. компоненты вектора x(t) должны присутствовать в структуре f не более чем в совокупной степени $2$. При этом в уравнениях (2.7) имеются слагаемые вида $\mathbb{E}[{{x}_{j}}(t){{f}_{i}}(t,x(t),u(t))]$, так что на самом деле f обязана быть аффинной функцией относительно x.

Ситуация с функцией g гораздо интереснее. Единственное требование заключается в том, что выражение ${{g}_{i}}(t,x(t),u(t))g_{j}^{{\text{T}}}(t,x(t),u(t))$ для всех i, j должно содержать сумму степеней компонент вектора x(t) не выше второго порядка. Однако это условие гораздо слабее требования к функции f. Уже в скалярном случае $n = \nu = 1$ имеется существенно нелинейный пример функции g(t, $x(t),u(t)) = \sqrt {1 - {{x}^{2}}(t)} $, который ему удовлетворяет. Тем не менее, можно записать условия на функции f и $g$ в следующем виде.

Л е м м а. Для того чтобы при заданной функции $u(t)$ первый и второй начальные моменты случайного процесса $x(t)$, являющегося решением уравнения (2.1), описывались замкнутой системой уравнений вида (2.4) при L = 2, необходимо и достаточно для каждого $t \in T$ и всех i, $j = \overline {1,n} $ существования чисел $F_{0}^{i}(t,u(t))$, $G_{0}^{{ij}}(t,u(t))$, векторов $F_{1}^{i}(t,u(t))$, $G_{1}^{{ij}}(t,u(t))$ и матриц $G_{2}^{{ij}}(t,u(t))$, таких, что

Таким образом, лемма фиксирует следующие требования: вектор сноса f должен быть не более чем линеен, а квадрат матрицы диффузии $g$ – не более чем квадратичен по состоянию x. Оказывается, что эти условия и являются ответом на поставленный вопрос, так как имеет место следующая теорема.

Т е о р е м а. Пусть функция $u(t)$ задана, случайный процесс $x(t)$ является решением уравнения (2.1) и существует целое число $L \geqslant 2$, такое, что все начальные моменты $x(t)$ до порядка $L$ включительно описываются замкнутой системой уравнений вида (2.4). Тогда это также верно и для любого другого конечного целого $L > 0$.

Д о к а з а т е л ь с т в о. Зафиксируем $L \geqslant 2$, при котором выполнены условия теоремы. Используя (2.5), запишем уравнения для первого момента и некоторых моментов порядка $L$, а именно

Из первого уравнения в условиях замкнутости системы вытекает требование на то, чтобы компоненты вектора $x$ входили в структуру функции f не более чем в суммарной степени ${{k}_{f}} \leqslant L$. Но тогда из второго уравнения получается условиях $L - 1 + {{k}_{f}} \leqslant L$, т.е. ${{k}_{f}} \leqslant 1$. Аналогично, полагая наибольшую суммарную степень компонент $x$ в произведении $g_{i}^{{\text{T}}}(t,x,u){{g}_{j}}(t,x,u)$ равной k_g, получаем условие $L - 2 + {{k}_{g}} \leqslant L$, а, следовательно, ${{k}_{g}} \leqslant 2$. Пусть теперь L > 0 произвольно. Любой начальный момент порядка L представляет собой математическое ожидание произведения компонент вектора $x(t)$ суммарной степени L, а значит, как и ранее, его дифференциал может быть составлен из математических ожиданий второго и четвертого слагаемых в правой части формулы Ито (2.5). При этом указанные слагаемые содержат первую и вторую производные по компонентам $x$, помноженные на не более чем аффинную (${{k}_{f}} \leqslant 1$) и не более чем линейно-квадратичную (${{k}_{g}} \leqslant 2$) функции соответственно, так что суммарная степень каждого из слагаемых заведомо не больше L. Добавляя к уравнениям L-го порядка все предыдущие (аналогичные по структуре), получаем замкнутую систему вида (2.4).

Теорема на самом деле устанавливает гораздо более сильный результат, чем требуется в контексте данной работы, но, среди прочего, она позволяет утверждать, что ответ на вопрос о применимости метода моментных характеристик можно дать на основании леммы.

Таким образом, при выполнении условий (2.8), (2.9) на функции f и g в правой части уравнения (2.1) метод моментов применим с использованием соотношений (2.6), (2.7), которые в векторном виде дают формулы

В частности, из (2.12) следует, что предположения о существовании математического ожидания ${{m}_{0}}$ и ковариационной матрицы ${{K}_{0}}$ случайной величины ${{x}_{0}}$ оказывается вполне достаточно.

3. Некоторые нелинейные примеры и их практические приложения. Посмотрим, какие задачи (помимо линейных и квазилинейных) позволяет решать метод моментов. Не будем здесь повторять идею метода (она подробно изложена на линейном примере в разд. 1) и приводить полное решение задачи (примеры можно посмотреть в работе [3, разд. 5]), ограничившись записью вида управляемой системы и соответствующих ей уравнений для первого и второго моментов. Также для наглядности не будем записывать функционал качества управления (он имеет вид (2.2) или (2.3)) и вообще опустим запись $u(t)$ как аргумента функций  f и $g$ в (2.1), считая, что везде, где есть произвольная нелинейная зависимость от времени $t$, можно добавить такую же нелинейную зависимость от управления $u(t)$ и поставить задачу оптимизации. Наконец, для простоты зафиксируем и уберем из рассмотрения начальные условия $x({{t}_{0}}) = {{x}_{0}}$ и (2.12), положив ${{t}_{0}} = 0$, а x₀ – нормально распределенной случайной величиной (скалярной или векторной) с математическим ожиданием ${{m}_{0}}$ и ковариационной матрицей ${{K}_{0}}$.

П р и м е р 1 (процесс квадратного корня [15, с. 306]). Положим размерности векторов ν = n = 1 и зададим функции f и g в виде $f(t,x) = {{F}_{1}}(t)x, g(t,x) = \sqrt {\Gamma (t,x)} $, где Γ(t, x) = ${{G}_{0}}(t) + {{G}_{1}}(t)x + {{G}_{2}}(t){{x}^{2}}$, и при всех $t > 0$, $x \in \mathbb{R}$ выполнено неравенство $\Gamma (t,x) \geqslant 0$. Тогда уравнения (2.1), (2.10), (2.11) примут вид

Таким образом, можно осуществить переход от одного нелинейного стохастического уравнения Ито к системе из двух линейных детерминированных дифференциальных уравнений. Полагая теперь ${{F}_{1}}(t) = F_{1}^{*}t,u(t))$, ${{G}_{i}}(t) = G_{i}^{*}(t,u(t)), i = 0,1,2$, и считая $F_{1}^{*}, G_{i}^{*}$ непрерывными функциями своих аргументов, можно ставить и решать задачу оптимального управления с начальными условиями (2.12) и функционалом (2.3), например, при помощи принципа максимума Понтрягина. Затем, когда оптимальная функция управления $\bar {u}(t)$ будет найдена, реализации оптимальной случайной траектории $\bar {x}(t)$ можно смоделировать численно, не прибегая к явному аналитическому решению уравнения Ито.

Заметим, что с общих прикладных позиций процесс, рассмотренный в примере 1, описывает поведение зашумленной динамической системы с весьма интересными физическими свойствами шумовой компоненты. При реализации малых значений x(t) коэффициент $g(t,x(t))$ определяется в основном параметром ${{G}_{0}}(t)$ (например, это может быть постоянная величина, и тогда шум будет обладать постоянной интенсивностью), а при больших значениях x(t) получаем практически линейную зависимость интенсивности шума от состояния (при этом, если ${{G}_{0}}(t) \ne 0$, ${{G}_{1}}(t) \equiv 0$, то шум никогда не будет нулевым). Эти свойства шумовой компоненты могут быть естественной интерпретацией некоторых физических возмущений. Одним из таких примеров является воздействие встречного ветра на обтекаемую носовую часть летательного аппарата (беспилотного самолета, ракеты или дирижабля). В этом случае флуктуации аэродинамических воздействий при движении против ветра можно с высокой точностью считать постоянными (или, по крайней мере, имеющими заранее просчитанную интенсивность), а при поворотах летательного аппарата – линейно зависящими от угла поворота (в некотором диапазоне углов).

Понятно, что лишь малую часть реальных физических процессов можно хорошо описать одним скалярным уравнением. В большинстве случаев связи между протекающими в заданной системе процессами настолько существенны, что ими нельзя пренебречь. Поэтому, прежде чем подробнее остановиться на конкретных прикладных задачах, рассмотрим следующее обобщение.

Пример 2 (многомерный процесс квадратного корня, $n = \nu $). Положим n = ν = 2, $f(t,x) = Ax$, где $A$ – произвольная постоянная матрица размеров 2 × 2,

Тогда двумерный процесс x(t) ищется из решения существенно нелинейного уравнения (2.1), в котором w(t) – двумерный винеровский процесс. Но в то же время

а, следовательно, уравнения (2.10), (2.11) принимают вид

С помощью процесса квадратного корня можно построить математические модели схожей структуры для чрезвычайно большого числа самых разных прикладных задач. В [17, гл. 5] предлагается абстрактная процедура построения стохастических математических моделей диффузионного типа достаточно произвольных физических систем. В общих чертах эта процедура состоит в следующем. На первом шаге изучения конкретной динамической системы строится ее дискретная стохастическая модель, представляющая собой вероятности (частоты) изменения состояния системы за малый интервал времени. Затем определяется ожидаемое значение (первый момент) и ковариационная матрица (второй момент) этого изменения. На основе полученной информации осуществляется предельный переход к соответствующему уравнению Ито с непрерывным временем. Более подробное описание данной процедуры приведено в [17, разд. 2.2 и 5.1]. Важно, что результате таких преобразований ожидаемое значение становится функцией  f, а квадратный корень из ковариации – функцией g в уравнении (2.1). Таким образом, процедура, по существу, предлагает использовать в качестве математической модели рассматриваемой системы диффузионный процесс, моменты которого на малых интервалах времени соответствуют собранным на первом шаге статистическим данным.

Построенная таким способом модель является признанной для многих задач популяционной динамики [16, 17, 29], а именно скалярное уравнение вида

задает ветвящийся процесс Феллера [16, с. 351], моделирующий в непрерывном времени независимые друг от друга и от прошлого репродуктивные процессы в популяции (можно показать [16, теорема 13.1], что при заданном начальном условии ${{x}_{0}} > 0$ процесс $x(t)$ остается неотрицательным и при t > 0 почти наверное). В частности, при $\alpha = b - d, \sigma = \sqrt {b + d} $ такое уравнение описывает [17, с. 147] динамику размера популяции при заданных темпах рождения $b$ и гибели $d$ индивидов. Уравнение вида задает процесс Райта–Фишера [16, с. 354], с помощью которого описываются частоты генов или аллелей двух типов, осуществляющих взаимные мутации с заданным темпом ${{\gamma }_{1}}$ и ${{\gamma }_{2}}$ внутри одной популяции; двумерное векторное уравнение в котором $B(x) = {{V}^{{1/2}}}(x)$, а $V(x)$ – положительно определенная квадратная матрица является обобщением [17, с. 146] стохастической модели роста (или сокращения) на случай двух взаимодействующих (например, мигрирующих при географическом разделении или распространяющих инфекционное заболевание при разделении по эпидемиологическому признаку) между собой популяций. Одна из таких моделей носит название SIS-модели эпидемии (от англ. “Susceptible–Infectious–Susceptible”), а ее подробное описание можно найти в [17, 29] и по ссылкам в этих работах. Отметим, что параметры всех этих уравнений в различных конкретных задачах также могут меняться со временем.

Аналогичным образом могут быть построены стохастические модели не только биологических процессов, но и процессов в других областях естествознания. При этом нередко оказывается, что полученные в результате функции  f и g удовлетворяют условиям леммы, а значит, соответствующий случайный процесс x(t) имеет замкнутую систему первых двух моментов. Среди прочих выделим модели ядерных реакций [17, разд. 5.3.4], некоторые модели химических реакций [17, разд. 5.3.6], а также большое количество финансовых моделей [17, разд. 5.4], например, широко известные CIR-модель (Cox-Ingersoll-Ross) [16, с. 327] процентной ставки, имеющая вид

и модель Хестона [16, с. 307], в которой уравнение для определения цены базового актива хотя и не удовлетворяет условиям леммы, но может быть отделено от уравнения динамики волатильности, имеющего вид CIR-модели.

Совершенно ясно, что управление в приведенных выше задачах возникает вполне естественно. Так, например, это могут быть доза вводимого препарата или вакцины в различных проблемах биохимии, генетики и медицины, различные финансовые инструменты управления и т.д.

Пример 2 показывает, насколько серьезные сложности метод моментов позволяет устранить. Сравнивая кратко изложенную выше процедуру математического моделирования из [17, гл. 5] с описанием предлагаемого в настоящей работе метода (разд. 1), приходим к выводу, что последний фактически делает один шаг назад, т.е. непосредственно работает с моментными характеристиками системы, а их связь с диффузионным процессом учитывается только в структуре получающихся дифференциальных уравнений. Преимуществом такого подхода является то, что для нахождения первого и второго моментов системы на всем интервале времени (а значит, и для нахождения оптимального управления в задаче оптимизации) нет необходимости в извлечении квадратного корня из матрицы $G(t,x)$ (квадратным корнем G^1/2 из положительно определенной симметрической квадратной матрицы $G$ называют положительно определенную симметрическую квадратную матрицу g, такую, что $G = {{g}^{2}} = gg$). Это преимущество весьма существенно, так как хорошо известно [17, замечание 5.3], что вычисление квадратных корней вызывает серьезные трудности уже для матриц размеров $n \times n$ при $n \geqslant 3$.

Следует отметить, что в некоторых случаях многомерный процесс квадратного корня возникает и для неодинаковых размерностей $n$ и $\nu $. Так, если $g(t,x) = {{g}_{0}}(t)\sqrt {\Gamma (t,x)} $, где $\Gamma (t,x)$ – неотрицательно определенная линейно-квадратичная форма по x, а ${{g}_{0}}(t)$ – матричная функция времени, имеющая размеры $n \times \nu $, то $G(t,x) = {{g}_{0}}(t)g_{0}^{{\text{T}}}(t)\Gamma (t)$ и метод моментов применим (для линейной по x функции f) по аналогии с одномерным примером 1. Еще одна возможная ситуация весьма типична для очень многих математических моделей реальных динамических систем. Ее описание содержится в нижеследующем примере.

П р и м е р 3 (многомерный процесс квадратного корня, $n \ne \nu $). Пусть $f(t,x) = A(t)x + B(t)$, а $n \times \nu $-мерная функция $g(t,x)$ имеет вид

где ${{g}_{1}}(t,x)$ – квадратная матрица размеров $\nu \times \nu $, тогда и если функция g₁ удовлетворяет условиям леммы, то метод моментных характеристик применим.

Заметим, что в данном примере рассмотрена смешанная (частично детерминированная, а частично стохастическая) система, детерминированная часть которой может, например, иметь смысл кинематических связей в записи системы стохастических дифференциальных уравнений в нормальной форме Коши.

П р и м е р 4 (уравнение Танаки [8, с. 98]). Положим $n = \nu = 1$, $f(t,x) = {{F}_{0}}(t) + {{F}_{1}}(t)x, g(t,x)$ = = G₀(t)sign(x), тогда

Если ${{F}_{0}}(t) \equiv 0, {{F}_{1}}(t) \equiv 0, {{G}_{0}}(t) \equiv 1$, то это уравнение принимает форму уравнения Танаки:

и при x₀ = 0 имеет слабое решение $x(t) = \tilde {w}(t)$, где $\tilde {w}(t)$ (совместно с w(t)) задается условием

В то же время требование (2.9) леммы при любых ${{F}_{0}}, {{F}_{1}}, {{G}_{0}}$ выполнено, так как ${\text{sig}}{{{\text{n}}}^{2}}(x) \equiv 1$, и можно записать, что

т.е. исходя из метода моментов рассматривается обыкновенная линейная система (см. разд. 1). В самом деле, так как ${\kern 1pt} {\text{sign}}{\kern 1pt} (x(t))dw(t) = d\tilde {w}(t)$, с точки зрения моментных характеристик процесса x(t) (а значит, и с точки зрения функционала (2.3)), эти системы эквивалентны.

Данный пример обычно обсуждается в контексте вопросов существования сильных и слабых решений уравнения Ито (2.1) [8, 15, 16]. Понятно (в том числе и из результатов примера 4), что при моделировании динамических систем (например, используя описанную выше процедуру) рассматривать уравнения такого типа не имеет смысла. Тем не менее любопытно отметить, что метод моментов применим и в случае уравнений, не имеющих сильного решения.

П р и м е р 5 (абсолютное значение). Пусть $n = \nu = 1, f(t,x) = {{F}_{1}}(t)x, g(t,x) = {{G}_{2}}(t){\text{|}}x{\text{|}}$, тогда

С использованием примера 4 данную задачу можно фактически свести к линейной по x(t), выполнив замену ${\text{|}}x(t){\text{|}}dw(t) = x(t)d\tilde {w}(t)$.

Заключение. В работе была обозначена и продемонстрирована на примерах область применимости метода моментных характеристик для решения задач оптимизации стохастических (и, в частности, детерминированных) систем диффузионного типа на конечном интервале времени. Однако реальные границы области применимости метода значительно шире. Так, например, метод может быть расширен на класс систем диффузионно-скачкообразного типа [2, 30], в которых помимо непрерывной случайной части в виде винеровского процесса имеется чисто разрывное слагаемое в виде интеграла по мере Пуассона [11, с. 511]. Кроме того, как уже отмечалось во Введении к данной работе, метод применим и для задач на бесконечном временном интервале [31]. Этим вопросам посвящены дальнейшие исследования авторов.

Следует отметить, что представленные в данной работе лемма и теорема в широко известной литературе не встречаются, за исключением сравнительно простой достаточной части леммы – ее формулировку (при отсутствии функции управления в системе) в более или менее явном виде можно найти в различных источниках (см., например, [32, предложение 1.1]). Наиболее обширное исследование данного вопроса, по-видимому, содержится в работе [13], но и там предлагается сразу перейти к приближенным процедурам замыкания системы уравнений для моментных характеристик. Помимо этого, авторам не известны и случаи использования указанных результатов для решения нелинейных задач оптимального управления стохастическими системами.