Поверхность. Рентгеновские, синхротронные и нейтронные исследования, 2023, № 3, стр. 79-86

ВВЕДЕНИЕ

Наночастицы благородных металлов, в частности палладия, – известные катализаторы множества химических реакций окисления [1] и восстановления [2]. Их каталитическая активность помимо размера частиц [3] и материала подложки [4] также во многом определяется и формой наночастиц [5–8]. В стационарных условиях протекания реакции поверхность катализатора может деградировать за счет формирования оксидов [9], карбидов [10] или адсорбированных молекул с большой энергией связи [11].

Для замедления процесса формирования вторичных фаз на поверхности и повышения активности катализатора условия протекания реакции можно изменять динамически [12]. Например, при проведении каталитического циклирования на отдельной стадии цикла поверхность катализатора может быть принудительно очищена от нежелательных продуктов и, таким образом, осуществлена ее регенерация для лучшего заселения желательными реагентами на других стадиях [13]. Использование внешних возмущений может привести к большему преимуществу динамического режима по сравнению со стационарным, что используется для разработки нестационарных реакторов с лучшими характеристиками. В частности, модуляции реакции монооксида углерода на поверхности нанокатализаторов благородных металлов представляют особый интерес, и их интенсивно изучают: это не только распространенная модельная реакция для фундаментальных исследований в области гетерогенного катализа [14–18], но и широко используемый в настоящее время процесс в автомобильных каталитических конвертерах. Там трехходовые катализаторы периодически подвергаются окислительному (воздушный реактор) и восстановительному (топливный реактор) режимам, и такое циклирование позволяет резко увеличить эффективность итоговой конверсии СО в СО₂ [19–21].

Поиск оптимальных реакционных условий является сложной задачей даже для стационарных режимов и значительно усложняется в случае динамически изменяющихся параметров. Одним из перспективных подходов для решения данной задачи является использование машинного обучения [22, 23] и, в частности, обучения с подкреплением (известного в зарубежной литературе как Reinforcement Learning) [24–26] для прогнозирования наилучшего динамического режима и условий протекания каталитических реакций. Недавно в [27] обосновали концепцию использования машинного обучения с подкреплением для оптимизации выхода водорода в реакции частичного окисления метана. С этой целью они обучили агентов Q-обучения [28, 29] и градиента глубокой детерминированной политики [30] для прогнозирования производства водорода путем регулирования температуры, давления, скорости потока и состава подложки в смоделированном реакторе идеального вытеснения. Авторы [31] продемонстрировали применимость машинного обучения с подкреплением в сочетании с прогностическим контролем экономической модели для производства оксида этилена. Также, используя глубокое обучение с подкреплением, ранее оптимизировали различные микрокапельные химические реакции, например синтез изохинолина, замещенного хинолина и рибозофосфата [32]. В результате данный подход позволил уточнить оптимальные экспериментальные условия, что дало возможность увеличить скорость протекания реакций. В настоящей работе проведена оптимизация параметров реакции окисления СО, протекающей на поверхности наночастиц Pd, с использованием подхода машинного обучения с подкреплением.

ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

Алгоритм обучения с подкреплением требует много пробных шагов для обучения. Испытания выполняют последовательно для разных значений параметров, выбираемых алгоритмом, и таким образом покрывают важные области пространства параметров реакции. Этот подход отличается от машинного обучения с учителем (известного в зарубежной литературе как Supervised Machine Learning), когда весь набор испытаний передается алгоритму пользователем. В этом разделе опишем математическую модель реакции окисления СО, основанную на системе дифференциальных уравнений, которая служит средой для обучения алгоритма.

Схема реакции окисления CO на Pd может быть описана уравнением:

Окисление CO на наночастицах Pd можно разделить на четыре элементарных этапа по механизму Ленгмюра–Хиншельвуда [33, 34]: где Pd* – свободный центр адсорбции, а k_i – константа скорости стадии i = 1–4. Значения констант скорости определили, используя следующие формулы: где ${{F}_{{{\text{CO}}}}}~$ и ${{F}_{{{{{\text{O}}}_{{2{\text{\;}}}}}}}}$ – потоки CO и O₂, соответственно, ${{n}_{{{\text{Pd}}}}}$ – поверхностная плотность атомов Pd (${{n}_{{{\text{Pd}}}}}$ = = 1.53 × 10¹⁹ м^–2), ${{\nu }_{i}}$ – частотный фактор элементарной реакции i (${{\nu }_{2}}$ = 10¹⁵ с^–1 и ${{\nu }_{4}}$ = 10^7.9 с^–1), ${{E}_{i}}~$ – энергия активации элементарной реакции i (${{E}_{2}}$ = 136 кДж · моль^–1 и ${{E}_{4}}$ = 59 кДж · моль^–1), k_B – константа Больцмана (k_B = 0.008314463 кДж · · моль^–1 · К^–1), T – температура образца (440 К). Для константы скорости уравнения (4) в выражение (8) были дополнительно введены поправки на деградацию и регенерацию поверхности катализатора c течением времени: где ${{V}_{{\text{d}}}}~$ – параметр, описывающий скорость деградации поверхности (${{V}_{{\text{d}}}} = 0.01\,\,~{{{\text{с}}}^{{ - 1}}}$), $\Delta t$ – временнóй интервал, в ходе которого происходит деградация или регенерация, ${{P}_{{{\text{CO}}}}}$ и ${{P}_{{{{{\text{O}}}_{2}}}}}$ – парциальные давления CO и О₂, ${{V}_{{\text{r}}}}~$ – параметр, описывающий скорость регенерации поверхности (${{V}_{{\text{r}}}} = 1.5\,\,{{{\text{с}}}^{{ - 1}}}$). В случае, если доля СО в смеси была мала (отношение потоков $\frac{{{{P}_{{{{{\text{O}}}_{2}}}}}}}{{{{P}_{{{\text{CO}}}}}}} \geqslant 2$), в формуле (9) $\frac{{{{P}_{{{{{\text{O}}}_{2}}}}}}}{{{{P}_{{{\text{CO}}}}}}}$ принимали равным двум, чтобы ограничить скорость деградации катализатора. В данной модели и был использован тот факт, что изменение активности может быть связано, например, с ростом доли примесной фазы на поверхности палладия [9]. Намеренно было выбрано соотношение ${{P}_{{{{{\text{O}}}_{2}}}}}:{{P}_{{{\text{CO}}}}}$ = = 1 : 4 в качестве пограничного (где катализатор не подвергается деградации или регенерации), поскольку оно далеко от стехиометрического соотношения ${{P}_{{{{{\text{O}}}_{2}}}}}:{{P}_{{{\text{CO}}}}}$ = 1 : 2, что позволяет получить нестационарные решения. Величину потока определяли с использованием парциальных давлений соответствующих газов по формулам: где ${{P}_{{{\text{CO}}}}}$ и ${{P}_{{{{{\text{O}}}_{2}}}}}$ – парциальные давления CO и О₂, ${{M}_{{{\text{CO}}}}}$ и ${{M}_{{{{{\text{O}}}_{2}}}}}$ – молекулярные массы CO и О₂ (${{M}_{{{\text{CO}}}}}$ = 28 × 10^–3 кг · моль^–1 и ${{M}_{{{{{\text{O}}}_{2}}}}}$ = 32 × 10^–3 кг · · моль^–1), ${{N}_{{\text{A}}}}$ – постоянная Авогадро. На основе этой модели можно ввести уравнения для покрытия поверхности молекулами монооксида углерода и атомами кислорода: где ${{\theta }_{{{\text{CO\;}}}}}$ и ${{\theta }_{{{\text{O\;}}}}}$ – покрытия поверхности Pd молекулами CO и атомами кислорода, а ${{S}_{{{\text{CO}}}}}$ и ${{S}_{{{{{\text{O}}}_{2}}}}}$ – соответствующие коэффициенты прилипания (известные в зарубежной литературе как sticking coefficients). Зависимости коэффициентов прилипания ${{S}_{{{\text{CO}}}}}$ and ${{S}_{{{{{\text{O}}}_{2}}}}}$ от покрытия и температурных эффектов определяли по формулам: где $S_{{{\text{CO}}}}^{0}$ и $S_{{{{{\text{O}}}_{2}}}}^{0}$ – начальные коэффициенты прилипания при нулевом покрытии соответственно, $S_{{{\text{CO}}~}}^{0}$ = 0.96 и от температуры не зависит, $S_{{{{{\text{O}}}_{2}}}}^{0} = \left( {0.78{\kern 1pt} - {\kern 1pt} 7.4} \right) \times {{10}^{{ - 4}}}T,$ где T – температура образца, ${{\theta }_{~}}_{{{\text{CO}}}}^{{{\text{max}}}} = 0.5$ и ${{\theta }_{{\text{\;}}}}_{{\text{O}}}^{{{\text{max}}}} = 0.25$, ${{C}_{T}}$ был принят равным 0.3. Параметры модели были взяты из [35]. Итоговую скорость формирования CO₂ (${{r}_{{{\text{C}}{{{\text{O}}}_{2}}}}}$) определяли по формуле:

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Ключевыми параметра алгоритма обучения с подкреплением являются среда и агент. Агент выполняет действия на основе политики, задаваемой нейронной сетью, которая получает на вход значения наблюдаемых параметров из среды и на выходе выдает действия. Был использован алгоритм градиентной политики Vanilla Policy Gradient (VPG) с непрерывными значениями действий. Политика алгоритма обновлялась итерационно в ходе обучения на модели, построенной на основе дифференциальных уравнений. Целью обучения была максимизация интегрального значения награды в изменяющихся условиях среды. Модель и обучение были запрограммированы на языке Python с использованием библиотеки Tensorforce и фреймворка Tensorflow. При оптимизации коэффициентов нейронной сети использовали скорость обучения 0.001. На входы нейронной сети подавали нормированные значения потоков газов, приведенные к диапазону [0; 1]. Схема работы алгоритма показана на рис. 1.

Алгоритм VPG обучения с подкреплением относится к классу алгоритмов on-policy, т.е. алгоритмов, которые оптимизируют политику агента, базируясь только на информации, полученной в ходе использования текущей политики. Политика – функция, определяющая, какое действие будет выбирать алгоритм исходя из текущего состояния системы. Обучение агента происходит в течение большого числа эпизодов обучения. Алгоритм в течение эпизода длительностью 500 с применяет политику, запрограммированную в виде нейронной сети. Задача по нахождению агентом оптимальной политики сводится к оптимизации параметров политики – весов нейронной сети. Действие агента в настоящей работе заключается в изменении потоков CO и O₂ каждые 10 с произвольным образом в пределах заданного диапазона. На вход нейронной сети подают нормированные значения потоков CO, O₂ и CO₂ на текущем шаге и (опционально) значения соответствующих потоков на одном или двух предыдущих шагах обучения. На выходе считывали новые значения потоков CO и O₂. По окончанию эпохи обучения коэффициенты нейронной сети обновляются согласно правилу:

где θ – веса нейросети, ${{\pi }_{\theta }}$ – политика агента, $J\left( {{{\pi }_{\theta }}} \right)$ – ожидаемая кумулятивная награда для данной политики ${{\pi }_{\theta }}$. Градиент в формуле (18) носит название градиента политики. Награда J вычисляется как интегральный выход молекул CO₂ реакции окисления CO + O₂. На рис. 2 показан пример обучения алгоритма на протяжении 10 000 эпизодов. Наблюдается немонотонное увеличение награды, получаемой алгоритмом за одну эпоху. Выбор способа награждения и спецификации состояния и действия определяют качество и скорость обучения алгоритма.

Чтобы оценить эффективность решений, найденных алгоритмом обучения с подкреплением, было проведено сравнение их с решениями, найденными иным методом. Рассматривали суммарный выход CO₂ за эпизод как функцию от потоков O₂(t) и CO(t): R = R(O₂(t), CO(t)). Далее рассматривали только стационарные решения, т.е. такие, что O₂(t) = O₂ = const, CO(t) = CO = const. Затем максимизировали R как функцию двух вещественных переменных, используя метод Нелдера–Мида, или симплекс-метод [36]. Полученное стационарное решение использовали для сравнения с решением, найденным обучением с подкреплением.

В табл. 1 собраны результаты тренировки в течение 10 000 эпизодов для разных комбинаций. Как видно, наилучшее качество обучения было достигнуто при использовании информации о потоках газов на протяжении трех последних шагов по времени. После тренировки алгоритм можно применять для оптимального управления экспериментальной установкой синтеза. На рис. 3 показаны результаты найденной политики для уравнений (1)–(3) со случайными начальными условиями, полученными с помощью оптимизации (рис. 3а), и политика, найденная алгоритмом обучения с подкреплением (рис. 3б) соответственно с использованием модели без учета деградации.

Из рисунков видно, что при отсутствии в модели учета деградации катализатора алгоритм находит стационарное решение с фиксированными потоками газов, близкое к найденному оптимизацией, с соотношением потоков CO : O₂ около 0.446. Схождение алгоритма к постоянному решению можно объяснить тем, что доля поверхности, доступной для протекания реакции CO + O₂, остается неизменной в процессе синтеза и близкой к оптимальной. В данном случае периодическая реактивация поверхности катализатора повышенным потоком кислорода не приведет к увеличению выхода CO₂.

На рис. 4 приведены решения, полученные для моделей с учетом деградации: стационарное решение, найденное с помощью оптимизации (рис. 4а), и решение, найденное алгоритмом обучения с подкреплением (рис. 4б). Сравнение выхода CO₂ показывает, что для модели с учетом деградации алгоритм смог найти динамическое решение, которое обеспечивает значительно больший выход CO₂.

При длительном нахождении катализатора палладия в атмосфере с неравновесным содержанием кислорода или монооксида углерода может образовываться фаза карбида или оксида, которая ухудшает каталитические свойства поверхности. В частности, возможно уменьшение доли поверхности, доступной для протекания реакции CO + O₂, и увеличение энергетического барьера этой реакции. Это объясняет, почему алгоритм предпочел периодическое уменьшение потоков CO и O₂ в противофазе, при котором примесная фаза на поверхности не успевает сформироваться и разрушается в избытке кислорода, вследствие чего интегральный выход CO₂ увеличивается.

Полученные результаты согласуются с экспериментальными данными. Как было показано ранее [37–39], переход от статических условий к динамическим может значительно ускорить протекание реакции. Например, в работе [40], описывающей окисление СО на Pd/Al₂O₃, периодическое переключение подачи между CO/N₂ и O₂/N₂ позволило добиться усредненной скорости реакции, которая более чем в 40 раз превышала максимально достижимую скорость в стационарном режиме.

ЗАКЛЮЧЕНИЕ

Алгоритм обучения с подкреплением был применен для исследования пространства рабочих параметров реакции окисления CO. Агент градиента политики VPG получал на вход потоки CO, O₂ и CO₂ на текущем и предыдущем временны́х шагах и предсказывал оптимальные потоки CO и O₂ на следующем шаге. Обучение алгоритма проводилось на модели реакции окисления монооксида углерода на поверхности палладия как без учета, так и с учетом деградации поверхности в неравновесных потоках реагентов. В результате исследования были получены стационарные политики и политики периодического переключения. Максимальный выход продукта был достигнут при использовании модели с учетом деградации катализатора при периодическом изменении газовых потоков, обеспечивающих баланс между доступными адсорбционными участками и концентрацией активированных промежуточных продуктов. Продемонстрированный подход может быть расширен для оптимизации многих других промышленно значимых реакций и каталитических систем.