Доклады Российской академии наук. Математика, информатика, процессы управления, 2021, T. 499, № 1, стр. 63-66

ВВЕДЕНИЕ

Методы регрессионного моделирования, основанные на вычислении более точного коллективного прогноза, по прогнозам, вычисленным набором (ансамблем) менее точных и более простых исходных алгоритмов, получили самое широкое распространение в современном машинном обучении. К числу таких методов может быть отнесен регрессионный случайный лес, а также методы, основанные на использовании адаптивного или градиентного бустинга. Важную роль при построении коллективных алгоритмов играет способ получения исходного ансамбля так называемых слабых алгоритмов. Теоретический анализ показывает, что увеличение обобщающей способности может быть достигнуто за счет выбора ансамбля алгоритмов, обладающих не только высокой точностью, но и максимально расходящимися прогнозами [1]. Низкая коррелированность прогнозов потенциально позволяет также добиваться более точной аппроксимации алгоритма, объективно обеспечивающей наиболее точный прогноз, с использованием ограниченного числа алгебраических операций [2, 3]. В методе “регрессионный случайный лес” расходимость прогнозов достигается за счет обучения алгоритмов ансамбля на различных выборках, генерируемых из исходной обучающей выборки с использованием процедуры бутстрэпа [4]. В методе градиентного бустинга [5] ансамбль генерируется последовательно. При этом на каждой итерации в ансамбль добавляются деревья, аппроксимирующие первые производные функции потерь по переменным, соответствующим коллективному прогнозу.

Другой важной составляющей является способ вычисления коллективного прогноза, который может также интерпретироваться как результат взаимной коррекции прогнозов. В методе “случайный регрессионный лес” коррекция осуществляется простым вычислением средних прогнозов.

Другим возможным способом организации корректирующей процедуры является схема стэкинга, в которой выходы алгоритмов ансамбля рассматриваются как входные признаки алгоритма, вычисляющего выходной скорректированный прогноз [6, 7]. Эффективность стэкинга, как правило, оказывается низкой при использовании его для вычисления коллективных решений по наборам слабых алгоритмов, генерируемых с помощью процедур, применяемых при генерации случайных лесов. Можно предположить, что причиной снижения эффективности является недостаточное расхождение слабых алгоритмов в пространстве прогнозов при стандартных способах генерации ансамблей.

Целью работы является исследование эффективности двухуровневого метода увеличения обобщающей способности, предусматривающего построение ансамбля, состоящего из алгоритмов с высокой степенью расхождения в пространстве прогнозов и хорошей аппроксимацией этими алгоритмами целевой переменной. При этом в качестве корректирующей процедуры рассматриваются простое усреднение и стэкинг.

ДВУХУРОВНЕВЫЙ МЕТОД

Пусть $\{ {{A}_{1}}(X), \ldots ,{{A}_{{k - 1}}}(X)\} $ – некоторый ансамбль алгоритмов, предсказывающих значение переменной $y$ по вектору X переменных ${{x}_{1}}, \ldots ,{{x}_{n}}$. Предполагается, что алгоритмы ансамбля обучаются по выборке $S = \{ ({{X}_{1}},{{y}_{1}}), \ldots ,({{X}_{m}},{{y}_{m}})\} $. Предварительно выбирается базовый метод регрессионного анализа. Обычно в качестве такого метода выступает модель регрессионного дерева. Обозначим ${{L}_{k}}(X) = \tfrac{1}{k}\sum\limits_{i = 1}^k \,{{A}_{i}}(X)$, ${{Q}_{k}}(X) = \tfrac{1}{k}\sum\limits_{i = 1}^k \,A_{i}^{2}(X)$. В соответствии с объявленной целью ансамбль должен строиться, иcходя из одновременной минимизации критерия ${{\Phi }_{E}}$:

оценивающего среднюю ошибку аппроксимации $y$ по вектору X, и ${{\Phi }_{V}}$: представляющего собой дисперсию прогнозов вычисляемых алгоритмами ансамбля.

Задача одновременной минимизации ${{\Phi }_{E}}$ и максимизации ${{\Phi }_{E}}$ может быть сведена к минимизации

где $\mu \in [0,1]$ регулирует вклад разнородности ансамбля в смысле дисперсии прогнозов.

Обозначим через $D_{E}^{k}$ и $D_{V}^{k}$ изменения функционалов ${{\Phi }_{E}}$ и ${{\Phi }_{V}}$ при включении в ансамбль дополнительно алгоритма ${{A}_{{k + 1}}}$.

где ${{C}_{E}}$ не зависит от ${{A}_{{k + 1}}}(X)$.

Для расчета ${{D}_{V}}$ потребуется использовать известное выражение для дисперсии:

где ${{C}_{V}}$ не зависит от ${{A}_{{k + 1}}}(X)$.

Одним из способов решения задачи минимизации ${{\Phi }_{G}}$ является сведение ее к поиску и включению в ансамбль алгоритма ${{A}_{{k + 1}}}$, для которого оказывается минимальным функционал ${{D}_{G}}$:

где ${{C}_{G}}$ не зависит от ${{A}_{{k + 1}}}(X)$. Построение алгоритма, включаемого в ансамбль на шаге k + 1 производится c помощью комбинации бэггинга и варианта градиентного бустинга, реализуемой в два этапа:

1. На первом этапе из исходной выборки S с использованием датчика случайных чисел генерируется выборка с возвращениями $S_{{k + 1}}^{0}$. Алгоритм $A_{{k + 1}}^{0}$ обучается далее по выборке $S_{{k + 1}}^{0}$.

2. На втором этапе строится алгоритм ${{A}_{{k + 1}}}$, который собственно должен войти в ансамбль. Прогноз значения $y$ в точке $X$ вычисляется алгоритмом ${{A}_{{k + 1}}}$ по формуле

где ${{G}_{{k + 1}}}(X)$ – алгоритм, вычисляющий в точке $(A_{{k + 1}}^{0}({{X}_{1}}), \ldots ,A_{k}^{0}({{X}_{m}}))$ прогноз градиента функционала $D_{G}^{k}({{A}_{k}}({{X}_{1}}), \ldots ,{{A}_{{k + 1}}}({{X}_{m}}))$.

Алгоритм ${{G}_{{k + 1}}}$ обучается по выборке $\left\{ {\left( {{{X}_{1}},\mathop {\left. {\tfrac{{\partial D_{G}^{k}}}{{\partial {{A}_{{k + 1}}}({{X}_{1}})}}} \right|}\nolimits_{A_{{k + 1}}^{0}({{X}_{1}})} } \right), \ldots ,\left( {{{X}_{m}},\mathop {\left. {\tfrac{{\partial D_{G}^{k}}}{{\partial {{A}_{{k + 1}}}({{X}_{m}})}}} \right|}\nolimits_{A_{{k + 1}}^{0}({{X}_{m}})} } \right)} \right\}$.

Нетрудно показать, что

ЭКСПЕРИМЕНТЫ

Метод был реализован на языке python с помощью библиотеки scikit-learn [8]. Так, базовые деревья строятся с помощью метода BaggingRegressor. На втором уровне используется либо GradientBoostingRegressor (далее этот вариант называется boosting), либо RandomForestRegressor (forest), либо усредняются результаты базовых методов (average). GradientBoostingRegressor также используется в качестве референсного метода для оценки эффективности предлагаемого метода.

Разработанный метод использовался для прогнозирования различных параметров кристаллической решетки сложных неорганических соединений: параметров кристаллической решетки соединений состава $A_{2}^{{2 + }}{{B}^{{ + 3}}}{{C}^{{ + 5}}}{{O}_{6}}$, и температуры плавления галогенидов состава ${{A}_{3}}BHa{{l}_{6}}$ и $ABHa{{l}_{3}}$. Для различных пространственных групп симметрии приведены результаты для части параметров, допускавших достаточно надежный прогноз, а именно: для моноклинных пространственных групп (пр. гр. $I2{\text{/}}m$ и $P{{2}_{1}}{\text{/}}n$) предсказывались параметры a, $b$ и $c$, для тетрагональных (пр. гр. $I4{\text{/}}m$) и гексагональных (пр. гр. $R3( - )$) – параметр $c$, для кубических (пр. гр. $Fm3( - )m$) – параметр a. Для оценки точности использовался стандартный показатель r², или коэффициент детерминации, который вычислялся с использованием метода кросс-валидации. В связи с тем, что генерация алгоритмов в процедуре бэггинга происходит в значительной мере случайно, результаты решения одной и той же задачи изменяются от эсперимента к эксперименту. Поэтому в таблице для каждой задачи приведено значения показателя r², усредненное по 10 экспериментам.

ЗАКЛЮЧЕНИЕ

Из результатов, приведенных в табл. 1, видно, что в большинстве случаев предлагаемый двухуровневый метод позволяет добиваться более высоких результатов по сравнению со стандартным алгоритмом градиентного бустинга, что указывает на целесообразность дальнейших исследований в данном направлении. Предполагается исследование возможности подбора оптимальной в смысле ряда критериев длины шага градиентного спуска при коррекции алгоритмов, сгенерированных с помощью бэггинга.