Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 333-342

2.1. Платформа потокового вещания фильмов и сериалов Kion

Для того чтобы помочь исследователям лучше понять природу нашего набора данных, мы кратко рассмотрим платформу Kion, которая предоставила нам данные.

Kion – одна из крупнейших платформ потокового видео в Восточной Европе с более чем 3.5 миллионами подписчиков. В то же время Kion – это относительно новая платформа, основанная холдингом МТС в 2021 г.; как результат, датасет содержит в данных тенденцию быстрого роста количества взаимодействий с момента основания сервиса до 1 миллиона пользователей. Теперь мы предоставим больше деталей о наборе данных.

2.2. Описание набора данных

Набор данных Kion – это датасет с информацией о взаимодействиях пользователей и объектов, построенный на неявном отклике от пользователей и включающий реальные последовательности их действий в приложении. В данных отражены взаимодействия за 5 мес, начиная с 13.03.2021 и заканчивая 22.08.2021. Датасет содержит 5.476.251 взаимодействий 962.179 пользователей с 15.706 объектами. Каждое взаимодействие описано датой, общей продолжительностью просмотра и процентом контента, просмотренного пользователем. В случае нескольких взаимодействий с одним и тем же объектом в набор данных включено только последнее по дате взаимодействие, однако общая продолжительность и процент агрегируются по всем просмотрам.

Мы также предоставляем дополнительную информацию как для пользователей, так и для объектов. Пользователи описаны демографической информацией, такой как возраст, пол, доход и пометкой “есть дети”. У объектов есть такие характеристики, как тип контента (фильм или сериал), название, название на языке оригинала, год выпуска, жанры, страны, возрастной рейтинг, студии, режиссеры, актеры, ключевые слова и описание.

2.3. Разведочный анализ данных

Наборы данных, основанные на взаимодействиях пользователей с фильмами, обычно имеют распределение просмотров по степенному закону, при котором несколько объектов доминируют в предпочтениях пользователей [20]. Рисунок 1a иллюстрирует этот факт для набора данных Kion, показывая частоты объектов в логарифмическом масштабе. Как показывает рисунок, данные можно довольно хорошо аппроксимировать распределением по закону Ципфа с параметром степени $\alpha = 0.8$.

Также важно подчеркнуть явные временные тренды популярности объектов. Рисунок 1b показывает растущее количество взаимодействий каждую неделю в наборе данных Kion. Рисунок 2 иллюстрирует индивидуальные скачки популярности топ-100 фильмов (за исключением сериалов) по неделям. Эти особенности распределения популярности во времени и среди объектов могут иметь заметные последствия для создания правильной схемы валидации и успешного решения задачи рекомендаций фильмов на таких данных.

Характеристики пользователей и объектов – еще один важный аспект для систем рекомендаций. Подавляющее большинство объектов в датасете имеют и характеристики, и взаимодействия, в то время как у 30 процентов пользователей есть только одно из вышеуказанных. Рисунок 3 иллюстрирует доступность данных как для пользователей, так и для объектов.

В целом набор данных Kion отражает специфические проблемы реальных рекомендательных систем, включая: (i) неявный отклик, (ii) распределение популярности объектов по закону Ципфа, (iii) временные всплески популярности отдельных объектов, (iv) проблему холодного старта как для пользователей, так и для объектов, (v) разнообразную, но неполную мета-информацию.

2.4. Сравнение с существующими наборами данных для рекомендаций фильмов

В этом разделе мы сравниваем набор данных Kion с другими наборами данных для рекомендаций фильмов, доступными до нашей работы. В частности, мы сравниваем набор данных Kion с MovieLens-25M, самым крупным набором данных из семейства MovieLens [8], и с набором данных Netflix, который был выпущен для известного соревнования Netflix Prize [2].

Сначала мы сравниваем количественные характеристики наборов данных, которые представлены в табл. 1. Как видно из таблицы, число пользователей в наборе данных Kion значительно больше по сравнению с Netflix (+100%) и Movielens (+493%). Однако при этом число взаимодействий в Kion меньше, чем в других двух наборах данных. Эти два факта приводят к значительно более коротким последовательностям взаимодействий: в Kion средняя длина последовательности составляет всего 5.69, по сравнению с 153.80 в MovieLens и 209.25 в Netflix. Мы утверждаем, что эти короткие последовательности и большое количество новых пользователей характерны для реальных рекомендательных систем, особенно на этапе быстрого роста сервиса.

Теперь сравним качественные характеристики наборов данных, которые представлены в табл. 2. Как видно, Netflix и MovieLens имеют довольно похожие характеристики: оба они представляют собой датасеты с явными оценками, собранными через некоторое время после просмотра фильма. Оба предоставляют только ограниченную контекстную информацию о фильмах и вообще не предоставляют данных о пользователях. Напротив, Kion является датасетом с неявным откликом, с событиями, зарегистрированными во время просмотра пользователями видео на платформе. Он включает в себя богатую мета-информацию как для пользователей, так и для объектов. Также он включает дополнительную информацию о событиях, такую как длительность и процент просмотра.

В целом, как можно увидеть из обеих табл. 1 и 2, набор данных Kion имеет значительные отличия в качественных и количественных характеристиках по сравнению с существующими наборами данных и может способствовать новым видам исследований в области рекомендаций фильмов, которые были невозможны с наборами данных MovieLens или Netflix.

3.1. Детали соревнования

Мы использовали набор данных Kion для онлайн-соревнования, которое проводилось с ноября 2021 г. по декабрь 2022 г. Мы организовали соревнование на платформе ODS.ai ⁴⁴. Основная цель соревнования заключалась в прогнозировании фильмов, которые пользователи посмотрят в течение одной недели после периода, охваченного набором данных. Мы хранили эти взаимодействия в приватной части набора данных, которая не была доступна участникам.

3.1.1. Метрика конкурса. В качестве основной метрики производительности мы использовали Mean Average Precision с порогом $K$ ($MAP@K$), которую измеряли на приватном наборе данных. Одна треть пользователей из приватного набора данных была представлена “холодными” пользователями (т.е. эти пользователи не имели взаимодействий во время периода, доступного для обучения моделей). Рисунок 4 показывает распределение пользователей по количеству взаимодействий в публичном наборе данных.

Average Precision – это метрика, основанная на точности. Рассмотрим список рекомендаций i₁, i₂, ..., i_n для пользователя с бинарными метками релевантности ${{r}_{1}},{{r}_{2}},...,{{r}_{n}}$. Тогда Precision с порогом K ($P@K$) определяется как:

Average Precision с порогом K ($AP@K$) для пользователя определяется путем усреднения Точностей и их нормализации:

где ${{C}_{{user}}}$ – общее количество релевантных элементов для пользователя в приватном наборе данных. Чтобы получить Mean Average Precision с порогом K, мы усредняем метрику $AP@K$ по всему набору данных. где N – это количество пользователей в приватном наборе данных. Для конкурса мы выбрали порог 10, поэтому основной метрикой конкурса была $MAP@10$.

3.2. Песочница конкурса

Мы не публиковали приватный набор данных, однако песочница конкурса оставалась открытой⁵⁵, так что другие исследователи могли отправить свои решения и проверить свои результаты $MAP@10$ на приватной части набора данных.

В следующем разделе мы предоставляем обзор победивших решений, представленных участниками соревнования.

3.3. Лучшие решения

Таблица 3 содержит результаты пяти лучших участников соревнования, измеренные на приватном наборе данных. Все победители использовали двухэтапный подход, генерируя кандидатов для рекомендаций с помощью одной или нескольких базовых моделей на первом этапе и реранжировали их с помощью градиентного бустинга над решающими деревьями на втором этапе, используя выходы моделей первого этапа вместе с дополнительными вручную сконструированными признаками.

3.3.1. Ансамбли с нейронными сетями. Участники Олег Лашигин и Александр Петров, занявшие первое и второе места в итоговом рейтинге, использовали двухэтапные ансамбли с несколькими моделями рекомендаций на первом этапе. В ансамбли входили мощные модели, основанные на глубоком обучении, такие как BERT4Rec [21], SASRec [10] и Caser [22], и традиционные методы рекомендаций, такие как Байесовское персонализированное ранжирование [17]. Олег использовал реализации нейронных моделей из библиотеки RecBole [23] и реализации некоторых моделей, опубликованных Dacrema et al. [4], тогда как Александр использовал реализации, описанные в статье о воспроизводимости [15].

Для объединения моделей первого этапа участники использовали градиентный бустинг над решающими деревьями из библиотеки LightGBM [11]. Олег использовал обучение с целью классификации, а Александр использовал ранжирование по LambdaRank [3].

Оба победивших участника дополнили результаты моделей первого этапа дополнительными признаками, созданными вручную, такими как время с момента последнего взаимодействия пользователя или доля мужчин среди зрителей фильма-кандидата в рекомендации.

3.3.2. Ансамбли без нейронных сетей. Участник Степан Зимин использовал тот же подход, что и два лучших победителя, создавая ансамбль моделей первого этапа, но не включил в него модели глубокого обучения. Его решение основывалось на выводах пяти различных базовых моделей, в том числе гибридной модели матричной факторизации LightFM [12], использующей признаки пользователей и объектов в процессе матричного разложения. Он обогатил результаты моделей разнообразной статистикой взаимодействий как для пользователей, так и для объектов, и дополнительно учитывал жанры объектов при создании признаков для ансамбля. Для финальных прогнозов он использовал градиентный бустинг над решающими деревьями из библиотеки CatBoost [6] с целью YetiRank [7] и достиг показателя MAP@10, который почти идентичен двум лучшим решениям.

Участники Дарья Тихонович и Ольга, занявшие четвертое и пятое места в соревновании, достигли конкурентоспособных показателей MAP@10 с единственной моделью на первом этапе рекомендательной системы. Дарья использовала модель ближайших соседей (Item KNN) по расстояниям между объектами в матрице взаимодействий пользователей с объектами [5], а Ольга использовала простую популярную модель. Оба участника использовали градиентный бустинг над решающими деревьями из библиотеки CatBoost с учебной целью классификации на втором этапе. Дарья добавила вручную сконструированные признаки на основе трендов популярности объектов (например, количество взаимодействий за последню неделю, наклон тренда популярности и расстояние в днях до 0.95 квантиля дат распределения взаимодействий с объектом). Ольга использовала идентификаторы объектов из истории взаимодействий пользователя в качестве признаков. Оба участника также добавили демографические данные пользователей.

Подводя итог, пять лучших решений соревнования на наборе данных Kion включили в себя широкий спектр подходов, включая последовательные модели рекомендаций (BERT4Rec, SASRec, Caser), контекстуализированные модели (LightFM) и классические подходы к рекомендациям (матричная факторизация, коллаборативная фильтрация). Все победители обогатили результаты работы модели разнообразными признаками, используя метаданные пользователей и объектов, а также статистику взаимодействий. Это широкое разнообразие успешных подходов к задаче рекомендаций фильмов в соревновании показывает ценность набора данных Kion для разработчиков рекомендательных систем и всеобъемлющую природу его данных. Далее мы опишем основные алгоритмы, которые были использованы победителями соревнования.

4.1. LambdaRank: Ранжирование с использованием градиентного бустинга над решающими деревьями

LambdaRank [3] представляет собой метод ранжирования, который оптимизирует стандартные метрики качества ранжирования, такие как NDCG. Этот метод базируется на идее преобразования проблемы ранжирования в задачу классификации или регрессии.

Основная идея. Вместо оптимизации функции потерь, которая напрямую связана с метрикой качества ранжирования, LambdaRank использует подход, при котором оптимизируется гладкая аппроксимация этой метрики.

Процесс обучения. Во время обучения для каждой пары объектов в обучающем наборе вычисляется значение “lambda” (отсюда и название метода). Это значение представляет собой приближенный градиент ошибки ранжирования по отношению к текущим предсказаниям модели. После этого стандартные методы (например, градиентный бустинг) могут использоваться для оптимизации модели на основе вычисленных значений “lambda”.

Формализация

Для пары объектов $i$ и $j$, если $i$ имеет более высокий рейтинг, чем $j$, то определяется следующая функция потерь:

где ${{s}_{i}}$ и ${{s}_{j}}$ – это оценки релевантности объектов $i$ и $j$, а $\sigma $ – параметр масштабирования.

“Lambda”, которая вычисляется для пары объектов, представляет собой приближенное изменение в метрике ранжирования, если бы порядок этой пары изменился. Это значение затем используется как градиент для оптимизации деревьев решений.

4.2. LightFM: Гибридная модель матричной факторизации

LightFM [12] представляет собой гибридную модель, которая может использовать как явные, так и неявные отклики и совместно сочетать матричную факторизацию с характеристиками пользователей и объектов.

Математическая модель:

Пусть $u$ обозначает пользователя, а $i$ обозначает товар. LightFM представляет каждого пользователя $u$ и каждый товар $i$ в виде векторов латентных признаков ${{p}_{u}}$ и ${{q}_{i}}$ соответственно. Предсказание модели для пары пользователь-товар определяется скалярным произведением их латентных векторов:

В отличие от стандартных моделей матричной факторизации, LightFM интегрирует признаки пользователей и объектов. Пусть ${{X}_{u}}$ и ${{Y}_{i}}$ обозначают векторы признаков для пользователя $u$ и объекта $i$ соответственно. Тогда латентные представления определяются как:

где ${{e}_{j}}$ и ${{f}_{k}}$ являются векторами латентных признаков для характеристик $j$ пользователя и $k$ объекта, а ${{\alpha }_{j}}$ и ${{\beta }_{k}}$ – это веса, связанные с этими характеристиками.

Функция потерь:

Для обучения модели используется функция потерь на основе логистической регрессии:

где $\sigma $ обозначает сигмоидную функцию. Оптимизация:

Для оптимизации параметров модели LightFM часто использует стохастический градиентный спуск (SGD). Он позволяет модели масштабироваться для больших наборов данных, делая обновления на основе случайных мини-пакетов данных.

Холодный старт:

Одним из наиболее значимых преимуществ LightFM является его способность справляться с проблемой холодного старта, когда новые пользователи или товары добавляются в систему без какой-либо предыдущей истории взаимодействий. Благодаря включению признаков пользователей и товаров LightFM может предсказывать рейтинги для новых пользователей или товаров на основе их признаков, даже если у модели нет истории взаимодействий с ними.

LightFM предлагает уникальное сочетание матричной факторизации и признаков пользователей/товаров, что делает его мощным инструментом для рекомендательных систем, особенно в сценариях с холодным стартом.

4.3. BERT4Rec: BERT для последовательных рекомендаций

BERT4Rec [21] представляет собой адаптацию архитектуры BERT, настроенную для задач последовательных рекомендаций.

Концептуальные основы. В области рекомендаций история взаимодействия пользователя мо- жет быть воспринята как последовательность. BERT4Rec обучается предсказывать следующий товар в последовательности взаимодействий пользователя, используя возможности архитектуры Transformer для нахождения сложных зависимостей в этих последовательностях.

Архитектура модели. BERT4Rec использует архитектуру Transformer, состоящую из нескольких слоев с механизмом внимания. Данной последовательности взаимодействий $s = ({{i}_{1}},{{i}_{2}}, \ldots ,{{i}_{t}})$, модель создает контекстные вложения для каждого товара в последовательности. Целью во время обучения является предсказание следующего товара, ${{i}_{{t + 1}}}$, на основе текущего контекста.

Для выполнения задачи предсказания BERT4Rec в процессе обучения “маскирует” некоторые объекты в последовательности и пытается их предсказать, аналогично цели маскированной языковой модели в оригинальном BERT.

Для данной последовательности некоторый процент объектов “маскируется”. Цель модели – правильно предсказать эти “маскированные” объекты на основе их контекста. Формально, для последовательности $s$ и “маскированных” позиций M, целью является:

где ${{s}_{{\neg i}}}$ обозначает последовательность с удаленным элементом i, и $\theta $ представляет параметры модели.

4.4. SASRec: Последовательная модель рекомендаций на основе механизма внимания

SASRec [10] – это модель для последовательных рекомендаций, основанная на механизме внимания из архитектуры Transformer.

Концептуальные основы. В задачах последовательных рекомендаций важно учитывать порядок взаимодействий пользователя с объектами. SASRec использует механизм внимания для моделирования зависимостей между различными объектами в последовательности без учета предварительно заданных временных шкал.

Архитектура модели. SASRec состоит из нескольких блоков Transformer. Для входной последовательности взаимодействий $s = ({{i}_{1}},{{i}_{2}}, \ldots ,{{i}_{t}})$, модель создает контекстные вложения для каждого объекта последовательности.

Механизм внимания. Механизм внимания позволяет модели учитывать различные объекты в последовательности с разной степенью внимания. Формально, вес внимания между объектами $i$ и $j$ в последовательности рассчитывается как:

где ${\text{score}}(i,j)$ – это скалярное произведение вложений объектов $i$ и $j$.

Целью в процессе обучения является предсказание следующего объекта в последовательности. Для элемента ${{i}_{t}}$ в последовательности $s$, целью является максимизация вероятности следующего объекта, ${{i}_{{t + 1}}}$:

где θ представляет параметры модели.

4.5. Caser: Персонализированные рекомендации на основе сверточных сетей

Caser [22] представляет собой модель для последовательных рекомендаций, которая использует сверточные нейронные сети для учета порядка товаров в истории пользователя.

Основная идея. Традиционные последовательные рекомендательные модели часто не учитывают геометрическую или временную структуру данных. Caser был разработан для учета последовательности и порядка товаров в истории пользователя.

Архитектура модели. Caser использует два ключевых компонента: горизонтальные и вертикальные свертки. Горизонтальные свертки призваны улавливать соседние товары, тогда как вертикальные свертки улавливают долгосрочные зависимости.

Предположим, что у нас есть последовательность товаров $s = ({{i}_{1}},{{i}_{2}}, \ldots ,{{i}_{t}})$. Вначале каждый товар в последовательности представлен его векторным вложением, формируя матрицу вложений.

Сверточные слои. Горизонтальные свертки применяются к каждому вложению, чтобы уловить локальные зависимости между соседними товарами. Вертикальные свертки применяются ко всей матрице вложений, чтобы уловить глобальные зависимости по всей истории пользователя.

Как и в других последовательных рекомендательных моделях, целью обучения Caser является предсказание следующего товара на основе истории пользователя. Для товара ${{i}_{t}}$ в последовательности s цель состоит в максимизации вероятности следующего элемента, ${{i}_{{t + 1}}}$:

где θ представляет параметры модели.