1. На главную
  2. Электронные версии
  3. Доклады Российской академии наук. Математика, информатика, процессы управления
  4. T. 514, № 2, 2023

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 270-288

ГРАФОВЫЕ МОДЕЛИ ДЛЯ КОНТЕКСТНОГО ПРОГНОЗИРОВАНИЯ НАМЕРЕНИЙ В ДИАЛОГОВЫХ СИСТЕМАХ

Д. П. Кузнецов 1, *, Д. Р. Леднева 1, **

1 Московский физико-технический институт (национальный исследовательский университет)
Долгопрудный, Московская обл., Россия

* E-mail: kuznetsov.den.p@phystech.edu
** E-mail: da.led@mail.ru

Поступила в редакцию 31.08.2023
После доработки 15.09.2023
Принята к публикации 15.10.2023

Аннотация

В статье представлена инновационная методология прогнозирования намерений в диалоговых системах на основе графового подхода. Методология заключается в создании графовых структур, представляющих диалоги, с целью отображения контекстной информации. На основе анализа результатов, полученных на различных наборах данных с открытым и закрытым доменом, авторы демонстрируют, что использование графовых моделей в сочетании с текстовыми энкодерами существенно повышает точность прогнозирования намерений. Основное внимание уделяется исследованию влияния различных графовых архитектур и энкодеров на производительность предложенного подхода. Экспериментальные результаты подтверждают превосходство графовых подходов по метрикам точности и вычислительных ресурсов над другими методами по метрике Recall@k (MAR). Данная работа раскрывает новое направление в предсказании намерений в диалоговых системах с использованием графов, внося важный вклад в область обработки естественного языка и машинного обучения.

Ключевые слова: предсказание интентов, диалоговые системы, графовые нейронные сети

Список литературы

  1. Grigory Minakov, Mumtozbek Akhmadjonov, Denis Kuznetsov. 2023. NEUROINFORMATICS 2023. Dialogue Graphs: Enhancing Response Selection Through Target Node Separation, pages 39–53.

  2. Niklas Muennighoff, Nouamane Tazi, Loic Magne, Nils Reimers. MTEB: Massive text embedding benchmark. // Proceedings of the 17th Conference of the European Chapter of the Association for Computa- tional Linguistics. Dubrovnik, Croatia, May. Association for Computational Linguistics. 2023. P. 2014–2037.

  3. Steinley D. K-means clustering: a half-century synthesis. Br J Math Stat Psychol. 2006. V. 59. Pt 1. P. 1–34. https://doi.org/10.1348/000711005X48266

  4. Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun. Graph neural networks: A review of methods and applications, AI Open. 2020. V. 1. P. 57–81, ISSN 2666-6510.https://doi.org/10.1016/j.aiopen.2021.01.001

  5. Veličković P., et al. Graph Attention Networks. 6th International Conference on Learning Representations, ICLR 2018 - Conference Track Proceedings. OpenReview.net, 2018.https://doi.org/10.17863/CAM.48429.

  6. Yun Seongjun, Minbyul Jeong, Sungdong Yoo, Seunghun Lee, Sean S. Yi, Raehyun Kim, Jaewoo Kang, Hyunwoo J. Kim. “Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs.” Neural networks : the official journal of the International Neural Network Society. 2021. V. 153. P. 104–119.

  7. Nagovitsin M., Kuznetsov D. DGAC: Dialogue Graph Auto Construction Based on Data with a Regular Structure. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research VI. NEUROINFORMATICS. Studies in Computational Intelligence, vol 1064. Springer, Cham, 2022. https://doi.org/10.1007/978-3-031-19032-2_52

  8. Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, Wei Wang. Language-agnostic BERT sentence embedding. // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2022. P. 878–891, Dublin, Ireland, May. Association for Computational Linguistics.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Доклады Российской академии наук. Математика, информатика, процессы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал