1. На главную
  2. Электронные версии
  3. Доклады Российской академии наук. Математика, информатика, процессы управления
  4. T. 514, № 2, 2023

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 118-125

ЭФФЕКТИВНОЕ ОБУЧЕНИЕ ГРАФОВЫХ СЕТЕЙ НА МНОГОМЕРНЫХ МНОГОСЛОЙНЫХ ПРЕДСТАВЛЕНИЯХ ТАБЛИЧНЫХ ДАННЫХ

А. В. Медведев 1, *, А. Г. Дьяконов 2, **

1 ООО “Яндекс”
Москва, Россия

2 Центральный университет
Москва, Россия

* E-mail: fortunato.mav@gmail.com
** E-mail: djakonov@mail.ru

Поступила в редакцию 01.09.2023
После доработки 15.09.2023
Принята к публикации 18.10.2023

Аннотация

Для задач предсказания на табличных данных дополнительная информация о целевой переменной может быть скрыта в отношениях между объектами. В частности если для таких объектов можно построить граф, где они будут вершинами, а связи между ними будут выражаться ребрами. Недавние работы показали, что совместное обучение графовых нейронных сетей и градиентных бустингов на таких данных дает прирост качества предсказания. В данной статье мы предлагаем новые методы обучения на табличных данных с графовой структурой. Эти методы являются попытками унифицировать современные многослойные модели для обработки табличных данных и графовые нейронные сети. Мы также предлагаем способы борьбы с вычислительной сложностью реализованных моделей и проводим наши эксперименты для индуктивных и трансдуктивных случаев. Наши результаты показывают, что предложенные модели обеспечивают качество, сравнимое с современными подходами.

Ключевые слова: табличные данные, графовые нейронные сети

Список литературы

  1. Li M., Chen S., Chen X., Zhang Y., Wang Y., Tian Q. Actional-structural graph convolutional networks for skeleton-based action recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. P. 3595–3603.

  2. Hamilton W.L., Ying R., Leskovec J. Inductive representation learning on large graphs. 2017. arXiv preprint arXiv:1706.02216

  3. Li Z., Cui Z., Wu S., Zhang X., Wang L. Fi-gnn: Modeling feature interactions via graph neural networks for ctr prediction. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019. P. 539–548.

  4. Chen Z.M., Wei X.S., Wang P., Guo Y. Multi-label image recognition with graph convolutional networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. P. 5177–5186.

  5. Feng J., Yu Y., Zhou Z.H. Multi-layered gradient boosting decision trees. 2018. arXiv preprint arXiv:1806.00007

  6. Popov S., Morozov S., Babenko A. Neural oblivious decision ensembles for deep learning on tabular data. 2019. arXiv preprint arXiv:1909.06312

  7. Ivanov S., Prokhorenkova L. Boost then Convolve: Gradient Boosting Meets Graph Neural Networks. 2021. arXiv preprint arXiv:2101.08543

  8. Pace R.K., Barry R. Sparse spatial autoregressions. Statistics & Probability Letters. 1997. V. 33. № 3. P. 291–297.

  9. Tsitsulin A., Mottin D., Karras P., Müller E. 1Verse: Versatile graph embeddings from similarity measures. In Proceedings of the 2018 world wide web conference. 2018. P. 539–548.

  10. Jia Junteng, Austin Benson. “Outcome correlation in graph neural network regression”. 2020. arXiv preprint arXiv:2002.08274

  11. Lee D.H., Zhang S., Fischer A., Bengio Y. Difference target propagation. In Joint european conference on machine learning and knowledge discovery in databases. Springer, Cham, 2015. P. 498–515.

  12. Peters B., Niculae V., Martins A.F. Sparse sequence-to-sequence models. 2019. arXiv preprint arXiv:1905.05702

  13. Hamilton W.L., Ying R., Leskovec J. Inductive representation learning on large graphs. 2017. arXiv preprint arXiv:1706.02216

  14. Veličković P., Cucurull G., Casanova A., Romero A., Lio P., Bengio Y. Graph attention networks. 2017. arXiv preprint arXiv:1710.10903

  15. Van der Maaten L., Hinton G. Visualizing data using t-SNE. Journal of machine learning research. 2008. V. 9. № 11.

  16. Thekumparampil K.K., Wang C., Oh S., Li L.J. Attention-based graph neural network for semi-supervised learning. 2018. arXiv preprint arXiv:1803.03735

  17. Klicpera J., Bojchevski A., Günnemann S. Predict then propagate: Graph neural networks meet personalized pagerank. 2018. arXiv preprint arXiv:1810.05997

  18. Kipf T.N., Welling M. Semi-supervised classification with graph convolutional networks. 2016. arXiv preprint arXiv:1609.02907

  19. Perozzi B., Al-Rfou R., Skiena S. Deepwalk: Online learning of social representations. In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. 2014. P. 701–710.

  20. Grover A., Leskovec J. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. 2016. P. 855–864.

  21. Williamson C. Spectral graph theory, expanders, and ramanujan graphs. University of Washington. 2014.

  22. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser Ł., Polosukhin I. Attention is all you need. Advances in neural information processing systems. 2017. V. 30.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Доклады Российской академии наук. Математика, информатика, процессы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал