1. На главную
  2. Электронные версии
  3. Доклады Российской академии наук. Математика, информатика, процессы управления
  4. T. 514, № 2, 2023

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 187-195

ОДНОМЕРНЫЕ ТОПОЛОГИЧЕСКИЕ ИНВАРИАНТЫ ДЛЯ ОЦЕНКИ НЕВЫПУКЛОСТИ ФУНКЦИИ ПОТЕРЬ

Д. С. Воронкова 1, *, С. А. Баранников 1, 3, Е. В. Бурнаев 1, 2

1 Сколковский институт науки и технологий
Москва, Россия

2 Научно-исследовательский институт искусственного интеллекта AIRI
Москва, Россия

3 CNRS, IMJ, Paris Cité University
Франция

* E-mail: Darya.Voronkova@skoltech.ru

Поступила в редакцию 05.09.2023
После доработки 15.09.2023
Принята к публикации 18.10.2023

Аннотация

В данной работе рассматривается применение топологического анализа данных к исследованию геометрических свойств ландшафта функции потерь. Используя топологию и теорию Морса, мы строим одномерные топологические инварианты для оценки близости функции потерь к выпуклой функции с точностью до произвольной перепараметризации. Предложенный подход использует оптимизацию двумерных симплексов в пространстве параметров нейросети и позволяет проводить как качественную, так и количественную оценку ландшафта функции потерь для получения новых представлений о поведении и оптимизации нейронных сетей. Мы предоставляем геометрическую интерпретацию топологических инвариантов и описываем алгоритм их вычисления. Мы ожидаем, что предложенный подход может дополнить существующие инструменты для анализа ландшафта функции потерь и пролить свет на нерешенные вопросы в области глубокого обучения.

Список литературы

  1. Hao Li, Zheng Xu, Gavin Taylor, Christoph Studer, Tom Goldstein. Visualizing the Loss Landscape of Neural Nets. NeurIPS 2018.

  2. Namuk Park, Songkuk Kim. How Do Vision Transformers Work? ICLR 2022.

  3. Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang. On Large-Batch Training For Deep Learning: Generalization Gap and Sharp Minima. ICLR 2017.

  4. Laurent Dinh, Razvan Pascanu, Samy Bengio, Yoshua Bengio. Sharp Minima Can Generalize For Deep Nets. ICML 2017.

  5. Felix Draxler, Kambis Veschgini, Manfred Salmhofer, Fred A. Hamprecht. Essentially No Barriers in Neural Network Energy Landscape. ICML 2018.

  6. Timur Garipov, Pavel Izmailov, Dmitrii Podoprikhin, Dmitry Vetrov, Andrew Gordon Wilson. Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs. NeurIPS 2018.

  7. Gregory W. Benton, Wesley J. Maddox, Sanae Lotfi, Andrew Gordon Wilson. Loss Surface Simplexes for Mode Connecting Volumes and Fast Ensembling. ICML 2021.

  8. Stanislav Fort, Stanislaw Jastrzebski. Large Scale Structure of Neural Network Loss Landscapes. 2019.

  9. Rahim Entezari, Hanie Sedghi, Olga Saukh, and Behnam Neyshabur. The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks. ICLR 2022.

  10. Samuel K. Ainsworth, Jonathan Hayase, Siddhartha Srinivasa. Git Re-Basin: Merging Models Modulo Permutation Symmetries. ICLR 2023.

  11. Yaoqing Yang, Liam Hodgkinson, Ryan Theisen, Joe Zou, Joseph E. Gonzalez, Kannan Ramchandran, Michael W. Mahoney. Taxonomizing Local Versus Global Structure in Neural Network Loss Landscapes. NeurIPS 2021.

  12. Ian J. Goodfellow, Oriol Vinyals, Andrew M. Saxe. Qualitatively Characterizing Neural Network Optimization Problems. ICLR 2015.

  13. Leslie N. Smith, Nicholay Topin. Exploring Loss Function Topology with Cyclical Learning Rates. ICLR 2017.

  14. Haowei He, Gao Huang, Yang Yuan. Asymmetric Valleys: Beyond Sharp and Flat Local Minima. 2019.

  15. Akhilesh Gotmare, Nitish Shirish Keskar, Caiming Xiong, Richard Socher. Using Mode Connectivity for Loss Landscape Analysis. 2018.

  16. Ivan Skorokhodov, Mikhail Burtsev. Loss Surface Sightseeing by Multi-Point Optimization. NeurIPS 2019.

  17. Wojciech Marian Czarnecki, Simon Osindero, Razvan Pascanu, Max Jaderberg. A Deep Neural Network’s Loss Surface Contains Every Low-dimensional Pattern. 2020.

  18. Serguei Barannikov, Alexander Korotin, Dmitry Oganesyan, Daniil Emtsev, Evgeny Burnaev. Barcodes as summary of loss function’s topology. 2020.

  19. Rohith Kuditipudi, Xiang Wang, Holden Lee, Yi Zhang, Zhiyuan Li, Wei Hu, Sanjeev Arora, Rong Ge. Explaining Landscape Connectivity of Low-cost Solutions for Multilayer Nets. NeurIPS 2019.

  20. Chazal Frédéric and Michel Bertrand. An Introduction to Topological Data Analysis: Fundamental and Practical Aspects for Data Scientists. Frontiers in artificial intelligence. 2021. V. 4. P. 108.

  21. Le Peutrec D. and Nier F. and Viterbo C. Precise Arrhenius Law for p-forms: The Witten Laplacian and Morse–Barannikov Complex, Annales Henri Poincaré. Annales Henri Poincaré, 2013.

  22. Zomorodian Afra J. Computing and comprehending topology: Persistence and hierarchical Morse complexes (Ph.D.Thesis). 2001.

  23. Serguei Barannikov. Framed Morse complexes and its invariants. Advances in Soviet Mathematics. 1994. V. 21. P. 93–116.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Доклады Российской академии наук. Математика, информатика, процессы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал