Доклады Российской академии наук. Математика, информатика, процессы управления, 2020, T. 490, № 1, стр. 74-77

Отсутствие узких горловин в архитектуре нейронной сети определяет ее свойства как функции общего положения

С. В. Курочкин *

Национальный исследовательский университет “Высшая школа экономики”
Москва, Россия

* E-mail: skurochkin@hse.ru

Поступила в редакцию 08.11.2019
После доработки 08.11.2019
Принята к публикации 08.11.2019

Аннотация

Доказано, что искусственная нейронная сеть с гладкими функциями активации является функцией Морса для почти всех, в смысле меры Лебега, наборов весов в случае, если в сети нет слоев с количеством нейронов меньшим, чем в предшествующих и последующих слоях.

Ключевые слова: нейронная сеть, функция Морса

DOI: 10.31857/S2686954320010166

Список литературы

  1. Cybenko G.V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control Signals and Systems. 1989. V. 2. № 4. P. 303–314. https://doi.org/10.1007/bf02551274

  2. Pinkus A. Approximation Theory of the MLP Model in Neural Networks // Acta Numerica. 1999. V. 8. P. 143–195. https://doi.org/10.1017/S0962492900002919

  3. Журавлев Ю.И., Рудаков К.В. Об алгебраической коррекции процедур обработки (преобразования) информации // Проблемы прикладной математики и информатики. М.: Наука, 1987. С. 187–198.

  4. Курочкин С.В. Распознавание гомотопического типа объекта с помощью дифференциально-топологических инвариантов аппроксимирующего отображения // Компьютерная оптика. 2019. Т. 43. № 4. С. 611–617. https://doi.org/10.18287/2412-6179-2019-43-4-611-617

  5. Постников М.М. Введение в теорию Морса. М.: Наука, 1971.

  6. Arnold V. Smooth functions statistics // Funct. Anal. Other Math. 2006. № 1. P. 111–118. https://doi.org/10.1007/s11853-007-0008-6

  7. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс, 2017.

  8. Le C. A note on Optimization with Morse Polynomials // Commun. Korean Math. Soc. 2018. V. 33. № 2. P. 671–676. https://doi.org/10.4134/CKMS.c170221

  9. Banyaga A., Hurtubise D. Lectures on Morse Homology. Kluwer Texts Math. Sci. Dordrecht: Kluwer Acad. Publ., 2004. V. 29.

  10. Прасолов В.В. Элементы комбинаторной и дифференциальной топологии. М.: МЦНМО, 2014.

  11. Baksalary J.K., Kala R. The Matrix Equation AX – – YB = C // Linear Algebra and Its Applications. 1979. V. 30. P. 41–43. https://doi.org/10.1016/0024-3795(79)90004-1

  12. Прасолов В.В. Задачи и теоремы линейной алгебры. М.: МЦНМО, 2015.

  13. Nicolaescu L. An Invitation to Morse Theory. Springer, 2011. ISBN 978-1-4614-1105-5.

  14. Carlsson G. Topology and Data // Bulletin of the American Mathematical Society. 2009. V. 46. № 2. P. 255–308. https://doi.org/10.1090/S0273-0979-09-01249-X

Дополнительные материалы отсутствуют.

Инструменты

Доклады Российской академии наук. Математика, информатика, процессы управления