1. На главную
  2. Электронные версии
  3. Доклады Российской академии наук. Математика, информатика, процессы управления
  4. T. 514, № 2, 2023

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 49-59

ИССЛЕДОВАНИЕ ВЛИЯНИЯ АДАПТИВНОЙ СПЕКТРАЛЬНОЙ НОРМАЛИЗАЦИИ НА КАЧЕСТВО ГЕНЕРАТИВНЫХ МОДЕЛЕЙ И СТАБИЛЬНОСТЬ ИХ ОБУЧЕНИЯ

Е. А. Егоров 1, *, А. И. Рогачев 1, **

1 Национальный исследовательский университет “Высшая школа экономики”
Москва, Россия

* E-mail: yegyegorov@gmail.com
** E-mail: airogachev@hse.ru

Поступила в редакцию 04.09.2023
После доработки 08.09.2023
Принята к публикации 18.10.2023

Аннотация

При использовании для обучения генеративно-состязательных сетей (GAN) функции потерь, основанной на расстоянии Вассерштейна (т.н. Wasserstein GAN), теоретически необходимым является ограничение выразительной способности дискриминатора (нормализация дискриминатора). Такое ограничение повышает стабильность обучения GAN ценой меньшей выразительности итоговой модели. Спектральная нормализация является одним из алгоритмов нормализации и заключается в применении фиксированной операции независимо к каждому слою дискриминатора. Однако для разных задач оптимальная сила ограничения дискриминатора различается, поэтому возникает необходимость в параметризованном методе нормализации. В данной работе предлагаются варианты модификации алгоритма спектральной нормализации, позволяющие изменять силу ограничения дискриминатора. Помимо параметризации, в предлагаемых методах сила ограничения может меняться во время обучения в отличие от оригинального алгоритма. Для каждого из предложенных методов исследуется качество получаемых моделей.

Ключевые слова: генеративно-состязательные сети, Wasserstein GAN, спектральная нормализация, физика высоких энергий

Список литературы

  1. Agostinelli S. et al. “Geant4 – a simulation toolkit”. B: Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment 506.3. 2003. P. 250–303. https://doi.org/10.1016/S0168-9002(03)01368-8

  2. Chekalina V. et al. “Generative Models for Fast Calorimeter Simulation: the LHCb case”. B: EPJ Web of Conferences 214. 2019. P. 02034. https://doi.org/10.1051/epjconf/201921402034

  3. Rogachev A., Ratnikov F. “GAN with an Auxiliary Regressor for the Fast Simulation of the Electromagnetic Calorimeter Response”. B: Journal of Physics: Conference Series 2438.1. 2023. P. 012086. https://doi.org/10.1088/1742-6596/2438/1/012086

  4. Arjovsky M., Chintala S., Bottou L. “Wasserstein Generative Adversarial Networks”. In v. 70. ICML. 2017. P. 214–223. https://doi.org/10.5555/3305381.3305404

  5. Takeru Miyato и дp. “Spectral Normalization for Generative Adversarial Networks”. B: International Conference on Learning Representations. 2018.

  6. Goodfellow I.J. et al. “Generative Adversarial Nets”. In v. 2. Advances in NIPS. 2014. P. 2672–2680. https://doi.org/10.5555/2969033.2969125

  7. Villani C. Optimal Transport: Old and New. Grundlehren der mathematischen Wissenschaften. Springer Berlin Heidelberg, 2016. isbn: 9783662501801.

  8. Shota Hirose и дp. “ABCAS: Adaptive Bound Control of spectral norm as Automatic Stabilizer”. B: IEEE International Conference on Consumer Electronics. 2023. P. 1–5. https://doi.org/10.1109/ICCE56470.2023.10043368

  9. Mehdi S.M. Sajjadi et al. “Assessing Generative Models via Precision and Recall”. B: NIPS’18. 2018. P. 5234–5243. https://doi.org/10.5555/3327345.3327429

  10. Kostenetskiy P.S., Chulkevich R.A., Kozyrev V.I. “HPC Resources of the Higher School of Economics”. B: Journal of Physics: Conference Series 1740.1 (янв. 2021. P. 012050. https://doi.org/10.1088/1742-6596/1740/1/012050

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Доклады Российской академии наук. Математика, информатика, процессы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал