1. На главную
  2. Электронные версии
  3. Доклады Российской академии наук. Математика, информатика, процессы управления
  4. T. 514, № 2, 2023

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 72-79

СПЕКТРАЛЬНЫЕ НЕЙРОННЫЕ ОПЕРАТОРЫ

В. С. Фанасков 1, *, И. В. Оселедец 1, 2, **

1 Сколковский институт науки и технологий
Москва, Россия

2 AIRI
Москва, Россия

* E-mail: v.fanaskov@skoltech.ru
** E-mail: i.oseledets@skoltech.ru

Поступила в редакцию 30.08.2023
После доработки 06.09.2023
Принята к публикации 15.10.2023

Аннотация

В недавних работах были построены нейронные операторы – обобщение нейронных сетей, позволяющее приближать отображения между бесконечномерными векторными пространствами. Используя численные и аналитические методы, мы продемонстрируем особенности обучения и оценки эффективности для подобных нейронных сетей. В частности, мы покажем, что для широкого класса нейронных операторов, основанных на интегральных преобразованиях, неизбежно появление систематической ошибки, связанной с наложением спектра. Чтобы избежать этой ошибки, мы введем спектральные нейронные операторы, которые в явном виде используют дискретизацию для областей определения и значения. Несмотря на то что дискретизация уменьшает способность к аппроксимации, на практике оказывается, что спектральные нейронные операторы часто превосходят по точности нейронные операторы, определенные на бесконечномерных банаховых пространствах.

Ключевые слова: нейронные операторы, уравнения в частных производных

Список литературы

  1. Hull T.E. et al. “Comparing numerical methods for ordinary differential equations”. B: SIAM Journal on Numerical Analysis 9.4. 1972. P. 603–637.

  2. Fornberg B., Whitham G.B. “A numerical and theoretical study of certain nonlinear wave phenomena”. B: Philosophical Transactions of the Royal Society of London. Series A, Mathematical and Physical Sciences 289.1361. 1978. P. 373–404.

  3. Tohru Yoneyama. “The Korteweg-de Vries two-soliton solution as interacting two single solitons”. B: Progress of theoretical physics 71.4. 1984. P. 843–846.

  4. Lagaris I.E., Likas A., Fotiadis D.I. “Artificial neural networks for solving ordinary and partial differential equations”. B: IEEE transactions on neural networks 9.5. 1998. P. 987–1000.

  5. Trefethen L.N. Spectral methods in MATLAB. SIAM, 2000.

  6. Boyd J.P. Chebyshev and Fourier spectral methods. Courier Corporation, 2001.

  7. Saksman M.L., Siltanen S. et al. “Discretization-invariant Bayesian inversion and Besov space priors”. B: arXiv preprint arXiv:0901.4220. 2009.

  8. Kedziora D.J., Ankiewicz A., Akhmediev N. “Second-order nonlinear Schrödinger equation breather solutions in the degenerate and rogue wave limits”. B: Physical Review E 85.6. 2012. P. 066601.

  9. Bar-Sinai Y. et al. “Learning data-driven discretizations for partial differential equations”. B: Proceedings of the National Academy of Sciences 116.31. 2019. P. 15344–15349.

  10. Lu Lu, Jin P., Karniadakis G.E. “DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators”. B: arXiv preprint arXiv:1910.03193. 2019.

  11. Trefethen L.N. Approximation Theory and Approximation Practice, Extended Edition. SIAM, 2019.

  12. Ummenhofer B. et al. “Lagrangian fluid simulation with continuous convolutions”. B: International Conference on Learning Representations. 2019.

  13. Zongyi Li et al. “Fourier neural operator for parametric partial differential equations”. B: arXiv preprint arXiv:2010.08895 (2020).

  14. Zongyi Li et al. “Neural operator: Graph kernel network for partial differential equations”. B: arXiv preprint arXiv:2003.03485 (2020).

  15. Gupta G., Xiongye Xiao, Bogdan P. “Multiwavelet-based operator learning for differential equations”. B: Advances in Neural Information Processing Systems. 2021. V. 34. P. 24048–24062.

  16. Kovachki N. et al. “Neural operator: Learning maps between function spaces”. B: arXiv preprint arXiv:2108.08481 (2021).

  17. Tripura T., Chakraborty S. “Wavelet neural operator: a neural operator for parametric partial differential equations”. B: arXiv preprint arXiv:2205.02191. 2022.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Доклады Российской академии наук. Математика, информатика, процессы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал