1. На главную
  2. Электронные версии
  3. Доклады Российской академии наук. Математика, информатика, процессы управления
  4. T. 514, № 2, 2023

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 80-90

НОВЫЙ ВЫЧИСЛИТЕЛЬНО ПРОСТОЙ МЕТОД ДЛЯ РЕАЛИЗАЦИИ НЕЙРОННЫХ СЕТЕЙ С ЖЕСТКИМИ ОГРАНИЧЕНИЯМИ НА ВЫХОДНЫЕ ДАННЫЕ

А. В. Константинов 1, *, Л. В. Уткин 1, **

1 Высшая школа технологий искусственного интеллекта, Санкт-Петербургский политехнический университет Петра Великого
Санкт-Петербург, Россия

* E-mail: andrue.konst@gmail.com
** E-mail: lev.utkin@gmail.com

Поступила в редакцию 09.08.2023
После доработки 25.09.2023
Принята к публикации 15.10.2023

Аннотация

Предлагается новый вычислительно простой метод построения нейронных сетей, строго удовлетворяющих ограничениям на выход. Ключевая идея метода заключается в отображении скрытого вектора сети в точку, которая гарантированно находится внутри допустимого множества, определяемого набором выпуклых ограничений. Отображение реализуется дополнительным слоем нейронной сети. Предлагаемый метод обобщается на случай, когда совместные ограничения накладываются на входные и выходные вектора. В рамках предлагаемого метода также реализуется модель проецирования в ограниченное выпуклое множество. Реализованы различные типы ограничений, в том числе линейные и квадратичные ограничения, ограничения равенства и динамические ограничения, а также возможность отображения на границу выпуклого множества. Важной особенностью метода является его вычислительная простота. Сложность прямого прохода предлагаемого слоя нейронной сети с линейными и квадратичными ограничениями равна $O\left( {nm} \right)$ и $O({{n}^{2}}m)$, соответственно, где n – количество переменных, m – число ограничений. Численные эксперименты иллюстрируют метод путем решения задач оптимизации и классификации. Программный код, реализующий метод, находится в открытом доступе.

Ключевые слова: нейронные сети, жесткие ограничения, выпуклое множество, модель проекции, задача оптимизации, классификация

Список литературы

  1. Marquez-Neila P., Salzmann M., Fua P. Imposing Hard Constraints on Deep Networks: Promises and Limitations. CVPR Workshop on Negative Results in Computer Vision. 2017. P. 1–9.

  2. Frerix T., Niessner M., Cremers D. Homogeneous Linear Inequality Constraints for Neural Network Activations. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020. P. 748–49.

  3. Lee J.Y., Mehta S.V., Wick M., Tristan J.-B., Carbonell J. Gradient-Based Inference for Networks with Output Constraints. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI-19). 2019. V. 33. P. 4147–54.

  4. Donti P.L., Rolnick D., Kolter J.Z. DC3: A Learning Method for Optimization with Hard Constraints. International Conference on Learning Representations (ICLR 2021). 2021. P. 1–17.

  5. Brosowsky M., Keck F., Dunkel O., Zollner M. Sample-Specific Output Constraints for Neural Networks. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21). 2021. P. 6812–21.

  6. Amos B., Kolter J.Z. Optnet: Differentiable Optimization as a Layer in Neural Networks. International Conference on Machine Learning. PMLR, 2017. P. 136–145.

  7. Agrawal A., Amos B., Barratt S., Boyd S., Diamond S., Kolter J.Z. Differentiable Convex Optimization Layers. Advances in Neural Information Processing Systems. 2019. V. 32. P. 1–13.

  8. Li M., Kolouri S., Mohammadi J. Learning to Solve Optimization Problems with Hard Linear Constraints. IEEE Access. 2023. V. 11. P. 59995–60004.

  9. Balestriero R., LeCun Y. Police: Provably Optimal Linear Constraint Enforcement for Deep Neural Networks. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE. 2023. P. 1–5.

  10. Chen Y., Huang D., Zhang D., Zeng J., Wang N., Zhang H., Yan J. Theory-Guided Hard Constraint Projection (HCP): A Knowledge-Based Data-Driven Scientific Machine Learning Method. Journal of Computational Physics. 2021. V. 445 (110624).

  11. Negiar G., Mahoney M.W., Krishnapriyan A. Learning Differentiable Solvers for Systems with Hard Constraints. The Eleventh International Conference on Learning Representations (ICLR 2023). 2023. P. 1–19.

  12. Kotary J., Fioretto F., Van Hentenryck P. Learning Hard Optimization Problems: A Data Generation Perspective. 35th Conference on Neural Information Processing Systems (NeurIPS 2021). 2021. V. 34. P. 24981–24992.

  13. Kotary J., Fioretto F., Van Hentenryck P., Wilder B. End-to-End Constrained Optimization Learning: A Survey. Proceedings of the Thirtieth International Joint Con-ference on Artificial Intelligence (IJCAI-21). 2021. P. 4475–82.

  14. Stellato B., Banjac G., Goulart P., Bemporad A., Boyd S. OSQP: An Operator Splitting Solver for Quadratic Programs. Mathematical Programming Computation. 2020. V. 12. № 4. P. 637–72.

  15. Rosenbrock H.H. An Automatic Method for Finding the Greatest or Least Value of a Function. The Computer Journal. 1960. V. 3. № 3. P. 175–84.

  16. Mishra S.K. Some New Test Functions for Global Optimization and Performance of Repulsive Particle Swarm Method. Available at SSRN 926132. 2006. P. 1–24.

  17. Raissi M., Perdikaris P., Karniadakis G.E. Physics-Informed Neural Networks: A Deep Learning Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations. Journal of Computational Physics 2019. V. 378. P. 686–707.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Доклады Российской академии наук. Математика, информатика, процессы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал