Известия РАН. Теория и системы управления, 2020, № 6, стр. 132-151

КОНЦЕПЦИЯ ПОСТРОЕНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ “ИСКУССТВЕННЫЙ ДИСПЕТЧЕР” ДЛЯ АВТОМАТИЧЕСКОЙ СИСТЕМЫ УПРАВЛЕНИЯ ЭЛЕКТРИЧЕСКИМИ СЕТЯМИ НА БАЗЕ ГЛУБОКОГО ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ

Н. В. Томин *

ИСЭМ СО РАН
Иркутск, Россия

* E-mail: tomin.nv@gmail.com

Поступила в редакцию 29.08.2018
После доработки 13.03.2020
Принята к публикации 30.03.2020

Аннотация

Предложена концепция автономной интеллектуальной системы управления “Искусственный диспетчер” для интеграции в современные автоматические системы управления электрическими сетями с целью повышения эффективности управления режимами электроэнергетических систем. Данная интеллектуальная система управления реализуется на базе технологии глубокого машинного обучения с подкреплением при совместном использовании метода Монте-Карло для поиска в дереве и глубоких искусственных нейронных сетей. Показано, что эффективное обучение интеллектуальной системы управления “Искусственный диспетчер” достижимо без применения больших баз данных по схемно-режимным ситуациям и экспертного опыта управления режимами электроэнергетических систем за счет инновационного алгоритма самостоятельной игры. Приведены расчетные примеры использования агентов, создаваемых на основе концепции интеллектуальной системы управления “Искусственный диспетчер”, в задачах автоматизации технологическими процессами подстанций (управление регуляторами напряжения и реактивной мощности) и промышленных предприятий (управление серводвигателем постоянного тока).

DOI: 10.31857/S0002338820050121

Список литературы

  1. Дроздов А.Д., Засыпкин А.С., Аллилуев А.А. и др. Автоматизация энергетических систем. Учебное пособие для студентов электроэнергетических специальностей вузов. М.: Энергия, 1977. 440 с.

  2. The World Market Study of SCADA, Energy Management Systems, Distribution Management Systems and Outage Management Systems in Electric Utilities: 2017–2019. A Four-Volume Report by Newton-Evans Research Company. Dublin, 2017.

  3. Voropai N.I., Tomin N.V., Sidorov D.N. et al. A Suite of Intelligent Tools for Early Detection and Prevention of Blackouts in Power Interconnections // Autom Remote Control. 2018. № 79. P. 1741–1755.

  4. Панасецкий Д.А. Совершенствование структуры и алгоритмов противоаварийного управления ЭЭС для предотвращения лавины напряжения и каскадного отключения линий: Дис. … канд. техн. наук: 05.14.02. Иркутск: ИСЭМ СО РАН, 2015. 192 с.

  5. Сулейманова А.М. Интеллектуальный советчик диспетчера по управлению электроэнергетической системой в аварийных ситуациях: Дис. … канд. техн. наук: 05.13.06. Уфа: УГАТУ, 1993. 188 с.

  6. Поспелов Д.А. Принципы ситуационного управления // Изв. АН СССР. Техн. кибернетика. 1971. № 2. С. 3–10.

  7. Кирилин И.В. Классификация состояний электрических сетей промышленных предприятий для управления компенсацией реактивной мощности: Дис. … канд. техн. наук: 05.14.02. Красноярск: Сибирский федеральный ун-т, 2011, 218 с.

  8. Hiyama T., Hubbi W., Ortmeyer T.H. Fuzzy Logic Control Scheme with Variable Gain For Static Var Compensator to Enhance Power System Stability // IEEE Trans. on Power Systems. 1999. V. 4. P. 186–191.

  9. Комплекс Каскад-НТ 2.0 [электронный документ], 2016. http://www.cascadent.ru/cascade2016.pdf.

  10. Volt-VAr Management Solutions for Smart Grid Distribution Automation Applications [электронный документ] // Product Brochure of the ABB Smart Grid Center of Excellence. https://library.e.abb.com/public/d9e73a8d3d91161bc1257b6a006cc340/VVMS%20brochure_final_v4.pdf .

  11. Григорьев С.П. АСУ ТП: Ошибки первого и второго рода [электронный документ] // Deming Pro. https://www.deming.pro/spc-cases-apcs.html.

  12. Negnevitsky M. Artificial Intelligence: A Guide to Intelligent Systems. 3rd edn. Harlow, England: Addison Wesley. 2011. 504 p.

  13. Kaci A, Kamwa I., Dessaint L. et al. Synchrophasor Data Baselining and Mining for Online Monitoring of Dynamic Security Limits // IEEE Trans. on Power Systems. 2014. V. 29. № 6. P. 2681–2695.

  14. Liu C., Bak C.L., Chen Z. et al. Dynamic security assessment of western Danish power system based on ensemble decision trees // Proc. 12th IET Intern. Conf. on Developments in Power System Protection. Copenhagen, 2014.

  15. Tomin N.V., Kurbatsky V.G., Reutsky I.S. Hybrid Intelligent Technique for Voltage/VAR Control In Power Systems // IET Generation, Transmission and Distribution. 2019. V. 13. № 20. P. 4724–4732.

  16. Kogan I., Boehme K., Herrmann H.-J. Внедрение передовых технологий машинного обучения в реле защиты // Сб. тр. Междунар. научно-техническая конф. и выставки “Релейная защита и автоматика энергосистем 2017”. Санкт-Петербург. 2017.

  17. Busch R. The Future of Manufacturing. Artificial Intelligence: Optimizing Industrial Operations [электронный документ] // Siemens Web Page. 2018. https://www.siemens.com/innovation/en/home/pictures-of-the-future/industry-and-automation/the-future-of-manufacturing-ai-in-industry.html.

  18. Webel S., Nikolaus K., Pease A.F. Autonomous Systems. Getting Machines to Mimic Intuition [электронный документ] // Siemens Web Page. 2016. https://www.siemens.com/innovation/en/home/pictures-of-the-future/digitalization-and-software/autonomous-systems-machine-learning.html

  19. Mocanu E., Nguyen P.H., Gibescu M. Deep Learning for Power System Data Analysis, In Big Data Application in Power Systems / Eds R. Arghandeh, Y. Zhou. Elsevier, 2018. P. 125–158.

  20. Tang Y., He H., Wen J., Liu J. Power System Stability Control for a Wind Farm Based on Adaptive Dynamic Programming // IEEE Trans. Smart Grid. 2015. V. 6. 2015. P. 166–177

  21. Liu Y. Machine Learning for Wind Power Prediction. MCS Thesis: Canada. University of New Brunswick, 2016. 88 p.

  22. Francois-Lavet V., Taralla D., Ernst D. et al. Deep Reinforcement Learning Solutions for Energy Microgrids Management // European Workshop on Reinforcement Learning. Barselona. 2016

  23. Zhukov A., Tomin N., Sidorov D., Kurbatsky V., Panasetsky D. On-Line Power Systems Security Assessment Using Data Stream Random Forest Algorithm // Innovative Computing, Optimization and Its Applications. Studies in Computational Intelligence. V. 741 / Eds I. Zelinka, P. Vasant, V. Duy, T. Dao. Springer, 2018.

  24. Tomin N., Negnevitsky M., Rehtanz Ch. Preventing Large-Scale Emergencies in Modern Power Systems: AI Approach // Advanced Computational Intelligence and Intelligent Informatics. 2014. V. 18. № 5. P. 714–727.

  25. Xu Y., Zhang W., Liu W., Ferrese F. Multiagent-Based Reinforcement Learning for Optimal Reactive Power Dispatch // IEEE Trans. Syst., Man, Cyber. 2012. V. 42. P. 1742–1751.

  26. Belkacemi R., Abdulrasheed Babalola A., Zarrabian S. Real-Time Cascading Failures Prevention Through MAS Algorithm and Immune System Reinforcement Learning // Electric Power Components and Systems. 2017. V. 45. № 5. P. 505–519.

  27. Ye D., Zhang M., Sutanto D. A Hybrid Multiagent Framework with Q-Learning For Power Grid Systems Restoration // IEEE Trans. Power Syst. 2011. V. 26. P. 2434–2441.

  28. Zarabbian S., Belkacemi R., Babalola A.A. Reinforcement Learning Approach for Congestion Management and Cascading Failure Prevention with Experimental Application // Elec. Power Syst. Research. 2016. V. 141. P. 179–190.

  29. Glavic M., Ernst D., Wehenkel L. A Reinforcement Learning Based Discrete Supplementary Control for Power System Transient Stability Enhancement // Engineering Intelligent Systems for Electrical Engineering and Communications. 2005. V. 13. P. 81–88.

  30. Саттон Р.С., Барто Э.Г. Обучение с подкреплением / Пер. с англ. 2-е изд. М.: БИНОМ, 2014. 402 с.

  31. El Chamie M., Acikmese B. Finite-Horizon Markov Decision Processes with State Constraints // arXiv:1507.01585 [math.OC], 2015.

  32. Glavic M., Fonteneau R., Ernst D. Reinforcement Learning for Electric Power System Decision and Control: Past Considerations and Perspectives // IFAC-PapersOnLine. 2017. V. 50. № 1. P. 6918–6927.

  33. Yousefian R., Kamalasadan K. Design and Real-Time Implementation of Optimal Power System Wide-Area System-Centric Controller Based on Temporal Difference Learning // IEEE Trans. on Industry Applications. 2015. V. 1. P. 395–401.

  34. Ernst D., Wehenkel L., Glavic M. Power systems stability control: Reinforcement learning framework // IEEE Trans. Power Syst. 2004. V. 19. P. 427–435.

  35. Ernst D., Glavic M., Capitanescu F. et al. Reinforcement Learning Versus Model Predictive Control: A Comparison on a Power System Problem // IEEE Trans. Syst., Man, Cyber. 2009. V. 39. P. 517–529.

  36. Vandael S., Claessens B., Ernst D. et al. Reinforcement Learning of Heuristic EV Fleet Charging in A Day-Ahead Electricity Market // IEEE Trans. Smart Grid. 2015. V. 6. P. 1795–1805.

  37. Silver D., Schrittwieser J., Simonyan K. et al. Mastering the Game of Go without Human Knowledge // Nature. 2017. V. 550. P. 354–359.

  38. Mnih V., Kavukcuoglu K., Silver D. et al. Playing Atari with Deep Reinforcement Learning // in arXiv, abs/1312.5602. http://arxiv.org/abs/1312.5602.

  39. Irpan A. Deep Reinforcement Learning Doesn’t Work Yet // Sorta Insightful. 2018. https://www.alexirpan.com/2018/02/14/rl-hard.html.

  40. Silver D., Huang A., Maddison Ch. et al. Mastering The Game of Go with Deep Neural Networks And Tree Search // Nature. 2016. V. 529. № 7587. P. 484–489.

  41. Программный комплекс для создания автоматизированных систем оперативно-технологического управления в сетевых компаниях СК-11. http://www.monitel.ru/files/downloads/products/Broshyura%20-%20CK-11.pdf?201711.

  42. Tomin N.V., Kurbatsky V.G., Negnevitsky M. The Concept of the Deep Learning-Based System Artificial Dispatcher to Power System Control and Dispatch // arXiv:1805.05408v1 [cs.CY] 7 May, 2018.

  43. Milano F. Power System Modelling and Scripting. London.: Springer, 2010. 558 p.

  44. Программно-вычислительный комплекс АНАРЭС. http://anares.ru.

  45. Воропай Н.И., Томин Н.В., Курбацкий В.Г. и др. Комплекс интеллектуальных средств для предотвращения крупных аварий в энергосистемах. Новосибирск: Наука, 2016. 332 с.

  46. Fangxing Li, Yan Du. From AlphaGo to Power System AI: What Engineers Can Learn from Solving the Most Complex Board Game // IEEE Power and Energy Magazine. 2018. V. 16. № 2. P. 76–84.

  47. Egorov M., Sunberg Z.H., Balaban E. et al. POMDPs.jl: A Framework for Sequential Decision Making under Uncertainty // Machine Learning Research. 2017. V. 18(26). P. 1−5.

  48. Patacchiola M. Dissecting Reinforcement Learning // Github. https://github.com/mpatacchiola/dissecting-reinforcement-learning.

  49. Sheng L. Strategy Research of Substation Voltage Reactive Control Basing on The Ninth Region Plot // Qinghai Electric Power. 2005. V. 24. P. 1–4.

  50. Wu X., Wang J.-Ch., Yang P. et al. Fuzzy Control on Voltage/Reactive Power in Electric Power Substation // Eds. B. Cao, T.-F. Li, C.-Y. Zhang. Fuzzy Info. and Eng. 2018. V. 2. P. 1083–1091.

  51. Manikandan R., Arulmozhiyal R. Position Control of DC Servo Drive Using Fuzzy Logic Controller // Proc. Intern. Conf. on Advances in Electrical Engineering (ICAEE). India, 2014.

  52. Yunhai H., Bingfeng X., Gen Ping L. A Power Control Method for Inverted Pendulum Based on Fuzzy Control // Proc. Intern. Conf. on Computer, Mechatronics, Control and Electronic Engineering. China, 2010.

Дополнительные материалы отсутствуют.