Вестник РАН, 2021, T. 91, № 12, стр. 1108-1114

Интенсивный рост производительности вычислительных систем подтверждает тот факт, что математическое моделирование на вычислительных системах высокой и сверхвысокой производительности, включая обработку больших данных (big data), является важнейшим фактором научно-технического и социального прогресса. Согласно списку Tоп-500 [1] за ноябрь 2020 г. японский суперкомпьютер “Фугаку” обладает пиковой производительностью 537 петафлопс¹¹, что почти в 3 раза превышает производительность лидера ноябрьского списка 2019 г.

С помощью суперкомпьютерных технологий удаётся получать не только новые знания, но и осуществлять создание новой техники и технологий значительно более быстрым и менее затратным путём. Совещания, проведённые в РАН с участием представителей академической науки и генеральных конструкторов оборонно-промышленного комплекса, подтверждают острую необходимость применения методов компьютерного моделирования при разработке новой техники. Это особенно актуально в условиях запрета на передачу в Россию материалов и технологий со стороны западных стран. Другая сфера применения суперкомпьютерных технологий – обработка имеющихся больших объёмов информации, что оказывает существенное влияние на принятие обоснованных решений в различных областях государственного управления. Суперкомпьютерные технологии являются важным фактором обеспечения национальной безопасности России. В таблице 1 представлены некоторые высокопроизводительные вычислительные системы мира и России [1].

На хозяйственных активах, проводившихся в Институте прикладной математики под руководством академика Мстислава Всеволодовича Келдыша, всегда возникали жёсткие споры о том, сколько машинного времени выделить той или иной группе, тому или иному отделу: “Вот было бы у нас 10−15 мегафлопс, − а тогда у нас основной мегафлопсной машиной была БЭСМ-6, − мы бы все проблемы решили”. Мстислав Всеволодович со своей обычной ироничной доброй усмешкой отвечал: “Вот дашь вам 15 мегафлопс, через полгода вы придёте, скажете: давайте 100 мегафлопс. Дашь 100 мегафлопс, − через полгода − гигафлопс давайте”. Эта тенденция сейчас повторяется.

Обратим внимание на некоторые строки таблицы 1. На позиции 7 представлены сведения о вычислительной системе суперкомпьютерного центра германского города Юлих, имеющей пиковую производительность 70 петафлопс. На позиции 10 списка расположена вычислительная система Саудовской Аравии, обладающая пиковой производительностью 55 петафлопс. Наличие этих систем показывает высокую востребованность суперкомпьютерных технологий на всех направлениях, не только фундаментальных, но и сугубо коммерческих. Уже объявлены планы о достижении к 2023 г. рубежа в 1 экзафлопс (10¹⁸ флопс). Установку подобных систем планируют Соединённые Штаты Америки, Евросоюз, Китай. НАСА планирует к 2030 г. достигнуть производительности 30 экзафлопс.

Контрастно выглядит в этом свете самая крупная вычислительная система России – “Кристофари”, производительностью около 9 петафлопс, установленная в Сбербанке. Самая мощная российская система в мировом рейтинге занимает лишь сороковое место. Вторая и последняя попавшая в список отечественная система расположена на 156-м месте списка, с производительностью 4.9 петафлопс. Следует отметить, что последние полторы сотни позиций (производительность порядка полутора-двух петафлопс) занимают системы множества стран, среди которых: Китай (59 систем), США (39 систем), Нидерланды (15 систем), Ирландия (14 систем), Япония (5 систем), Англия (4 системы), Сингапур (4 системы). Системы такого класса есть в Канаде, Норвегии, Франции, на Тайване, в Чешской Республике, Бразилии, Гонконге. Сегодня в мире они служат рабочим инструментом, используемым для решения текущих задач, в том числе:

• 26 систем – в исследовательском и учебном секторах;

• 11 систем – в секторе государственного управления;

• 108 систем – в промышленном секторе;

• 13 систем – в академическом секторе.

Руководству Сбербанка следует адресовать вполне заслуженные комплименты. По сути дела, оно вовремя уловило грядущую трансформацию банковской сферы, которая будет неразрывно связана с интенсивным использованием высокопроизводительных систем.

Но вернёмся к Германии. Мы многие годы очень тесно сотрудничаем, несколько лет подряд проводили симпозиумы совместно с руководством немецких вычислительных центров. В Германии создана целая линейка суперкомпьютерных центров: в Юлихе, Штутгарте, других городах, причём определилась специализация этих центров. Суперкомпьютерный центр г. Юлих выполняет функции головного. Там отрабатывают численные методы, решают пилотные задачи. Дрезден специализируется на моделировании социальных проектов, на решении задач больших данных, Гамбург – на физике высоких энергий, Мюнхен – на задачах энергетики, Штутгарт – на авиакосмической и автомобильной промышленности, городской экологии.

К примеру, компания “Мерседес-Бенц” проводит моделирование различных узлов и технологий, решает задачи, связанные с лазерной сваркой, горением и другие. Центр города Штутгарт оснащён эффективными средствами трёхмерной визуализации результатов суперкомпьютерного моделирования, обеспечивающими возможность наглядного восприятия и всестороннего изучения многомерных процессов. Входишь в камеру сгорания – вокруг текут потоки раскалённых газов разной концентрации. Можно своими глазами увидеть особенности распределения ключевых параметров и определить направления оптимизации конструкций с целью обеспечения требуемых режимов работы, например, уменьшения выхлопа вредных газов.

Показательно что, если характерная производительность основных суперкомпьютерных центров Германии года три-четыре назад была на уровне 5–10 петафлопс, то сейчас она уже вышла на уровень 25−50 петафлопс. В Германии порядка 10 таких систем специализируются на проведении исследований в интересах разных отраслей промышленности.

Значительный интерес суперкомпьютерные системы представляют и с точки зрения расширения возможностей проведения не только прикладных, но и фундаментальных исследований. Рассмотрим несколько примеров, иллюстрирующих наши возможности и показывающих, что мы теряем, не имея вычислительных систем, доступных зарубежным специалистам.

Соотношения (1) описывают систему уравнений магнитной газовой динамики, дополненной учётом гравитационного потенциала. Подобная добавка делает её решение сложнее на порядок, потому что требует совместного моделирования разномасштабных процессов. На рисунке 1 представлен наш расчёт поглощения чёрной дырой вещества галактики [2]. Здесь впервые видно, как образуется узконаправленная плазменная космическая струя. Подобные струи (джеты) наблюдаются астрофизиками в ряде звёздных систем (характерный пример представлен на рисунке 2). Не вдаваясь в детали вычислительного эксперимента, следует отметить, что расчёт проводился отечественными специалистами, но на иностранной машине (такая возможность была предоставлена Суперкомпьютерным центром Гамбурга). Правая часть рисунка 1 соответствует трёхмерному расчёту, выполненному на четырёх миллиардах пространственных расчётных точек. Если выполнять расчёт на менее подробной сетке (на 500 млн), то будет получен результат, представленный на левой части рисунка 1, на которой эффект возникновения джета не проявляется. Не образуется вихрь, не формируются те магнитные поля, которые выталкивают поток частиц. Не имея машин высокой производительности, мы не можем с помощью вычислительного эксперимента решать многие задачи фундаментальной науки, многие существенные эффекты не удаётся обнаружить.

Рис. 1.

Результаты моделирования динамики поглощения вещества галактики чёрной дырой [2]

Рис. 2.

Джет галактики M87 [3]

И речь не только о задачах астрофизики. Широко известно, насколько важно совокупное рассмотрение различных масштабов турбулентности. При любом переходе от более крупного к более мелкому масштабу турбулентности сетку по каждому направлению следует увеличивать раз в пять. При решении задач горения тоже необходимы большие вычислительные мощности. Следует совокупно учитывать и газовую динамику, и химическую кинетику – процессы, имеющие совершенно разные характерные времена протекания. Для расчёта реактивного двигателя на 500 миллионах узлов только с энергетикой, без экологии, требуется три-четыре дня работы на петафлопсной машине. Если экологию учитывать, а сейчас все бьются за чистый выхлоп, необходимо принимать во внимание длинную цепочку химических реакций, что многократно увеличивает сложность – уже десятки петафлопс требуются. То есть мы, не располагая машинами большой мощности, и в фундаментальной науке, и в области совершенствования промышленных технологий теряем очень многое.

Приведём пример выполняемых нашими специалистами [4, 5] расчётов динамики взаимодействия с воздухом лопасти работающего винта вертолёта. Несмотря на разработку специальных мер для сокращения сетки вокруг каждой лопасти, предсказательное моделирование срыва вихрей, механизмов генерации шумов, определения подъёмной силы, которая в значительной мере зависит от профиля лопасти, требуются подробные сетки, содержащие порядка сотен миллионов пространственных точек. А если повысить детальность сетки по каждому направлению в 3 раза, придётся увеличить время трёхмерного расчёта минимум в 27 раз. Кроме того, следует учесть неизбежное уменьшение шага по времени, обусловленное сокращением размера ячейки расчётной сетки. Совокупно время расчёта увеличивается в 81 раз и более. Приведённые расчёты (рис. 3) выполнены на пределе возможностей вычислительной системы производительностью 0.2 петафлопса. Благодаря созданным методам мы можем эффективно использовать суперкомпьютеры производительностью в десятки петафлопс, но наши специалисты не имеют достаточного доступа к подобным вычислительным системам.

Рис. 3.

Динамика обтекания воздухом винта вертолёта

Обратим внимание на исследования, выполняемые в НАСА. Специалисты агентства решают задачи, используя миллиарды точек. Характерные затраты вычислительной мощности составляют миллионы ядрочасов²² на каждый вариант. Правда, тут есть некая тонкость. При решении оптимизационных задач появляется необходимость выполнения большого числа независимых серий расчётов, что значительно облегчает проблему эффективного использования больших вычислительных мощностей. Появляется возможность для каждого варианта расчёта ограничиться небольшим числом (десятками тысяч) процессорных ядер, запуская одновременно множество независимых вариантов расчёта, каждый со своими значениями оптимизируемых параметров. Возможность задействовать большее число ядер (сотни тысяч) для каждого расчёта есть, но при этом снижается эффективность использования процессоров. В каких-то случаях это оправданно, но при решении оптимизационных задач и с точки зрения экономики, и с точки зрения сокращения общего времени счёта выгоднее одновременно запускать множество вариантов – каждый на относительно небольшом числе процессорных ядер. Данный способ не подходит для решения с высокой точностью больших сильносвязанных задач, подобных задачам, рассмотренным в первых двух примерах. Для них нужно именно большое число одновременно работающих над одним вариантом расчёта процессорных ядер и ускорителей.

Интересные работы, в том числе с точки зрения экологии, выполняются в ИБРАЭ и в ИВМ РАН по моделированию переноса радионуклидов в хранилищах радиоактивных материалов. В каждом расчёте используются десятки миллионов расчётных точек. Доступные в России вычислительные мощности позволяют делать прогноз на 10 тыс. лет. Однако зарубежные коллеги, изучая хранилище АЭС Форсмарк (Швеция), выполняют расчёты, используя миллиарды точек, и делают прогноз на миллион лет. Таким образом, в экологии мы тоже констатируем значительное отставание вследствие отсутствия мощных вычислительных систем.

Отметим такие модные сегодня направления, как искусственный интеллект и большие данные. Начнём с цифровой нутрициологии. Соответствующие работы начаты по инициативе академика В.А. Тутельяна совместно ИПМ им. М.В. Келдыша РАН и ФИЦ питания, биотехнологии и безопасности пищи [6–8]. Они направлены на формирование рационального питания с учётом различных факторов, в том числе возраста, пола, уровня доходов, национальных особенностей, физической активности, хронических заболеваний, разнообразия питания. Польза овсянки несомненна, но одной овсянкой питаться нельзя. При увеличении числа учитываемых математической моделью факторов в 2 раза объём необходимых вычислений увеличивается в десятки раз. Предварительно проведённые у нас расчёты показывают, что если рассматривать население России в целом, то для определения состава и планирования производства необходимых продуктов питания требуются вычислительные ресурсы порядка дня на системе производительностью в 10 петафлопс. Потребность проведения расчётов для построения и анализа подобных прогнозов есть. Здесь и медицина, и логистика продуктов питания. Созданную методологию можно применять и для планирования других массовых производств.

А, например, японская система “Фугаку” в значительной мере будет использована для моделирования процессов, связанных с пандемией коронавируса. Транснациональная нефтегазовая компания “Бритиш Петролеум” предоставляет для моделирования COVID-19 свой суперкомпьютер в Хьюстоне производительностью 16.3 петафлопс. В рамках проводимых на нём исследований рассматриваются разные аспекты моделирования: проникновение вируса через маску, многофакторное моделирование воздействия тех или иных мер на группы населения. Объём требуемых вычислений значительно и нелинейно зависит от размера региона: город с населением 100 тыс. человек и город-миллионник – это разные вещи. При увеличении численности рассматриваемой группы населения в 10 раз объём вычислений меняется не в 10 раз, а значительно больше. Многофакторное моделирование весьма требовательно к суперкомпьютерным ресурсам.

Другая насущная задача – мониторинг настроений населения на основе анализа интернет-сообщений. Мы сейчас занимаемся такими работами совместно с нашими коллегами из г. Снежинска. Создаваемые методы позволяют выявлять на основе интернет-сообщений COVID-алармистов, COVID-диссидентов, тех людей, которые крайне невротизированы ситуацией с пандемией, тех, кто понимает опасность выхода на улицу, но вынужден выходить по экономическим причинам. Всё это крайне важно для оценки эффективности и последствий управленческих решений. Очевидно, что чем больше факторов удаётся учесть и чем детальнее описать группы населения, тем достовернее будет прогноз, но на его выполнение требуются бо́льшие, нежели доступные сейчас отечественным специалистам вычислительные мощности.

Важная область применения суперкомпьютеров – стратегическое планирование транспортных потоков, обеспечение связанности территории Российской Федерации. У нас ведутся работы по планированию оптимального использования авиапарка, планированию сети небольших транспортных хабов. Не обязательно летать через Москву. Пока мы пользуемся системами 0.15 пета-флопс, но эти системы не позволяют строить модели, соизмеримые с масштабами страны. Если мы хотим рассматривать большие территории, особенно Крайний Север, Сибирь, то следует принимать во внимание не только авиапарк, но и автомобильный, железнодорожный, речной транспорт. Опять же в этом случае объём вычислений резко возрастает, и для планирования и прогнозов требуются большие вычислительные мощности [9].

Интересной областью исследований становится сейчас анализ катастроф, оценка рисков и парирование непредвиденных ситуаций. Здесь для быстрого принятия решений используются нейросети и машинное обучение. Но машинное обучение эффективно работает, если доступно много входных данных. Для наполнения обучающих выборок ведутся расчёты достаточно сложных виртуальных сценариев катастроф. В частности, в ИБРАЭ РАН рассматриваются штатные и нештатные режимы работы реакторов, для моделирования которых тоже нужны большие вычислительные мощности.

Ещё одной перспективной, представляющей значительный интерес областью интенсивного развития является проект “Безопасный город”. Его воплощение связано с оценкой настроений населения и парированием возможных техногенных и природных катастроф. Комплексный учёт множества факторов в реальном времени требует значительных вычислительных ресурсов. В этот же класс ресурсоёмких задач попадает проект “Цифровое месторождение углеводородов” и многие другие задачи, требующие для своего решения вычислительных мощностей порядка десятков петафлопс.

Обратим внимание на ряд вопросов фундаментального характера. Выше уже говорилось о том, что проще считать несколько сценариев, одновременно запуская не один, а несколько вариантов расчёта. Такая стратегия, вообще говоря, увеличивает общее число расчётов, поскольку эффективные алгоритмы оптимизации при планировании очередного изучаемого варианта принимают во внимание весь объём ранее полученной информации. При одновременном расчёте нескольких вариантов возникает необходимость одновременного планирования нескольких, а не одного варианта. Таким образом, для ряда вариантов при их планировании используется меньший объём информации по сравнению с последовательным расчётом. Тем самым некоторые из расчётов могут оказаться менее “полезными” или избыточными. Тем не менее с подобными издержками предпочитают мириться, поскольку они непосредственно обусловлены существованием сложной проблемы адаптации алгоритмов к архитектуре систем с экстрамассивным параллелизмом. Когда задействовано очень много вычислительных ядер, они мешают друг другу, как толпа людей, идущих через узкие двери. Нужны логически простые и эффективные алгоритмы, но найти их очень сложно. Сейчас идёт интенсивный поиск эффективных методов. По сути дела, это задача фундаментальной науки, фундаментальных аспектов прикладной математики. Следует отметить, что по этому направлению учёные России находятся не на последних местах, именно поэтому с нами сотрудничают. Это наше конкурентное преимущество, но если у нас не будет мощных машин, мы его утратим.

Нельзя сказать, что без суперкомпьютеров ничего не получается и не получится. И на существующей технике нам удаётся решать многие задачи за счёт методов, за счёт работы с зарубежными партнёрами или за счёт использования более простых, но адекватных математических моделей. Но мы подходим к пределу подобных возможностей. Мы неизбежно упускаем ряд нюансов, многие из которых имеют существенное значение. Для дальнейшего развития и поддержания паритета с иностранными конкурентами нужны высокопроизводительные машины.

Россия в силу логики научно-технического прогресса, геополитического положения обязана резко увеличить производительность своего вычислительного парка. Необходимо довести его хотя бы до уровня линейки вычислительных центров Германии. Однако по своим геополитическим амбициям мы не Германия. Это надо чётко осознавать. В Германии существует десяток 25−35-петафлопсных центров и производительностью масштаба 50 петафлопс, а у нас только суперкомпьютер Сбербанка “Кристофари”, чуть поменьше суперкомпьютер МГУ “Ломоносов” и всё. Не развивая в должной мере и должными темпами суперкомпьютерные ресурсы, мы обречены на технологическое отставание по всем стратегически важным направлениям. Конечно, вычислительный эксперимент – не единственный инструмент изучения свойств окружающего мира и развития новых технологий. Есть и натурный эксперимент, есть и головы наших физиков и химиков, но не имея достаточных вычислительных мощностей, мы себя обкрадываем и лишаем многих возможностей.

Надо создавать линейку центров высокой производительности. Должны быть запущены в эксплуатацию значительные региональные и университетские центры. Причём один из крупных суперкомпьютерных центров, по аналогии с центром немецкого города Юлих, должен быть ориентирован на развитие фундаментальных методов решения вычислительно сложных многомасштабных мультидисциплинарных задач. В Российской академии наук сконцентрированы исследователи разных специальностей, необходимые для отработки методик и решения пилотных задач. Суперкомпьютерный центр РАН, возможно, и не самый крупный, но мощный, отстающий по производительности от первых позиций Топ-500 не более чем на порядок, может сыграть роль своеобразного экспериментального реактора, дающего новые знания и новые высокопроизводительные вычислительные методы и технологии. Это не только позволит успешно решать сложные задачи, но и обеспечит дальнейшее развитие отечественных высокопроизводительных программных продуктов, рынок которых в настоящее время крайне далёк от насыщения не только в России, но и в мире. Тем самым будет обеспечено сохранение, использование и дальнейшее развитие компетенций российских учёных и специалистов.

Средства на развитие вычислительной техники и отечественной элементной базы необходимо найти. В последней колонке таблицы 1 указана электрическая мощность, потребляемая машиной (не центром, а машиной, центр в целом требует существенно, на треть как минимум, больше). Потребляемая мощность измеряется мегаваттами, в связи с чем затратным оказывается не только создание, но и эксплуатация суперкомпьютерных центров. Тем не менее это тот случай, когда экономить преступно. Напомним, как в разорённой войной стране создали атомную промышленность. С тех пор мы пользуемся обеспеченной тогда безопасностью и созданными тогда технологиями, распространившимися далеко за пределы отрасли. Можно возразить, что тогда был другой общественный строй и другое отношение к правам человека. Да, действительно время изменилось, но вот другой пример – пандемия. На государственном уровне выделили средства, создали госпитали, вакцины, обеспечили поддержку малому и среднему бизнесу. Мы проходим эти испытания достойно во многом благодаря тому, что руководство страны выделило должные ресурсы.

Подводя итог, ещё раз отметим: сейчас главное − осознать опасность. Мы постоянно слышим от представителей властных структур: “А вот вы покажите, что эти высокопроизводительные вычислительные системы действительно нужны, для чего нужны, какой экономический эффект принесут”. Но, во-первых, потеря адекватного уровня оснащённости суперкомпьютерными ресурсами ведёт (за счёт деградации уровня развития ключевых цифровых технологий) к неконтролируемому росту угроз национальной безопасности России. А, во-вторых, нельзя игнорировать ориентиры, задаваемые технологическими лидерами. Сомнительно, что в ведущих мировых державах значительные средства расходуют необоснованно, впустую оснащая суперкомпьютерные центры передовой вычислительной техникой и предоставляя к ней широкий доступ исследовательским, университетским и коммерческим организациям. В-третьих, мнение РАН – ведущей экспертной организации России в области науки и технологий, однозначно: суперкомпьютерные системы высокой производительности необходимы для развития страны.