ЯДЕРНАЯ ФИЗИКА, 2020, том 83, № 6, с. 534-538
ЭЛЕМЕНТАРНЫЕ ЧАСТИЦЫ И ПОЛЯ
ТЕНДЕНЦИИ И ПЕРСПЕКТИВЫ РАЗВИТИЯ РАСПРЕДЕЛЕННЫХ
ВЫЧИСЛЕНИЙ И АНАЛИТИКИ БОЛЬШИХ ДАННЫХ
ДЛЯ ПОДДЕРЖКИ ПРОЕКТОВ КЛАССА МЕГАСАЙЕНС
© 2020 г. В. В. Кореньков*
Объединенный институт ядерных исследований, Лаборатория информационных технологий,
Дубна, Россия
Поступила в редакцию 26.04.2020 г.; после доработки 26.04.2020 г.; принята к публикации 26.04.2020 г.
Важнейшей частью проектов класса мегасайенс является создание и развитие компьютерных систем
для обработки, хранения и анализа экспериментальных данных, алгоритмов поиска и доступа к
данным. Информационно-вычислительные инфраструктуры, необходимые для выполнения исследо-
вательских задач проектов класса мегасайенс, являются сложными распределенными, гетерогенными
системами, включая системы экстрамассивного параллелизма, и системами распределенного хране-
ния огромных массивов данных.
DOI: 10.31857/S0044002720050153
Российские исследовательские институты и
WLCG сегодня объединяет ∼1 000 000 процессор-
университеты активно участвуют в международных
ных ядер, ∼0.6 эксабайт хранилища на дисках и
мегапроектах: эксперименты ATLAS, ALICE,
∼0.8 эксабайт на ленточных роботах, обеспечи-
LHCb, CMS на Большом адронном коллайдере
вающих долговременное хранилище данных, кото-
(LHC) в Европейской организации ядерных ис-
рые географически распределены по 170 центрам
следований (ЦЕРН), Европейский рентгеновский
обработки данных в 42 странах. Ежедневно эта
лазер на свободных электронах (XFEL) в Немец-
система обрабатывает более 2 миллионов заданий
ком исследовательском центре по физике частиц
и управляет сотнями петабайт данных. Инфра-
(DESY), Европейский источник синхротронного
структура WLCG была одним из факторов успеха
излучения (ESRF) в Гренобле, эксперименты
первой фазы LHC, обеспечившим открытие бозона
CBM, PANDA на комплексе по исследованию
Хиггса.
ионов и антипротонов (FAIR) в немецком центре
Эксперименты на LHC играют ведущую роль в
по изучению тяжелых ионов имени Гельмгольца
научных исследованиях не только в физике эле-
(GSI), Международный экспериментальный тер-
ментарных частиц и ядерной физике, но и в области
моядерный реактор (ITER) в исследовательском
аналитики Больших данных. За эти годы модель
центре Кадараш (Франция) и др. В России идет
компьютинга на базе грид-технологий для LHC
подготовка проектов класса мегасайенс: НИКА
претерпела ряд изменений, которые позволили ей
(Коллайдер протонов и тяжелых ионов) в ОИЯИ,
в большей мере удовлетворять запросам научного
Дубна; ПИК (Высокопоточный реакторный ком-
сообщества. От строго иерархической модели об-
плекс) в НИЦ ПИЯФ, Гатчина; СКИФ (Сибирский
работки [2], в которой весь процесс сбора и обра-
кольцевой источник фотонов) в ИЯФ СО РАН,
ботки данных распределялся по вычислительным
Новосибирск; и другие. Реализуется нейтринная
центрам определенного уровня: Tier0 — основной
программа: проекты в России (Байкал), Китае
центр в ЦЕРНе для сбора всех необработанных
(JUNO), США (NOvA, DUNE) и другие масштаб-
данных и их первичная реконструкция со всех экс-
ные проекты.
периментальных установок и распределения дан-
Для обработки, хранения и анализа данных
ных по 14 центрам первого уровня Tier1 для их
экспериментов на Большом адронном коллайдере
долговременного хранения, переобработки и ана-
в ЦЕРНе создана распределенная инфраструкту-
лиза и обеспечения доступа к этим данным центров
ра на основе грид-технологий, которая называ-
второго уровня Тier2, которые предназначены для
ется Всемирный вычислительный грид для LHC
проведения этапа моделирования и анализа дан-
(Worldwide LHC Computing Grid — WLCG) [1].
ных конечными пользователями. При этом каждый
Tier1 был связан с определенными Tier2 центрами.
*E-mail: korenkov@jinr.ru
В новой модели центры уровня Tier1 и Tier2 вза-
534
ТЕНДЕНЦИИ И ПЕРСПЕКТИВЫ РАЗВИТИЯ
535
имодействуют друг с другом. Кроме того, сегодня
физиков от аппаратного обеспечения, системного
обработка и анализ данных ведется с использова-
и промежуточного программного обеспечения и
нием высокопроизводительных комплексов, акаде-
других технологических сложностей, связанных с
мических, национальных и коммерческих ресурсов
конфигурированием сети и оборудования. Вычис-
облачных вычислений, суперкомпьютеров и других
лительные задачи автоматически отслеживаются и
ресурсов [3].
выполняются. В настоящее время PanDA контро-
Российские центры, в первую очередь НИЦ
лирует сотни вычислительных центров в 50 странах
КИ и ОИЯИ, активно участвуют в интеграции
мира, сотни тысяч вычислительных узлов, сотни
распределенных неоднородных ресурсов и разви-
миллионов заданий в год, тысячи пользователей.
тии технологий Больших данных для обеспече-
Другим вариантом связующего промежуточно-
ния современных мегапроектов в таких высоко-
го программного обеспечения является DIRAC
интенсивных областях науки, как физика высоких
Interware [6] — продукт для интеграции гетероген-
энергий, астрофизика, биоинформатика и другие.
ных вычислительных ресурсов и ресурсов хранения
В ОИЯИ активно ведутся работы по сооружению
данных в единую платформу. Интеграция ресурсов
уникального ускорительного комплекса НИКА [4],
основана на использовании стандартных протоко-
который требует новых подходов к реализации
лов доступа к данным (xRootD, GridFTP и других)
распределенной инфраструктуры для обработки и
и пилотных задач. Благодаря этому пользователю
анализа экспериментальных данных.
предоставляется единая среда, в которой можно
Следует отметить, что первоначально грид-
запускать задачи, управлять данными, выстраи-
технологии реализовали концепцию HTC (High-
вать процессы и контролировать их выполнение. В
throughput computing), а в результате эволюции
рамках DIRAC в качестве вычислительных ресур-
модели компьютинга произошло объединение раз-
сов могут выступать системы пакетной обработ-
личных технологий: HTC, HPC (High Performance
ки, грид-сайты, облака, суперкомпьютеры и даже
Computing), добровольные вычисления (Volunteer
отдельно стоящие вычислительные узлы. Важной
computing), коммерческие и некоммерческие об-
концепцией в DIRAC являются пилотные задачи.
лачные вычислительные ресурсы. Такой подход
Именно благодаря им можно интегрировать прак-
необходим для удовлетворения требований экс-
тически любой вычислительный ресурс. При рабо-
периментов класса мегасайенс как по произво-
те с данными DIRAC предоставляет весь необхо-
дительности систем обработки, так и по объему
димый набор команд. Для корректного функцио-
хранения данных. Кроме того, требуются даль-
нирования всех команд система хранения должна
нейшие изменения модели компьютинга в каждом
поддерживать грид-протоколы передачи данных.
эксперименте с целью оптимизации использования
ресурсов. Сегодня значительные усилия вклады-
В настоящее время большое внимание уделяет-
ваются в развитие программного обеспечения,
ся новым перспективным направлениям в создании
чтобы улучшить общую производительность при
распределенных хранилищ данных (DataLake) [7],
использовании современных архитектур (много-
что позволяет существенно повысить эффектив-
ядерность, графические процессоры и другое).
ность хранения больших данных в сочетании с
Необходима оптимизация процессов обработки,
высокой скоростью доступа к данным.
систем хранения и количества хранящихся реплик
данных.
Большую роль в развитии компьютинга для
проектов класса мегасайенс играет Лаборатория
Ключевым моментом в организации таких
информационных технологий ОИЯИ, основной
инфраструктур, в частности WLCG, является свя-
зующее промежуточное программное обеспечение
задачей которой является развитие сетевой,
(платформа), позволяющее осуществлять совмест-
информационно-вычислительной инфраструктуры
ную работу в информационно-вычислительных
ОИЯИ для научно-производственной деятельно-
системах. Например, в эксперименте ATLAS на
сти института [8]. Активно развивается многофунк-
LHC разработана платформа для управления
циональный
информационно-вычислительный
вычислительными ресурсами PanDA (Production
комплекс (МИВК) ОИЯИ [9], который отвечает
and Distributed Analysis) Workload Management
требованиям, предъявляемым к современному
System (WMS) [5], которая является автоматизи-
высокоэффективному научно-вычислительному
рованной и настраиваемой системой управления
комплексу: многофункциональность, высокая про-
заданиями и оптимизирует доступ пользовате-
изводительность, многоуровневая система хране-
лей к распределенным ресурсам. С помощью
ния данных, высокая надежность и доступность,
PanDA пользователи видят единый вычислитель-
информационная безопасность, масштабируе-
ный ресурс, который предназначен для обработки
мость, индивидуальная программная среда для
данных эксперимента, хотя ресурсные центры
различных групп пользователей, высокопроиз-
разбросаны по всему миру. PanDA изолирует
водительные телекоммуникации и современная
ЯДЕРНАЯ ФИЗИКА том 83
№6
2020
536
КОРЕНЬКОВ
локальная вычислительная сеть. Многофункци-
“Говорун”, совместно использующих единое про-
ональный информационно-вычислительный ком-
граммное обеспечение и информационную среду.
плекс ОИЯИ в настоящее время имеет следующие
Суперкомпьютер “Говорун” предназначен для про-
основные компоненты:
ведения ресурсоемких и массивно параллельных
1. центральный информационно-вычислитель-
вычислений при решении широкого круга задач,
ный комплекс (ЦИВК) ОИЯИ со встроенными
стоящих перед ОИЯИ, что становится возмож-
вычислительными и запоминающими элементами,
ным благодаря неоднородности (наличию различ-
2. кластер Tier2 для всех экспериментов на
ных типов вычислительных ускорителей) аппарат-
ной архитектуры суперкомпьютера.
Большом адронном коллайдере (LHC) и других
виртуальных организаций (VOs) в грид-среде [10]
Для расширения возможностей разработки ма-
(4128 ядер, общая полезная емкость дисковых сер-
тематических моделей и алгоритмов и проведе-
веров составляет 2.929 петабайта),
ния ресурсоемких вычислений, в том числе на
3. кластер Tier1 для эксперимента CMS [11]
графических ускорителях, значительно сокраща-
(10688 ядер, полезная емкость дисковых серве-
ющих вычислительное время, была создана и ак-
ров — 10.4 петабайт, ленточных роботов — 51 пе-
тивно развивается экосистема для задач машин-
табайт),
ного/глубокого обучения и анализа данных для
пользователей платформы HybriLIT.
4. гетерогенная платформа HybriLIT для вы-
сокопроизводительных вычислений (HPC) с су-
Проект МИВК оказался успешным объедине-
перкомпьютером “Говорун” [12] (совокупная пи-
нием всех вычислительных и инфраструктурных
ковая производительность суперкомпьютера 860
ресурсов. Он обеспечивает надежную и хорошо
терафлопс для операций с двойной точностью),
построенную вычислительную среду для проведе-
5. облачная инфраструктура [13] (1564 ядра),
ния научных исследований учеными ОИЯИ и его
государств-членов. Наличие таких вычислитель-
6. система хранения данных на базе файловой
ных средств высшего уровня, как суперкомпьютер
системы EOS (3.740 петабайта дискового про-
“Говорун” и центр CMS Tier1, способствует значи-
странства).
тельному повышению узнаваемости ОИЯИ во всем
В последнее время основное внимание для
мире.
мегасайенс-проектов уделяется развитию теле-
коммуникационной и сетевой инфраструктуры,
Разработанная комплексная система монито-
включая модернизацию локальной вычислитель-
ринга [14] МИВК позволяет получать информацию
ной сети с целью обеспечения ресурсов хранения и
от различных компонентов вычислительного ком-
обработки данных.
плекса: инженерной инфраструктуры, сети, вычис-
лительных узлов, систем запуска задач, элементов
В настоящий момент эксплуатационные харак-
хранения данных, грид-сервисов, что гарантирует
теристики и системы хранения данных базово-
высокий уровень надежности MИВК.
го грид-компонента MИВК — сайта CMS Tier1
ОИЯИ обеспечивают ему устойчивое второе место
Для мегасайенс-проекта НИКА создается
в мире среди других сайтов CMS Tier1 по количе-
гетерогенный распределенный информационно-
ству обработанных событий.
вычислительный кластер, что позволяет наиболее
Активно развивался сайт ОИЯИ уровня Tier2.
полно удовлетворить требования участников про-
екта как в области теоретических исследований,
Он обеспечивает обработку данных четырех экспе-
так и в области обработки, хранения и анализа
риментов на LHC (ALICE, ATLAS, CMS, LHCb),
а также целого ряда виртуальных организаций, не
экспериментальных данных детекторов BM@N,
связанных с LHC (BESIII, BIOMED, COMPASS,
MPD и SPD. Распределенный информационно-
MPD, NOvA, STAR, ILC). MИВК также обеспе-
вычислительный кластер комплекса НИКА в
чивает вычислительную мощность для вычислений,
его базовой конфигурации должен обеспечить
выполняемых вне грид-среды. Это очень важно для
обработку и хранение до 10 петабайт данных в год.
таких экспериментов, как NOvA, PANDA, BESIII,
Комплекс состоит из территориально распределен-
NICA/MPD/BM@N и пользователей из всех ла-
ных on-line и off-line кластеров, связанных между
бораторий ОИЯИ.
собой высокоскоростной компьютерной сетью с
Еще одна компонента MИВК — облачная ин-
пропускной способностью 4 × 100 Гбит/с.
фраструктура ОИЯИ. В рамках этой инфраструк-
Разрабатываемые модели компьютинга должны
туры была проведена интеграция облачных струк-
учитывать тенденции развития сетевых реше-
тур государств-членов ОИЯИ.
ний, вычислительных архитектур и ИТ-решений,
Важной частью МИВК является гетерогенная
позволяющих объединять суперкомпьютерные
вычислительная платформа HybriLIT, состоящая
(гетерогенные), грид- и облачные технологии
из учебно-тестового полигона и суперкомпьютера
и создавать на этой основе распределенные,
ЯДЕРНАЯ ФИЗИКА том 83
№6
2020
ТЕНДЕНЦИИ И ПЕРСПЕКТИВЫ РАЗВИТИЯ
537
программно-конфигурируемые HTC и HPC плат-
6.
F. Stagni, A. Tsaregorodtsev, Ch. Haen,
формы. Для экспериментов на ускорительном
Ph. Charpentier, Z. Mathe, W. J. Krzemien, and
комплексе НИКА создан распределенный мас-
V. Romanovskiy, in Proceedings of the
23rd
штабируемый гибридный кластер, который можно
International Conference on Computing in High
Energy and Nuclear Physics (CHEP 2018), Sofia,
легко реконфигурировать по требованию раз-
2018, Ed. by A. Forti, L. Betev, M. Litmaath,
личного класса задач и пользователей. Важным
O. Smirnova, and P. Hristov, EPJ Web Conf. 214,
компонентом этого кластера является распреде-
03012 (2019);
ленная двухуровневая (диско-ленточная) система
хранения.
7.
I. Bird, S. Campana, M. Girone, X. Espinal,
Суперкомпьютер “Говорун” используется в со-
G. McCance, and J. Schovancov ´a, in Proceedings of
ставе распределенного кластера НИКА для ре-
the 23rd International Conference on Computing
шения задач, требующих массивных параллельных
in High Energy and Nuclear Physics (CHEP 2018),
вычислений в решеточной квантовой хромодина-
Sofia, 2018, Ed. by A. Forti, L. Betev, M. Litmaath,
мике для изучения свойств адронной материи при
O. Smirnova, and P. Hristov, EPJ Web Conf. 214,
высокой плотности энергии, для математическо-
04024 (2019);
го моделирования взаимодействий антипротонов с
протонами и ядрами с использованием генераторов
8.
V. Korenkov, A. Dolbilov, V. Mitsyn, I. Kashunin,
DPM, FTF и UrQMD + SMM, разработанных в
N. Kutovskiy, D. Podgainy, O. Streltsova, T. Strizh,
ОИЯИ и представляющих интерес для экспери-
V. Trofimov, and P. Zrelov, in Proceedings of the
мента НИКА-MPD, для моделирования динамики
23rd International Conference on Computing in
High Energy and Nuclear Physics (CHEP 2018),
столкновений релятивистских тяжелых ионов.
Sofia, 2018, Ed. by A. Forti, L. Betev, M. Litmaath,
Еще одним компонентом кластера НИКА яв-
O. Smirnova, and P. Hristov, EPJ Web Conf. 214,
ляется сверхбыстрая система хранения данных
03009 (2019);
(ССХД), реализованная в суперкомпьютере “Гово-
рун” под управлением файловой системы Lustre. В
9.
A. Dolbilov, I. Kashunin, V. Korenkov, N. Kutovskiy,
настоящее время ССХД организована на твердо-
V. Mitsyn, D. Podgainy, O. Stretsova, T. Strizh,
тельных накопителях с технологией подключения
V. Trofimov, and A. Vorontsov, in Proceedings
NVMe, что сокращает время доступа к данным и
of the 27th Symposium on Nuclear Electronics
обеспечивает скорость ввода/вывода более 300 ги-
and Computing, Montenegro, Budva, 2019, Ed.
by V. Korenkov, T. Strizh, A. Nechaevskiy, and
габайт в секунду.
T. Zaikina, CEUR Workshop Proceedings 2507, 16
С помощью программной платформы DIRAC
(2019).
были объединены вычислительные ресурсы МИВК
10.
A. Baginyan, A. Balandin, A. Dolbilov, A. Golunov,
ОИЯИ: Tier1/Tier2, суперкомпьютер “Говорун”,
N. Gromova, I. Kadochnikov, I. Kashunin,
облако ОИЯИ и ресурсы хранения: ССХД Lustre,
V. Korenkov, V. Mitsyn, D. Oleynik, I. Pelevanyuk,
A. Petrosyan, S. Shmatov, T. Strizh, A. Vorontsov,
dCache и EOS. Эти результаты вносят существен-
V. Trofimov, et al., in Proceedings of the
ный вклад в развитие цифровой платформы для
27th Symposium on Nuclear Electronics and
проектов класса мегасайенс.
Computing, Montenegro, Budva,
2019, Ed.
by V. Korenkov, T. Strizh, A. Nechaevskiy, and
T. Zaikina, CEUR Workshop Proceedings 2507, 321
СПИСОК ЛИТЕРАТУРЫ
(2019).
1. The Worldwide LHC Computing Grid (WLCG):
11.
N. Astakhov, A. Baginyan, S. Belov, A. Dolbilov,
A. Golunov, I. Gorbunov, N. Gromova,
I. Kadochnikov, I. Kashunin, V. Korenkov, V. Mitsyn,
2. LHC Computing Grid: Technical Design Report,
I. Pelevanyuk, S. Shmatov, T. Strizh, E. Tikhonenko,
document LCG-TDR-001, CERN-LHCC-2005-
V. Trofimov, et al., Phys. Part. Nucl. Lett. 13,
024 (CERN, 2005).
714 (2016); A. Baginyan, A. Balandin, S. Belov,
3. Ph. Charpentier, in Proceedings of the
23rd
A. Dolbilov, A. Golunov, N. Gromova, I. Kadochnikov,
International Conference on Computing in High
I. Kashunin, V. Korenkov, V. Mitsyn, I. Pelevanyuk,
Energy and Nuclear Physics (CHEP 2018), Sofia,
S. Shmatov, T. Strizh, V. Trofimov, N. Voytishin,
2018, Ed. by A. Forti, L. Betev, M. Litmaath,
and V. Zhiltsov, in Proceedings of the
8th
O. Smirnova, and P. Hristov, EPJ Web Conf. 214,
International Conference “Distributed Computing
09009 (2019);
and Grid-technologies in Science and Education”,
Dubna, 2018, Ed. by V. Korenkov, A. Nechaevskiy,
T. Zaikina, and E. Mazhitova, CEUR Workshop
5. T. Maeno, J. Phys.: Conf. Ser. 119, 062036 (2008).
Proceedings 2267, 1 (2018).
ЯДЕРНАЯ ФИЗИКА том 83
№6
2020
538
КОРЕНЬКОВ
12. Gh. Adam, M. Bashashin, D. Belyakov, M. Ki-
2019, Ed. by V. Korenkov, T. Strizh, A. Nechaevskiy,
rakosyan, M. Matveev, D. Podgainy, T. Sapozh-
and T. Zaikina, CEUR Workshop Proceedings 2507,
nikova, O. Streltsova, Sh. Torosyan, M. Vala,
185 (2019).
L. Valova, A. Vorontsov, T. Zaikina, E. Zemlyanaya,
and M. Zuev, in Proceedings of the
8th
14. A. Baginyan, N. Balashov, A. Baranov, S. Belov,
International Conference “Distributed Computing
D. Belyakov, Y. Butenko, A. Dolbilov, A. Golunov,
and Grid-technologies in Science and Education”,
I.
Kadochnikov, I. Kashunin, V. Korenkov,
Dubna, 2018, Ed. by V. Korenkov, A. Nechaevskiy,
N. Kutovskiy, A. Mayorov, V. Mitsyn, I. Pelevanyuk,
T. Zaikina, and E. Mazhitova, CEUR Workshop
R. Semenov, et al., in Proceedings of the 26th
Proceedings 2267, 638 (2018).
International Symposium on Nuclear Electronics
13. N. Balashov, A. Baranov, N. Kutovskiy, A. Makhalkin,
and Computing (NEC 2017), Budva, 2017, Ed. by
Y. Mazhitova, I. Pelevanyuk, and R. Semenov, in
V. Korenkov and A. Nechaevskiy, CEUR Workshop
Proceedings of the 27th Symposium on Nuclear
Proceedings 2023, 226 (2017).
Electronics and Computing, Montenegro, Budva,
TRENDS AND PROSPECTS FOR THE DEVELOPMENT
OF DISTRIBUTED COMPUTING AND BIG DATA ANALYTICS
TO SUPPORT MEGASCIENCE PROJECTS
V. V. Korenkov
Joint Institute for Nuclear Research, the Laboratory of Information Technologies, Dubna, Russia
The creation and development of computer systems for experimental data processing, storage and analysis,
of search algorithms and data access are crucial to megascience projects. Information and computing
infrastructures, necessary for carrying out the research tasks of megascience projects, represent complex
distributed, heterogeneous systems, including systems of extra-massive parallelism, and systems of
distributed storage of big data arrays.
ЯДЕРНАЯ ФИЗИКА том 83
№6
2020
