Кристаллография, 2020, T. 65, № 6, стр. 995-1008

Потенциал современных информационных технологий для анализа данных экспериментов на установках Cryo-EM и XFEL

С. А. Бобков 1*, А. Б. Теслюк 12, Т. Н. Баймухаметов 1, Е. Б. Пичкур 1, Ю. М. Чесноков 1, Д. Ж. Ассалауова 3, А. А. Пойда 12, А. М. Новиков 1, С. И. Золотарев 3, К. А. Иконникова 1, В. Е. Велихов 1, И. А. Вартаньянц 35, А. Л. Васильев 124, В. А. Ильин 12

1 Национальный исследовательский центр “Курчатовский институт”
Москва, Россия

2 Московский физико-технический институт
Долгопрудный, Россия

3 Немецкий центр по синхротнонным исследованиям (DESY)
Гамбург, Германия

4 Институт кристаллографии им. А.В. Шубникова ФНИЦ “Кристаллография и фотоника” РАН
Москва, Россия

5 Национальный исследовательский ядерный университет “МИФИ”
Москва, Россия

* E-mail: s.bobkov@grid.kiae.ru

Поступила в редакцию 14.06.2020
После доработки 14.06.2020
Принята к публикации 22.06.2020

Аннотация

Представлен новый подход к организации конвейерной обработки данных экспериментов крио-электронной микроскопии (Cryo-EM) и на рентгеновских лазерах на свободных электронах (XFEL) с использованием современных информационно-технологических (ИТ) достижений, связанных с развитием технологий контейнеризации. Такой подход позволяет отделить работу пользователя на прикладном уровне от разработок ИТ-специалистов на системном и промежуточном уровнях. Пользователю остается только выполнить две несложные подготовительные операции: поместить прикладные пакеты в контейнеры и записать прикладную логику конвейерной обработки данных в формате прикладного композитного задания. Обсуждаются примеры контейнеризированных конвейеров для Cryo-EM- и XFEL-экспериментов по изучению пространственной структуры одиночных наноразмерных биологических объектов (вирусов, макромолекул и др.). На сайте проекта по разработке контейнеризированного конвейера представлены примеры программных кодов помещения прикладных пакетов в Docker-контейнеры, а также примеры прикладных композитных заданий, написанных на языке высокого уровня CWL. Примеры снабжены комментариями, что поможет неискушенному в ИТ исследователю получить представление, как организовывать Docker-контейнеры и формировать CWL-композитные задания для Cryo-EM- и XFEL-конвейерной обработки данных.

DOI: 10.31857/S0023476120060089

Список литературы

  1. Callaway E. // Nature News. 2015. V. 525. № 7568. P. 172. https://doi.org/10.1038/525172a

  2. Altarelli M., Mancuso A.P. // Philos. Trans. R. Soc. B. 2014. V. 369. № 1647. P. 20130311. https://doi.org/10.1098/rstb.2013.0311

  3. Bharat T.A.M., Russo C.J., Löwe J. et al. // Structure. 2015. V. 23. № 9. P. 1743. https://doi.org/10.1016/j.str.2015.06.026

  4. Neutze R., Wouts R., van der Spoel D. et al. // Nature. 2000. V. 406. № 6797. P. 752. https://doi.org/10.1038/35021099

  5. Gaffney K.J., Chapman H.N. // Science. 2007. V. 316. № 5830. P. 1444. https://doi.org/10.1126/science.1135923

  6. Saxena A., Sun M., Ng A.Y. // IEEE Trans. Pattern Analysis Machine Intelligence. 2008. V. 31. № 5. P. 824. https://doi.org/10.1109/TPAMI.2008.132

  7. Rezende D.J., Eslami S.M. Ali, Mohamed S. et al. // Advances in neural information processing systems. Curran Associates, Inc, 2016. P. 4996.

  8. LeCun Y., Bengio Y. // Convolutional Networks for Images, Speech, and Time-Series. MIT Press, 1998. P. 255.

  9. Krizhevsky A., Sutskever I., Hinton G.E. // Advances in Neural Information Processing Systems, Curran Associates, Inc, 2012. P. 1097.

  10. Pichkur E., Baimukhametov T., Teslyuk A. et al. // J. Phys.: Conf. Ser. 2018. V. 955. P. 012005. https://doi.org/10.1088/1742-6596/955/1/012005

  11. Bobkov S.A., Teslyuk A.B., Zolotarev S.I. et al. // Lobachevskii Journal of Mathematics. 2018. V. 39. № 9. P. 1170. https://doi.org/10.1134/S1995080218090093

  12. Merkel D. // Linux J. 2014. № 239. P. 2.

  13. https://kubernetes.io/

  14. Nadareishvili I., Mitra R., McLarty M. et al. Microservice architecture: aligning principles, practices, and culture. O’Reilly Media, Inc, 2016.

  15. Šimko T., Heinrich L., Hirvonsalo H. et al. // EPJ Web of Conferences. EDP Sciences, 2019. V. 214. P. 06034. https://doi.org/10.1051/epjconf/201921406034

  16. Amstutz P., Crusoe M. R., Tijanić N. et al. // Common Workflow Language working group. 2016. https://doi.org/10.6084/m9.figshare.3115156.v2

  17. Gatsogiannis C., Markl J. // J. Mol. Biol. 2009. V. 385. № 3. P. 963. https://doi.org/10.1016/j.jmb.2008.10.080

  18. Tesliuk A., Bobkov S., Ilyin V. et al. // 2019 Ivannikov ISPRAS Open Conference (ISPRAS). IEEE Xplore. 2019. P. 67. https://doi.org/10.1109/ISPRAS47671.2019.00016

  19. Баймухаметов T.Н., Чесноков Ю.M., Пичкур E.Б. и др. // Acta Naturae. 2018. Т. 10. № 3. С. 48. https://doi.org/10.32607/20758251-2018-10-3-48-56

  20. Cheng Y. // Cell. 2015. V. 161. № 3. P. 450. https://doi.org/10.1016/j.cell.2015.03.049

  21. Scheres S.H.W. // J. Structur. Biol. 2015. V. 189. № 2. P. 114. https://doi.org/10.1016/j.jsb.2014.11.010

  22. Punjani A., Rubinstein J.L., Fleet D.J. et al. // Nature Methods. 2017. V. 14. № 3. P. 290. https://doi.org/10.1038/nmeth.4169

  23. Plitzko J., Baumeister W.P. // Springer Handbook of Microscopy. Springer, Cham, 2019. P. 2-2. https://doi.org/10.1007/978-3-030-00069-1_4

  24. https://www.ebi.ac.uk/pdbe/emdb/statistics_num_res.html/

  25. Nwanochie E., Uversky V.N. // Int. J. Mol. Sci. 2019. V. 20. № 17. P. 4186. https://doi.org/10.3390/ijms20174186

  26. Bai X.C., McMullan G., Scheres S.H.W. // Trends Biochem. Sci. 2015. V. 40. № 1. P. 49. https://doi.org/10.1016/j.tibs.2014.10.005

  27. Mitra A.K., van Raaij M. // Acta Cryst. F. 2019. V. 75. № 1. P. 1. https://doi.org/10.1107/S2053230X18017806

  28. Williams D.B., Carter C.B. Transmission Electron Microscopy. Springer, 2009. 768 p. https://doi.org/10.1007/978-0-387-76501-3_10

  29. Scheres S.H.W., Valle M., Nuñez R. et al. // J. Mol. Biol. 2005. V. 348. № 1. P. 139. https://doi.org/10.1016/j.jmb.2005.02.031

  30. Mastronarde D.N. // Microscopy Microanalysis. 2018. V. 24. № S1. P. 864. https://doi.org/10.1017/S1431927618004816

  31. Zheng S.Q., Palovcak E., Armache J.-P. et al. // Nature Methods. 2017. V. 14. № 4. P. 331. https://doi.org/10.1038/nmeth.4193

  32. Rohou A., Grigorieff N. // J. Struct. Biol. 2015. V. 192. № 2. P. 216. https://doi.org/10.1016/j.jsb.2015.08.008

  33. Zhang K. // J. Struct. Biol. 2016. V. 193. № 1. P. 1. https://doi.org/10.1016/j.jsb.2015.11.003

  34. Zhang K., Li M., Sun F. Gautomatch: an efficient and convenient gpu-based automatic particle selection program. https://www.mrc-lmb.cam.ac.uk/kzhang/ 2011.

  35. Scheres S.H.W. // J. Struct. Biol. 2012. V. 180. № 3. P. 519. https://doi.org/10.1016/j.jsb.2012.09.006

  36. Grant T., Rohou A., Grigorieff N. // Elife. 2018. V. 7. P. e35383. https://doi.org/10.7554/eLife.35383

  37. Emma P., Akre R., Bionta A.R. et al. // Nature Photonics. 2010. V. 4. № 9. P. 641. https://doi.org/10.1038/nphoton.2010.176

  38. Ishikawa T., Aoyagi H., Asaka T. et al. // Nature Photonics. 2012. V. 6. № 8. P. 540. https://doi.org/10.1038/nphoton.2012.141

  39. Seibert M.M., Ekeberg T., Maia F.R.N.C. et al. // Nature. 2011. V. 470. № 7332. P. 78. https://doi.org/10.1038/nature09748

  40. Hantke M.F., Haase D., Maia F.R.N. C et al. // Nature Photonics. 2014. V. 8. № 12. P. 943. https://doi.org/10.1038/nphoton.2014.270

  41. van der Schot G., Svenda M., Maia F.R.N.C. et al. // Nature Commun. 2015. V. 6. № 1. P. 1. https://doi.org/10.1038/ncomms6704

  42. Ekeberg T., Svenda M., Abergel C. et al. // Phys. Rev. Lett. 2015. V. 114. № 9. P. 098102. https://doi.org/10.1103/PhysRevLett.114.098102

  43. Aquila A., Barty A., Bostedt C. et al. // Struct. Dynamics. 2015. V. 2. № 4. P. 041701. https://doi.org/10.1063/1.4918726

  44. Kurta R.P., Donatelli J.J., Yoon C.H. et al. // Phys. Rev. Lett. 2017. V. 119. № 15. P. 158102. https://doi.org/10.1103/PhysRevLett.119.158102

  45. Rose M., Bobkov S., Ayyer K. et al. // IUCrJ. 2018. V. 5. №. 6. P. 727. https://doi.org/10.1107/S205225251801120X

  46. Shi Y., Yin K., Tai X. et al. // IUCrJ. 2019. V. 6. № 2. P. 331. https://doi.org/10.1107/S2052252519001854

  47. Assalauova D., Kim Y.Y., Bobkov S. et al. // IUCrJ. 2020. V. 7. № in press

  48. Sobolev E., Zolotarev S., Giewekemeyer K. et al. // Commun. Phys. 2020. V. 3. Article number 97. https://doi.org/10.1038/s42005-020-0362-y

  49. https://linuxcontainers.org/lxc/introduction/

  50. https://cri-o.io/

  51. https://docs.docker.com/engine/reference/builder/

  52. https://opencontainers.org/about/overview/

  53. https://hub.docker.com/

  54. https://docs.docker.com/get-started/swarm-deploy/

  55. https://rancher.com/

  56. https://bio1.grid.kiae.ru/sw/workflows/

  57. Yu J., Buyya R. // ACM Sigmod Record. 2005. V. 34. № 3. P. 44. https://doi.org/10.1007/s10723-005-9010-8

  58. https://xpra.org/

  59. Wagner T., Lusnig L., Pospich S. et al. // bioRxiv. 2020. https://doi.org/10.1101/2020.02.28.969196

  60. Reddy H.K.N., Yoon C.H., Aquila A. et al. // Scientific Data. 2017. V. 4. P. 170079. https://doi.org/10.1038/sdata.2017.79

  61. Bozek J.D. // Europ. Phys. J. Special Topics. 2009. V. 169. № 1. P. 129. https://doi.org/10.1140/epjst/e2009-00982-y

  62. Ferguson K.R., Bucher M., Bozek J.D. et al. // J. Synchrotron Radiation. 2015. V. 22. № 3. P. 492. https://doi.org/10.1107/S1600577515004646

  63. Maia F.R.N.C. // Nature Methods. 2012. V. 9. № 9. P. 854. https://doi.org/10.1038/nmeth.2110

  64. Ayyer K., Lan T.-Y., Elser V. et al. // J. Appl. Cryst. 2016. V. 49. № 4. P. 1320. https://doi.org/10.1107/S1600576716008165

Дополнительные материалы отсутствуют.