Приборы и техника эксперимента, 2019, № 2, стр. 12-18

РАСПРЕДЕЛЕННАЯ СИСТЕМА УПРАВЛЕНИЯ ДЕТЕКТОРАМИ ЭКСПЕРИМЕНТА СПАСЧАРМ

С. И. Букреева a*, А. Н. Васильев a, Ю. М. Гончаренко a, А. А. Деревщиков a, Е. В. Маслова a, Ю. М. Мельник a, А. П. Мещанин a, В. В. Мочалов a, А. В. Рязанцев a, С. В. Рыжиков a, П. А. Семенов a, В. А. Сенько a, Н. А. Шаланда a

a Институт физики высоких энергий им. А.А. Логунова Национального исследовательского центра “Курчатовский институт”
142281 Московской обл., Протвино, пл. Науки, 1, Россия

* E-mail: s.bukreeva@mail.ru

Поступила в редакцию 05.06.2018
После доработки 05.06.2018
Принята к публикации 19.08.2018

Полный текст (PDF)

Аннотация

Описана система управления детекторами экспериментальной установки СПАСЧАРМ, создаваемой на ускорительном комплексе У-70 (г. Протвино). Рассмотрены общая концепция построения системы управления, пример использования программного обеспечения EPICS, а также описаны электронные узлы системы управления, введенные в эксплуатацию на установке к настоящему времени.

ВВЕДЕНИЕ

Проект СПАСЧАРМ (СПиновые АСимметрии в образовании ЧАРМония) является новым перспективным научным экспериментом по исследованию спиновой структуры нуклона и спиновой зависимости сильного взаимодействия. Экспериментальная установка СПАСЧАРМ создается на крупнейшем российском ускорителе У-70 на базе НИЦ “Курчатовский институт”–Институт физики высоких энергий.

В проекте СПАСЧАРМ предусмотрены две стадии: стадия 1 – создание установки СПАСЧАРМ-1 на существующем канале № 14 ускорителя У-70 и стадия 2 – создание установки СПАСЧАРМ-2 на будущем канале № 24А с поляризованными протонным и антипротонным пучками. В данной статье описывается система управления для существующих узлов установки СПАСЧАРМ-1.

При создании экспериментальной установки, состоящей из десятка разных детекторов и тысяч каналов регистрации, важно разработать удобную в эксплуатации и устойчивую к отказам систему управления детекторами (систему медленного контроля), которая обеспечит контроль и доступ к управлению параметрами детекторов и других подсистем установки, а также будет служить для своевременного обнаружения сбоев в работе установки и для сигнализации о ее неисправностях. Кроме того, для крупных физических установок принципиально создавать гибкую и легко масштабируемую систему управления.

К настоящему времени на рынке электронных компонентов в большом разнообразии появились высокопроизводительные микропроцессоры и системы на их основе, которые, помимо прочих достоинств (универсальность применения за счет широкой встроенной периферии, постоянное развитие и расширение средств для программирования и отладки), имеют относительно невысокую стоимость и доступны на рынке.

В данной статье описана система управления детекторами СПАСЧАРМ-1, при разработке которой использована современная микропроцессорная база в сочетании с программным комплексом EPICS (Experimental Physics and Industrial Control System) [1], уже ставшим стандартом программного обеспечения на крупных международных научных установках.

ОПИСАНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ УСТАНОВКИ И ЗАДАЧИ СИСТЕМЫ УПРАВЛЕНИЯ

Экспериментальная установка СПАСЧАРМ-1 на существующем канале № 14 ускорителя У-70 содержит следующие основные узлы:

– пучковую аппаратуру;

– комплекс поперечно поляризованной мишени с магнитом “Динозавр”;

– вето-систему;

– спектрометр, состоящий из широкоапертурного магнита М31, шести плоскостей пропорциональных камер и четырех станций дрейфовых трубок с общим числом плоскостей 39 и каналов регистрирующей электроники около 2200;

– электромагнитный калориметр из свинцового стекла на 720 каналов.

Пучковая аппаратура представляет собой набор детекторов, установленных по оси пучка до мишени установки, а также расположенный после всех трековых детекторов установки счетчик частиц, которые не провзаимодействовали с веществом мишени. Аппаратура предназначена как для выработки первичного триггера, так и для определения типа частицы и ее координаты на мишени установки при обработке данных. Для более точного определения координаты частицы вблизи мишени используется сцинтилляционный волоконный годоскоп на основе волокон SCSF-38 фирмы Kuraray, свободные концы которых зафиксированы на фотокатодах 12-ти фотоумножителей Hamamatsu R7600-200-M16 [2]. Аналоговые сигналы с анодов преобразуются в цифровые с помощью дискриминаторов с низким порогом, которые имеют парафазные выходы в стандарте LVDS для передачи к системе сбора данных.

Спектрометрический магнит М31 с водяным охлаждением изготовлен в ИФВЭ. Основной особенностью магнита является большая апертура, позволяющая проводить исследования в большом телесном угле, что обеспечивает большую апертуру экспериментальной установки в целом.

Интеграл поля в центре магнита составит 1.5 Тл · м.

Перед магнитом расположены шесть плоскостей пропорциональных камер с шагом проволок 1 мм и первая станция дрейфовых трубок, состоящая из четырех плоскостей: Х, Y, а также U и V (которые повернуты на угол 15° относительно горизонтали и вертикали). Эти дрейфовые камеры, как и все остальные камеры за магнитом, изготовлены из майларовых дрейфовых трубок диаметром 30 мм [3]. Станции, расположенные за магнитом, измеряют три координаты (восстанавливают треки) частиц: Х, Y и U.

К дрейфовым трубкам подключены более трехсот 8-канальных усилителей сигналов. Усилители имеют отдельные входы для управления пороговыми напряжениями. Во время настройки и работы трековой системы возникает необходимость удаленного управления этими напряжениями и тестирования сигналов с усилителей. Реализация этих функций является одной из задач системы управления детекторами установки. Аналогичные усилители используются также и в волоконном годоскопе.

Магнит М29 с водяным охлаждением (“Динозавр”) для поперечно-поляризованной мишени изготовлен в ИФВЭ и имеет телесный угол раскрытия 250 мрад по вертикали. Рабочее поле для накачки поляризации методом электронного парамагнитного резонанса при частоте, близкой к 70 ГГц, равно 24 кЭ. Набор статистики при раздвинутых полюсах на 250 мм осуществляется при удерживающем поляризацию мишени поле магнита 4 кЭ.

Оба магнита – “Динозавр” и М31 – требуют непрерывного отслеживания температуры воды в каждой обмотке отдельно и влажности вблизи установки для своевременного обнаружения неисправности в системе охлаждения магнита. Кроме этого, нужно измерять падение напряжения на шунтах магнитов и формировать сигнал аварийного отключения магнитов.

Вето-система является частью поперечно-поляризованной мишени и представляет собой детектор заряженных частиц и γ-квантов, рождающихся в поляризованной мишени и вылетающих из нее под большими углами, не попадая в открытый телесный угол, определяемый апертурой экспериментальной установки.

Для регистрации заряженных частиц используется первый слой детектора, состоящий из четырех пластин сцинтиллятора (полистирол) вокруг мишени. Свет из каждой пластины собирается спектросмещающими оптическими волокнами на фотокатоды двух ФЭУ-84-3, сигналы от которых используются в совпадениях для подавления шумов.

Дальнейшая структура вето-системы в направлениях, перпендикулярных пучку, представляет собой чередование четырех слоев свинца толщиной 7 мм и четырех слоев сцинтилляционных пластин толщиной 5 мм со сбором сигналов также посредством спектросмещающих волокон. Эта часть детектора регистрирует γ-кванты. В каждом модуле сигнал от γ-квантов регистрируется двумя ФЭУ-84-3 в совпадениях. Таким образом, вето-система регистрирует заряженные частицы в четырех и нейтральные в двух интервалах по азимутальному углу φ.

В каналах вето-системы используются генераторы Кокрофта–Уолтона, задающие напряжения динодов фотоэлектронных умножителей (ф.э.у.). Для управления входными напряжениями на самих генераторах служит система управления, которая также обеспечивает обратную связь с генераторов и мониторирование потребления тока в каналах для быстрого поиска неисправностей.

Система сбора данных СПАСЧАРМ на основе модулей электроники в стандарте ЕвроМИСС [4] позволит регистрировать до 50 тысяч событий за сброс с растяжкой пучка частиц 2 с. Регистрирующая электроника (времяцифровые и аналого-цифровые преобразователи (в.ц.п. и а.ц.п.), регистры, счетчики) в стандарте ЕвроМИСС разработана в отделе электроники ИФВЭ. Протокол передачи позволяет передавать по шине 16-битные данные одновременно с адресной информацией за цикл 100–200 нс в зависимости от типа модуля.

В настоящее время в сеансе на установке для регистрации сигналов используются 15 модулей зарядовых а.ц.п. (общее число каналов 720) для чтения калориметра, 20 модулей в.ц.п. для чтения сигналов с трековой системы (общее число каналов 2500), 5 модулей регистров для волоконного годоскопа.

Модули электроники построены на основе программируемых логических интегральных схем (п.л.и.с.) фирмы Altera, а в модулях в.ц.п., помимо них, использованы микросхемы HPTDC [5]. В ходе эксперимента часто возникает необходимость переконфигурирования данных микросхем. Такую задачу решает система управления, которая, помимо предоставления удаленного доступа к конфигурированию каждого модуля, позволяет отслеживать токи потребления и температуры, а также удаленно управляет источниками питания каркасов с модулями.

ОПИСАНИЕ СИСТЕМЫ УПРАВЛЕНИЯ ДЕТЕКТОРАМИ СПАСЧАРМ

Для решения перечисленных выше задач были разработаны локальные (находящиеся в непосредственной близости от узла установки) модули управления с использованием 32-разрядных микроконтроллеров семейства Cortex-M3 и Cortex-M4 фирмы STMicroelectronics. Отличительной особенностью микроконтроллеров данного производителя является взаимозаменяемость чипов: при одинаковой трассировке плат в разных модулях управления можно устанавливать чипы с разной производительностью и различными характеристиками в зависимости от задач в данной подсистеме или в детекторе установки.

Такой подход ускоряет процесс разработки системы управления в целом и позволяет создавать избыточную аппаратную базу системы управления, так как для простых задач вместо производительного микроконтроллера можно использовать несколько более экономичных чипов. Это в свою очередь повышает устойчивость системы к отказам. Кроме того, за счет использования множества локальных модулей управления обеспечивается дальнейшая возможность масштабирования всей системы, так как список задач управления неизбежно будет расширяться при развитии экспериментальной установки.

Ниже описаны разработанные микроконтроллерные локальные модули для систем экспериментальной установки.

МОНИТОРИРОВАНИЕ И КОНФИГУРИРОВАНИЕ МОДУЛЕЙ РЕГИСТРИРУЮЩЕЙ ЭЛЕКТРОНИКИ СИСТЕМЫ СБОРА ДАННЫХ

В модулях регистрирующей электроники ЕвроМИСС широко применяются микросхемы с программируемой логикой – п.л.и.с., а также микросхемы с программируемыми параметрами, такие как микросхемы многоканальных в.ц.п. HPTDC [6].

Процесс программирования п.л.и.с. и редактирование параметров других микросхем требует применения специализированных программирующих устройств (ByteBlasters, XChecker и др.), а при большом количестве модулей может занимать достаточно много времени. В ряде случаев эти ограничения являются недопустимыми. Например, при измерении временных интервалов с помощью HPTDC, работающих в режиме повышенной разрешающей способности (25 пс), в ходе эксперимента возникает потребность в калибровке интерполяционной части HPTDC. В свою очередь, для выполнения данной операции необходимо иметь возможность оперативного перепрограммирования параметров корректирующих RC-цепочек в звеньях интерполятора.

Для решения этой задачи и обеспечения эффективной работы регистрирующей электроники ЕвроМИСС была разработана мезонинная плата [7] на основе микроконтроллера stm32f207, управляемая по независимой от основной магистрали обмена данных ЕвроМИСС последовательной шине CAN. Данная плата устанавливается в каждый модуль электроники и имеет различное программное обеспечение, зависящее от типа модуля.

Выбор в пользу CAN для плат модулей ЕвроМИСС был сделан, исходя из двух основных преимуществ данной шины перед Modbus RTU, используемой в других модулях установки:

– арбитраж, реализованный в CAN, позволяет создать одноранговую сеть;

– наличие нескольких механизмов контроля и предотвращения ошибок, значительно повышающих надежность передачи данных [8].

Кроме того, шина CAN уже используется для связи с источниками питания модулей регистрирующей электроники [9].

Для связи мезонинной платы с программируемыми узлами в модулях ЕвроМИСС предусмотрено использование ряда интерфейсов. В частности, для конфигурирования и тестирования HPTDC используется интерфейс JTAG [10]. Протокол JTAG, а также специфичные процедуры для программирования цепочки HPTDC реализованы в программном обеспечении микроконтроллера.

В модулях системы ЕвроМИСС в качестве интерфейса для связи с магистралью каркаса используются п.л.и.с. разных производителей: Altera, Xilinx и др. Данные п.л.и.с. имеют возможность программирования через интерфейс Passive Serial [11]. Протоколы для обмена с такими интерфейсами также предусмотрены в программном обеспечении конфигурирующей платы. При этом наибольшее время затрачивается на конфигурацию п.л.и.с. Acex EP1K10 фирмы Altera. Передача конфигурации таких п.л.и.с. в 19-ти модулях каркаса ЕвроМИСС через интерфейс Passive Serial в виде rbf-файла размером 97 Кбайт занимает ~1 мин.

Для быстрого поиска неисправного модуля в каркасе ЕвроМИСС в функциональность платы также заложено мониторирование тока потребления каждого модуля и температуры. В настоящее время в регистрирующих модулях системы ЕвроМИСС используются датчики тока с интегрированным аналого-цифровым преобразователем, связь с которыми осуществляется через последовательный синхронный интерфейс I2C. Для работы с такими устройствами у stm32f207 есть соответствующий контроллер, а сигнальные линии I2C предусмотрены в цоколевке разъема для связи с мезонинной платой.

Для доступа к шине CAN в каркасе ЕвроМИСС используется одна из функций универсального контроллера ЕМ-5 [12]. Контроллер работает под управлением операционной системы Linux и использует подсистему SocketCAN, что упрощает разработку программного обеспечения для управления модулями по шине CAN. Основное назначение контроллера ЕМ-5 – чтение данных с модулей ЕвроМИСС, и ресурсы встроенного компьютера по максимуму задействованы для этой цели.

В настоящее время изготовлены и используются более 20 мезонинных плат.

МОНИТОРИРОВАНИЕ МАГНИТА МИШЕНИ “ДИНОЗАВР”

Параметры магнита мониторируются платой на основе микроконтроллера stm32f205. Микроконтроллер осуществляет измерение тока магнита до 1500 А с точностью измерения 0.4 А каждые 5 с, мониторирует температуру воды на 22-х выходах охлаждающих контуров внутри магнита и отслеживает уровень влажности воздуха вблизи магнита с той же частотой.

Измерение тока магнита осуществляется с помощью шунта (75 мВ при 1500 А), установленного на магните.

Для измерения влажности к плате подключаются два датчика: по интерфейсу SPI – модуль BME280 [13], который, помимо влажности, измеряет температуру и атмосферное давление, а по интерфейсу I2C – модуль AM2303 [14]. Максимальное время выполнения всего цикла измерения с обоих модулей составляет 5 мс. Для измерения температур охлаждающих контуров магнита на обмотки были установлены температурные датчики DS1820 (точность измерения 0.5°С) с интерфейсом 1-Wire, время цикла измерений составляет 1 с.

Измерительная плата подключается к шине Modbus RTU, организованной на интерфейсе RS-485. Выбор в пользу Modbus обусловлен простотой данной шины и наличием других устройств в зоне магнита мишени, которые используют тот же интерфейс.

УПРАВЛЕНИЕ ПОРОГАМИ И ТЕСТИРОВАНИЕ УСИЛИТЕЛЕЙ ТРЕКОВЫХ КАМЕР

В ходе настройки и испытаний электроники трековых камер [15] нужен инструмент для отправки тестовых импульсов на усилители сигналов с камер, а при работе установки появляется необходимость изменять пороги срабатывания усилителей. Для этих целей была разработана плата, предназначенная для подключения восьми усилителей. Данная плата также является переходной от усилителей к разъемам модулей в.ц.п.

На плате установлен самый бюджетный микроконтроллер из линейки Cortex-M3 – stm32f100. Микроконтроллер управляет восьмью микросхемами ц.а.п. DAC7512, каждый из которых через операционный усилитель устанавливает порог на одном из усилителей. Тестовый сигнал отправляется на усилители в зависимости от режима работы платы:

– режим 1: для тестирования используется внешний сигнал, который без участия микроконтроллера поступает через драйверы платы на все усилители одновременно;

– режим 2: для тестирования используется внешний сигнал, который с помощью микроконтроллера перенаправляется на один из восьми усилителей;

– режим 3: для тестирования используется сигнал с микроконтроллера, который отправляется на один из усилителей или на все одновременно, при этом микроконтроллером генерируется сигнал LVDS как внешний для синхронизации с модулями в.ц.п.

Для подключения переходных плат в систему управления установки был использован интерфейс Modbus RTU. В настоящее время изготовлены и используются более 40 переходных плат.

АРХИТЕКТУРА СИСТЕМЫ УПРАВЛЕНИЯ ДЕТЕКТОРАМИ

Следующий уровень системы управления СПАСЧАРМ построен с использованием одноплатных компьютеров Raspberry Pi (микропроцессор ARM11) [16], которые получили большую популярность в электронике в основном благодаря своей низкой стоимости и широкой функциональности платы. В системе управления СПАСЧАРМ компьютеры Raspberry Pi распределены по установке и используются в качестве приемопередатчиков данных от пользователя к локальным модулям управления, объединенным по полевым шинам CAN bus и Modbus RTU. При этом один компьютер Raspberry Pi может брать на себя функции обмена данными с одним локальным модулем или с несколькими одновременно, что позволяет при отказе одного из компьютеров переназначить его функции другому.

Рекомендованная производителем операционная система Raspbian, основанная на Debian и оптимизированная под аппаратную часть Raspberry Pi, была использована для установки программного обеспечения EPICS и запуска приложений Input/Output controller (IOC). В среде EPICS приложение IOC, с одной стороны, связывается с устройствами на полевых шинах, а с другой – выступает сервером запросов от пользователя. Поддержка протокола Modbus RTU реализована в драйвере, который доступен в качестве дополнительного модуля к EPICS [17]. Протокол CAN bus и его интеграция в ядро операционной системы Raspberry Pi были проработаны для системы управления детекторами эксперимента PANDA (ускорительный комплекс FAIR, Германия) [18] и успешно использованы в системе управления СПАСЧАРМ.

На рис. 1 представлена архитектура всей системы управления СПАСЧАРМ. EPICS предлагает большое разнообразие клиентских программ и инструментов для взаимодействия с приложениями IOC и обработки данных с них. Однако при этом в EPICS нет универсального средства, которое бы включало в себя не только графический интерфейс клиента, но и браузер данных, систему аварийной сигнализации и другие инструменты для диагностики системы управления. Поэтому для использования в СПАСЧАРМ был выбран программный комплекс Control System Studio (CSS), основанный на Eclipse и разработанный коллаборацией ученых из различных научных институтов для создания систем управления крупных установок, использующих программное обеспечение EPICS [19]. CSS объединил в себе средства для разработки графического интерфейса клиента, базу данных (ArchiveEngine), инструмент для работы с системой аварийной сигнализации (AlarmHandler), электронный бортовой журнал и другие полезные средства для работы с системой управления, при этом он имеет полную поддержку протокола обмена данными EPICS.

Рис. 1.

Архитектура системы управления детекторами установки СПАСЧАРМ.

ГРАФИЧЕСКИЙ ИНТЕРФЕЙС. АРХИВАЦИЯ ДАННЫХ. АВАРИЙНАЯ СИГНАЛИЗАЦИЯ

Интерфейс системы управления СПАСЧАРМ включает в себя графический интерфейс клиента запросов к локальным модулям, аварийную систему и браузер данных. Для ограничения доступа к системе используется несколько учетных записей с разными правами на редактирование. На рис. 2 показано изображение одной из вкладок интерфейса.

Рис. 2.

Графический интерфейс пользователя системы управления детекторами установки СПАСЧАРМ.

Для создания баз данных (параметров системы, аварийных состояний, записей бортового журнала, учетных записей пользователей) использована система PostgreSQL [20]. Архиватор данных запускается как фоновый процесс, в интерфейсе оператора браузер данных доступен как отдельная вкладка.

Система аварийной сигнализации представляет собой обработчик, который проверяет состояния параметров установки. Каждый параметр установки (температура обмоток магнита, ток потребления, параметры влажности и т.д.) в приложении IOC приобретает дополнительные поля, содержащие информацию о пределах допустимых значений, которые задаются в конфигурации на Raspberry Pi перед запуском IOC. В случае аварии обработчик узнает о превышении допустимых пределов параметром от IOC и оповещает оператора звуковым сигналом либо сообщением, а запись об аварийном состоянии сохраняется в базе данных.

ЗАКЛЮЧЕНИЕ

Описанная система управления была успешно испытана при работе экспериментальной установки СПАСЧАРМ в сеансах работы ускорительного комплекса ИФВЭ осенью 2017 г. и весной 2018 г. Система управления обладает рядом достоинств: высокой устойчивостью к отказам за счет избыточности аппаратной части и резервирования данных, простой масштабируемостью благодаря разработке независимых локальных модулей и использованию одноплатных компьютеров Raspberry Pi, а также гибкостью графического интерфейса в среде Control System Studio.

К недостаткам можно отнести возможные сбои в работе Raspberry Pi в условиях работы ускорительного комплекса, что можно решить заменой на более защищенные варианты одноплатных компьютеров (например, BeagleBone Black).

Данная система управления будет полностью использована для установки в стадии 2 на будущем канале № 24А.

Работа выполнена при финансовой поддержке Исследовательского центра ФАИР-Россия и гранта РФФИ 18-02-00006.

Список литературы

  1. https://epics.anl.gov/

  2. https://www.hamamatsu.com/us/en/R7600U-200.html

  3. Борисов А.А., Божко Н.И., Кожин А.С., Ларионнов А.В., Левин А.Н., Плотников И.С., Фахрутдинов Р.М. // ПТЭ. 2013. № 2. С. 16. doi https://doi.org/10.7868/ S0032816213010199

  4. Букреева С.И., Емельянов Н.М., Исаев А.Н., Карпеков Ю.Д., Киселев Ю.С., Петров В.С., Сенько В.А., Солдатов М.М., Шаланда Н.А., Якимчук В.И. // ПТЭ. 2014. № 6. С. 23. doi https://doi.org/10.7868/ S003281621405005X

  5. Карпеков Ю.Д., Киселев Ю.С., Сенько В.А. Препринт ИФВЭ 2011-20. Протвино, 2011.

  6. Christiansen J. HPTDC Version 1.3. CERN/EP-MIC.

  7. Киселёв Ю.С., Карпеков Ю.Д., Семенов П.А., Сенько В.А., Букреева С.И. Препринт ИФВЭ 2012-12. Протвино, 2012.

  8. http://www.can-wiki.info/doku.php

  9. Букреева С.И., Шаланда В.А., Сенько В. А., Исаев А.Н. Препринт ИФВЭ 2011- 19. Протвино, 2011.

  10. Каршенбойм И. // Современная электроника. 2007. № 2. С. 58.

  11. Altera Corporation. Configuration Handbook, 2011.

  12. Рыжиков С.В., Петров В.С., Семенов П.А., Якимчук В.И. Препринт ИФВЭ 2013-13. Протвино, 2013.

  13. https://www.bosch-sensortec.com/bst/products/all_ products/bme280

  14. https://cdn-shop.adafruit.com/datasheets/DHT22.pdf

  15. Борисов А.А., Кожин А.С., Фахрутдинов Р.М. Патент № 160135 РФ. // Бюл. № 7. Опубл. 10.03.2016.

  16. https://www.raspberrypi.org/

  17. https://epics.anl.gov/modules/bus.php#Modbus%20 %28Asyn%29

  18. https://panda-wiki.gsi.de/foswiki/bin/view/DCS/CAN

  19. https://ics-web.sns.ornl.gov/kasemir/CSS/Training/ css_book.pdf

  20. http://www.ep1.ruhr-uni-bochum.de/~florian/css-panda/

Дополнительные материалы отсутствуют.