Российские нанотехнологии, 2021, T. 16, № 6, стр. 846-856

СВЕРХПРОВОДНИКОВЫЕ НЕЙРОННЫЕ СЕТИ: ОТ ИДЕИ К ОСНОВАМ И ДАЛЕЕ К ПРАКТИКЕ

А. Е. Щеголев 12*, Н. В. Кленов 13, И. И. Соловьев 2, А. Л. Гудков 4, М. В. Терешонок 1

1 Московский технический университет связи и информатики
Москва, Россия

2 Московский государственный университет им. М.В. Ломоносова, Научно-исследовательский институт ядерной физики им. Д.В. Скобельцына
Москва, Россия

3 Московский государственный университет им. М.В. Ломоносова
Москва, Россия

4 Научно-исследовательский институт физических проблем им. Ф.В. Лукина НИЦ “Курчатовский институт”
Зеленоград, Москва, Россия

* E-mail: tanuior@gmail.com

Поступила в редакцию 01.07.2021
После доработки 15.07.2021
Принята к публикации 15.07.2021

Полный текст (PDF)

Аннотация

Популярность и разнообразие искусственных нейронных сетей в самых разных областях применения постоянно растут. Развитие нейронных сетей как в виде программных моделей, так и аппаратных комплексов подчеркивает их актуальность и спектр применимости: начиная от “десятиминутного” кода на Python, нейросетевой машины AlphaZero, интеллектуальных алгоритмов распознавания изображений и речи и заканчивая нейроморфными чипами IBM и Qualcomm и квантовым компьютером D-Wave Systems. Сверхпроводниковая реализация нейронных сетей помимо очевидных преимуществ самой сверхпроводниковой технологии в энергоэффективности и быстродействии позволяет совместить в одном вычислительном блоке как саму нейронную сеть, так и сверхпроводящий квантовый процессор. При этом квантовое ядро комплексной системы может использоваться для обучения нейронной сети методом глобальной оптимизации. Важно заметить, что пример мировых ведущих IT-компаний наглядно демонстрирует ориентированность рынка на сверхпроводниковую элементную базу. Актуальность этой направленности анализируется на фоне исторической ретроспективы.

ВВЕДЕНИЕ

Одной из наиболее перспективных и активно развивающихся областей современных исследований являются разработка и исследование систем искусственного интеллекта, существование которого на сегодняшний момент без искусственной нейронной сети (ИНС) не представимо. Параллельно с развитием ИНС развиваются методы машинного обучения (англ. Machine Learning). За последние годы опубликовано и популяризовано огромное число научных исследований по разработке нейронных сетей [145 ] и алгоритмов машинного обучения [46]. Подобный интерес обусловлен широким спектром применения нейронных сетей; они используются для распознавания статических изображений [47, 48], видео и речи [49], обнаружения объектов [50], диагностики заболеваний [51] и во многих других приложениях, обеспечивая высокую эффективность при решении практических задач.

Несмотря на явное преобладание в мире программных воплощений ИНС и постоянный рост вычислительной мощности традиционных аппаратных ускорителей на базе архитектуры CUDA [52], предпринимаются большие усилия по реализации ИНС на новой перспективной элементной базе.

Программная реализация ИНС обладает рядом недостатков (например, ресурсоемкость вычисления нелинейных активационных функций нейронов и их производных [24]). Существующие аппаратные решения, основанные на процессорах цифровой обработки сигналов и видеочипах [52], позволяют реализовать как глубокие (формальные), так и импульсные (спайковые) нейронные сети, которые кардинально различаются методами обучения. В первом случае обучение основано на различных типах алгоритмов обратного распространения ошибок, когда для обновления весов необходимо каждый раз вычисление градиентов ошибок для нейронов в более глубоких слоях сети. Во втором случае – на локальных правилах обновления синаптических весов, которое контролируется сигналами, закодированными в спайках, только от пре- и постсинаптических нейронов. Последнее создает перспективы реализации самообучаемых ИНС. Но и аппаратные подходы могут существенно выиграть от перехода к новой, более быстродействующей и энергоэффективной элементной базе [5357].

Ввиду постоянно растущего объема информации, требующей обработки, давно зреет закономерная потребность в новой аппаратной базе, позволяющей сократить затраты ресурсов на вычисление активационных функций и их производных. По этой причине целый ряд исследователей обратили свое внимание на использование сверхпроводниковых (СП) технологий для создания нейронных сетей.

КОНЦЕПЦИЯ СВЕРХПРОВОДНИКОВЫХ НЕЙРОННЫХ СЕТЕЙ

Возможности СП-технологии с каждым годом растут и открывают новые горизонты аппаратного применения. Эта технология может предложить наиболее энергоэффективные системы с высоким быстродействием (речь, конечно, идет о специализированных вычислительных системах). На таком фоне идея использования элементной СП-базы для создания ИНС выглядит многообещающей. Использование СП-технологий позволяет преодолеть основные трудности с отводом тепла и высоким энергопотреблением больших нейроморфных вычислительных систем. Кроме того, элементная СП-база совместима с оптическими системами (например, для передачи и обмена данными между отдельными блоками) и с системами, работающими при сверхнизких температурах (~0.1 К), например с квантовыми компьютерами.

ОСНОВЫ

В начале 90-х годов, когда совершались первые попытки использования сверхпроводников в создании ИНС и вычислительных машин, криогенные технологии еще не были развиты в должной мере. Из-за этого, в частности, возникали трудности при создании быстрой оперативной СП-памяти, функционирующей при низких температурах. Попытки внедрить СП-технологии в компьютерную технику сталкивались с проблемой, получившей название “Von Neuman Bottleneck”. Впервые эта проблема возникла при совмещении обычных СП-компьютеров с кремниевой (полупроводниковой) памятью, которая в силу своей природы не может эффективно функционировать при криогенных температурах, в то время как для корректной работы логических СП-гейтов она необходима. Таким образом, области, в которых происходят логические операции, отделены от банков хранения данных (две разные технологии). Время процессов переключения в сверхпроводящем состоянии может достигать единиц пикосекунд, однако это преимущество нивелируется подключением полупроводниковой памяти (скорость считывания 400 пс и энерговыделение 21/12 мВт для операции записи/считывании) [44], т.е. переходом от проводников в сверхпроводящем состоянии к полупроводникам. Важно заметить, что не стоит отождествлять все полупроводниковые технологии с кремниевыми. Современные исследования показывают, что проблемы сопряжения СП-компьютеров с полупроводниковыми устройствами вполне могут быть разрешены, например, использованием нитридной элементной базы [58, 59].

В 1990 г. эта проблема была частично решена использованием оптических кабелей [45]. Однако их пропускная способность и большое время задержки не шли ни в какое сравнение с возможностями сверхпроводников: 10–3–10–6 с против 10–9–10–12 с.

В 1992 г. командой ученых из Японии, возглавляемой Yoshinao Mizugaki, была предложена концепция нейронной СП-ячейки с использованием тока флаксонов, которые играли роль нейронных импульсов (по аналогии с тем, как общаются между собой нейроны в человеческом мозге). В этой схеме “пороговый элемент” – нейрон – состоял из двух связанных джозефсоновских передающих линий (англ. JTL, рис. 1), подключенных друг к другу через резисторы, величина проводимости которых выступала синаптическим весом [60].

Рис. 1.

Джозефсоновская передающая линия (слева) и эквивалентная схема сверхпроводникового нейрона с фиксированными синаптическими весами (справа) [60].

С помощью такого устройства удалось создать двухбитный аналогово-цифровой преобразователь (АЦП) по схеме сетей Хопфилда для решения некоторых задач оптимизации. В дальнейшем дизайн ячейки был улучшен [60], однако недостаток структуры такого типа остался – работа подобного нейрона основана на возникновении напряжения на элементе сопротивления, что ведет к дополнительной диссипации энергии и снижению уровня энергоэффективности.

Параллельно развивался гибридный подход к созданию ИНС, целью которого является создание сверхпроводниковой нейронной сети, способной функционировать как в квантовом режиме, так и в классическом, а также комбинировать возможности различных элементных баз. В гибридных комплексах вычислительные нейросетевые блоки интегрированы в состав сложной криогенной системы, что позволяет эффективно решать наиболее актуальные на сегодня задачи, затрачивая минимальное количество энергии при высокой производительности. Одной из первых гибридных сетей стала система, совмещающая оптические и СП-элементы, представленная в начале 1990-х годов (Harold Szu). Тогда была предложена архитектура нейронной сети в виде решетки из СП-проводов, на пересечения которых подавалось электромагнитное (оптическое) излучение, тем самым нарушая локально сверхпроводимость и, как следствие, изменяя направления протекающих в решетке токов [6].

В 2014 г. вышла интересная и важная работа, посвященная новой СП-ячейке и ее применению в решении комбинаторных задач оптимизации, в частности задачи N ферзей [61]. Моделирование показало работоспособность такой системы – она успешно справилась с оптимизацией. Однако, как и в случае с нейроном Yoshinao Mizugaki, джозефсоновские контакты при работе постоянно переключались в резистивный режим.

Использование специфики таких квантовых явлений, как эффект Джозефсона и макроскопическая квантовая интерференция, позволило создать достаточно чувствительные электрически малые активные антенны [62], усилители-преобразователи для магнитной компоненты детектируемого сигнала и АЦП [63, 64]. Попытки объединить сильные стороны джозефсоновских устройств, обеспечивающих прием и первичную обработку информации, и нейросетевых алгоритмов предпринимались достаточно давно [6568]. Однако переход в процессе функционирования ячейки-нейрона (на базе джозефсоновских контактов) в резистивное состояние, когда среднее значение напряжения на элементе отлично от нуля, существенно ограничивает возможности для увеличения общей энергоэффективности вычислительной системы.

Первой логической СП-ячейкой, построенной на эффекте Джозефсона, стала ячейка параметрического квантрона [69] (рис. 2). С точки зрения передачи информации приложенный к контуру магнитный поток φext является входным сигналом, а ток iout, циркулирующий в кольце с индуктивностью lq, – выходным сигналом (для джозефсоновских структур принято использовать следующие нормировки ${{\varphi }_{{{\text{ext}}}}} = 2\pi \frac{{{{\Phi }_{{{\text{ext}}}}}}}{{{{\Phi }_{0}}}}$, ${{i}_{q}} = \frac{{{{I}_{{{\text{out}}}}}}}{{{{I}_{C}}}}$, ${{l}_{q}} = 2{{\pi }}\frac{{{{L}_{q}}{{I}_{C}}}}{{{{\Phi }_{0}}}}$, где ${{\Phi }_{0}}$ – квант магнитного потока). Направление циркуляции тока в такой структуре соответствует логическим “0” и “1”.

Рис. 2.

Схематическое изображение одноконтактного интерферометра (квантрона).

КЛАССИФИКАЦИЯ НЕЙРОННЫХ СЕТЕЙ, РЕАЛИЗУЕМЫХ НА СВЕРХПРОВОДНИКОВОЙ ЭЛЕМЕНТНОЙ БАЗЕ

Современное развитие сверхпроводниковых искусственных нейронных сетей (СИНС) сосредоточилось на разработке трех основных направлений: спайковые, цифро-аналоговые и аналоговые (рис. 3). Различные СИНС из этой классификации имеют свои характерные особенности, области применения и требования для своей аппаратной реализации, а также эффективного функционирования.

Рис. 3.

Классификация нейронных сетей, реализуемых на сверхпроводниковой элементной базе.

Нейронная сеть в общем случае является достаточно сложной системой, для корректного функционирования требующей специфической настройки – обучения. Среди многообразия алгоритмов, подходов и методов обучения, разработанных к настоящему времени, хотелось бы выделить метод глобальной оптимизации и метод обратного распространения ошибки, используемые для обучения нейронных сетей с классической архитектурой.

Нейронные сети классической архитектуры используются для решения практических задач, связанных с распознаванием различных данных, и подавляющее большинство из них требуют проведения процесса предварительного обучения.

При реализации метода обратного распространения ошибки особое значение приобретает скорость вычисления активационных функций искусственных нейронов и их производных. Семейство методов глобальной оптимизации довольно обширно (полный перебор, метод муравьиной колонии (англ. ant colony optimization, ACO), метод роя частиц (англ. particle swarm optimization, PSO), метод стаи серых волков (англ. gray wolf optimizer, GWO), генетические, с имитацией отжига и т.п.), но все они требуют существенных затрат времени и вычислительных ресурсов. Важно отметить, что все алгоритмы, кроме полного перебора, обладают наибольшей эффективностью лишь при работе с определенным набором данных, поскольку не ищут истинный глобальный минимум функции ошибки (корректности обучения), а реализуют определенную эвристическую модель поиска этого минимума, которая может по-разному сочетаться со свойствами анализируемых данных.

При реализации глобальной оптимизации в нейронных СП-сетях эффективным представляется использование квантового компьютера, позволяющего реализовать обучение нейронных сетей по принципу Extreme Learning Machine (ELM) [70], обеспечивающего глобальную оптимизацию функции ошибки в пространстве весовых коэффициентов нейронной сети. Для этой цели может быть использована процедура квантового отжига [71, 72], реализованная, например, на коммерчески доступных квантовых вычислителях фирмы D-Wave Systems [73].

СОВРЕМЕННЫЕ ТЕХНОЛОГИЧЕСКИЕ ДОСТИЖЕНИЯ ПО СОЗДАНИЮ СИНС

В настоящее время активно развиваются исследования спайковых (импульсных) нейронных сетей на сверхпроводниках с привлечением быстрой одноквантовой (англ. rapid single flux quantum, RSFQ) логики [7476] и СП-нанопроводов [77]. Спайковые нейронные сети, весьма точно воспроизводящие работу “живых” биологических нейросетей (R. Cheng, P. Crotty, M. Schneider), способны работать на предельных скоростях (>100 ГГц) и при сверхнизком энерговыделении (<10–20 Дж/импульс). Поэтому системы, которые используют асинхронные спайки для передачи данных и не требуют обучения с учителем, крайне востребованы для совершенствования понимания процессов, протекающих в нейронных системах живых организмов.

Так, в [53] предложена схема искусственного нейрона с синапсом на базе джозефсоновских контактов, включенных в сверхпроводящее кольцо (рис. 4). Данная схема призвана воспроизвести основные функции биологического нейрона, такие как активация потенциалов действия (срабатывания) в ответ на входные токи или импульсы, пороговые значения входного импульса, ниже которых потенциал срабатывания не активируется, и периоды отклика после активации, во время которых трудно инициировать другой потенциал действия (от англ. action potential – в биологии волна возбуждений, перемещающаяся по мембране живой клетки в виде кратковременного изменения мембранного потенциала на небольшом участке возбудимой клетки). Подобный джозефсоновский нейрон является представителем хорошо разработанной области RSFQ схемотехники [75, 76, 78]. Выбор именно такого подхода продиктован сходством функционирования подобных устройств с прохождением нервных импульсов в живых нейронных системах. Анализ схемы показывает, что такой нейрон действительно способен воспроизвести основные химические процессы, протекающие в “живых” нейронах. На рис. 5 показано синаптическое поведение для ингибирующей и возбуждающей связей в двух связанных нейронах.

Рис. 4.

Схематическое изображение джозефсоновского нейрона на базе RSFQ [53].

Рис. 5.

Возбуждение в синаптической связи. Нейрон “1” активирует нейрон “2” [53]. По осям отложены нормированные величины: поток нормирован на квант  магнитного потока Φ0, а нормированное время τ вычисляется по следующей формуле ${{\tau }^{2}} = {{t}^{2}}\frac{{{{\Phi }_{0}}C}}{{2\pi {{I}_{C}}}}$, где ${{I}_{C}}$ – критический ток джозефсоновского контакта.

Следующим шагом на пути развития спайковых ИНС стало применение магнитных джозефсоновских контактов (англ. Magnetic Josephson Junction, MJJ) [54], позволяющих более гибко настраивать нейронную ячейку за счет возможности воздействовать на критический ток самого перехода. На рис. 6 представлена предлагаемая в [75] базовая ячейка нейроморфных схем – искусственный нейрон с синапсом. Кроме того, была спроектирована нейронная сеть на архитектуре персептрона, содержащая 9 входных нейронов, 27 нейронов скрытого слоя и 3 выходных нейрона. Параметры ИНС подбирались программным методом (обучение проводилось искусственно) для распознавания трех различных букв – z, v, n. Процесс распознавания такой ИНС потребовал 89 нс при энерговыделении, не превышающeм 2 аДж на один символ.

Рис. 6.

Схематическое изображение нейроморфного нейрона на JJ (слева), соединенного через синапс на магнитном джозефсоновском контакте с выходным нейроном MJJ [76].

Существует возможность реализации спайковой СИНС с использованием нанопроводов [77], с помощью таких элементов были реализованы не только нейроны, но и синапсы, а также линии передачи данных (аксоны).

Отметим также гибридный подход в реализации нейронных СП-сетей, связанный с привлечением достижений областей оптики и интегральной фотоники [7983]. В данном подходе нелинейные свойства, присущие нейронам, реализуются посредством СП-технологии, в то время как линейные элементы – синапс, аксон – используют микроволноводы. Кроме того, для интеграции таких разных областей требуется интерфейс, роль которого выполняют детектор одиночных фотонов и nTron.

Приведенные данные свидетельствуют о том, что использование именно СП-решений для реализации ИНС может быть оправдано. Такие показатели, как энергоэффективность и быстродействие, на много порядков превосходят существующие аналоги, построенные с использованием транзисторов и CMOS-технологии.

ФУНКЦИОНАЛЬНЫЙ ЭЛЕМЕНТ СЕТИ ДЛЯ АРХИТЕКТУРЫ ТИПА ПЕРСЕПТРОН: СИГМА-НЕЙРОН

Возможность вычислять активационную функцию нейрона аналоговым способом является существенным преимуществом, позволяющим экономить время на наиболее ресурсоемкой операции ИНС. Предложенная и исследуемая в [8489] структура носит название сигма‑нейрона (или S‑нейрона) (рис. 7) и позволяет вычислять сигмоидальную активационную функцию за один тактовый импульс, затрачивая на это энергию порядка 1 аДж. Тактовый импульс поступает в ячейку в виде магнитного потока φin, после чего ячейка трансформирует его особым образом (закон преобразования записан ниже) в виде выходного потока φout.

Рис. 7.

Схематическое изображение сигма-нейрона (S-neuron).

Существуют два основных подхода к описанию рассматриваемой структуры: фазовый (Ньютонов формализм) и энергетический (Гамильтонов формализм). Ньютонов формализм сводится к записи законов Кирхгофа и уравнения баланса фаз, что в данном случае приводит к следующей системе уравнений:

$\left\{ \begin{gathered} {{\varphi }} + li = {{{{\varphi }}}_{{{\text{in}}}}}{\text{/}}2 + {{l}_{{{\text{out}}}}}{{i}_{{{\text{out}}}}}, \hfill \\ {{\varphi }} + li = {{{{\varphi }}}_{{{\text{in}}}}} + {{l}_{a}}{{i}_{a}}. \hfill \\ \end{gathered} \right.$

Отсюда элементарно получается выражение для выходного потока из ячейки:

${{{{\varphi }}}_{{{\text{out}}}}} = {{l}_{{{\text{out}}}}}\frac{{{{{{\varphi }}}_{{{\text{in}}}}} - 2{{l}_{a}}\sin {{\varphi }}}}{{2({{l}_{a}} + {{l}_{{{\text{out}}}}})}}.$

Аналогичный закон преобразования можно получить, решая уравнения Гамильтона–Якоби для гамильтониана данной системы (учитывая, что производная по времени от скорости изменения фазы джозефсоновского контакта равна нулю):

$H = \left\{ {\frac{{{{p}^{2}}}}{2} + (1 - \cos {{\varphi }}) + \frac{{{{{(a{{{{\varphi }}}_{{{\text{in}}}}} - b{{\varphi }})}}^{2}}}}{{2b}}} \right\}{{e}^{{ - {{\lambda }}t}}},$
где $a = \frac{{2{{l}_{{{\text{out}}}}} + {{l}_{a}}}}{{2(l{{l}_{{{\text{out}}}}} + {{l}_{a}}(l + {{l}_{{{\text{out}}}}}))}},$ $b = \frac{{{{l}_{{{\text{out}}}}} + {{l}_{a}}}}{{(l{{l}_{{{\text{out}}}}} + {{l}_{a}}(l + {{l}_{{{\text{out}}}}}))}},$ а λ – коэффициент диссипации, в рассматриваемом случае равный единице.

При тактировании такой структуры импульсом, имеющим форму сглаженной трапеции, получаем семейство замкнутых кривых (рис. 8), гистерезис которых тем больше, чем меньше время нарастания/спадания тактирующего импульса. Центральная кривая, для которой гистерезис отсутствует, соответствует адиабатическому режиму работы системы. Зависимость диссипации в системе от времени нарастания/спадания тактирующего импульса показана на рис. 9. Можно сделать вывод, что на временах, превышающих 100tC, режим функционирования нейрона становится адиабатическим, позволяя снизить уровень выделяемой энергии.

Рис. 8.

Изображение динамических активационных функций сигма-нейрона для различных времен нарастания/спадания tRF внешнего сигнала в осях входного и выходного магнитных потоков. На вставке – вид импульса магнитного потока, поступающего на вход нейрона, и энергия диссипации как функции времени. Параметры системы: l = 0.22, lout = 0.1, la = = 1.22. Величины представлены в нормированных единицах.

Рис. 9.

Зависимость энергии диссипации от времени нарастания/спадания TRF внешнего сигнала для различных значений выходной индуктивности lout = 0.1, 0.3, 0.5 и значения индуктивности плеч l = 0.22 и la = = 1.22. На вставке – вид импульса магнитного потока, поступающего на вход нейрона, и энергия диссипации как функции времени. Величины представлены в нормированных единицах.

Так, при критическом токе джозефсоновского контакта IC = 100 мкА и RN = 1 Ом для TRF = = 1000 × TC = 3.3 нс получаем, что энергия диссипации Edis ≈ 0.08 × EC = 2.6 × 10–21 Дж. Напомним, что предел Ландауэра определяет для любой вычислительной системы независимо от ее физической реализации количество выделяемой энергии при потере 1 бита информации: EL = kBT × × ln 2 Дж. Для температуры жидкого гелия 4.2 К EL ≈ 4 × × 10–23 Дж.

АППАРАТНОЕ ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ

Как бы ни была реализована нейронная сеть, она требует обучения (коррекции синаптических весов) для эффективного решения тех или иных задач. Существует большое число алгоритмов обучения, ориентированных на определенную архитектуру нейронной сети и особенности их синаптических связей.

Для реализации процесса обучения на чипе необходимо использовать только аппаратную часть нейронной сети. Несмотря на то что данный тип обучения имеет меньшую точность и меньшую скорость (в случае классических нейронных сетей), чем другие известные методы, он позволяет проводить обучение нейронной сети внутри устройства без внешних вмешательств и автоматически учитывать особенности элементной базы. Такой подход представляется более реалистичным в случае аппаратного обеспечения, встроенного внутри большого вычислительного комплекса, и сеть, проектируемая с использованием подобного метода, должна иметь возможность со временем интеллектуально обновлять свои веса. В обзоре [90] было разработано решение – обучающая ячейка (learning cell) (рис. 10), передаточная функция которой (рис. 11) аппроксимирует производную сигмоидной функции активации, реализуемой посредством сигма-нейрона [84]. Возможности найденного технического решения позволяют вычислять данную функцию за один такт и реализовать аппаратное обучение многослойных нейронных сетей методом обратного распространения ошибки.

Рис. 10.

Схематическое изображение обучающей ячейки [90].

Рис. 11.

Передаточные характеристики обучающей ячейки для различных значений параметра выходной индуктивности lout. Для сравнения на графике приведен вид производной сигмоидной функции активации [90].

Моделирование нейронной сети типа персептрон, использующей передаточные характеристики как сигма-нейрона, так и обучающей ячейки, в процессе обучения и работы показало, что форма “сверхпроводниковой” производной активационной функции имеет значительное влияние на обучаемость нейронной сети и на динамику самого обучения. Чем ближе СП-функция обучения к математической производной активационной функции (штриховая кривая на рис. 11), тем лучше проходит обучение (при стандартных параметрах персептрона и метода обучения).

ТЕХНОЛОГИЯ ФИЗИЧЕСКОЙ РЕАЛИЗАЦИИ СВЕРХПРОВОДНИКОВЫХ НЕЙРОННЫХ СЕТЕЙ

В основе СП-схем нейронных сетей лежат джозефсоновские переходы. К настоящему времени подробно изучены свойства и механизмы транспорта тока в джозефсоновских переходах с различными материалами слабой связи [87] между сверхпроводящими электродами (нормальный металл, ферромагнетик, диэлектрик, изолятор) [92, 93]. В качестве сверхпроводников обычно используют ниобий или алюминий.

С развитием технологий и переходом к наноразмерам заслуживают внимания только две геометрии переходов – мостик переменной толщины (МПТ [91]) с прослойкой из нормального металла и/или ферромагнетика и сэндвич с прослойкой из изолятора и/или ферромагнетика. В планарном МПТ реализуется максимальная плотность критического тока jc при минимальном возмущении сверхпроводящего параметра порядка в электродах. Однако конструкция мостика слабо защищена от внешних электромагнитных наводок и требует дополнительной экранизации.

В сэндвич-конструкции джозефсоновский переход частично экранирован сверхпроводящими шинами верхней и нижней разводки. Максимальная плотность критического тока в этой конструкции должна быть намного меньше плотности критического тока сверхпроводящих электродов. Для ниобиевой технологии jc ≤ 105 А/см2 (1 мА/мкм2). Учитывая, что при проектировании цифровых СП-схем величина критического тока перехода при гелиевой температуре 4.2 К, как правило, составляет ~100 мкА, можно оценить минимальный размер джозефсоновского перехода ~0.1 мкм2. В случае МПТ плотность критического тока может быть на порядок больше и соответственно площадь на порядок меньше ~10 000 нм2, что сравнимо с площадью полупроводникового транзистора, изготовленного с использованием 32 нм технологического процесса.

Для кубитов на основе алюминиевой технологии и рабочей температуры ~10 мК электрофизические параметры переходов с прослойкой из изолятора и сэндвич-геометрией определяются из соотношения джозефсоновской энергии EJ = = IcФо/2π и энергии перезарядки EC = (2e)2/2CJ, где СJ – емкость джозефсоновского контакта. Для того чтобы эти характеристики были сопоставимы, необходимо уменьшать как СJ и размер контакта, так и Ic. Типичными и достаточно легко реализуемыми параметрами контактов для кубитов являются Iс ≤ 1 мкА при площади контакта ~100 × × 100 нм, что сравнимо с минимальными размерами МПТ в цифровых схемах.

С появлением технологического процесса планаризации поверхности пластин в полупроводниковой промышленности сэндвич-конструкция переходов стала основной. Ниобиевая технология формирования СП-схем на основе эффекта Джозефсона была поставлена в американских научных и производственных центрах Hypres, Inc., MIT LL, NIST, D-Wave, в ряде японских и китайских лабораторий. Наибольшие успехи в постановке многослойной СП-технологии промышленного уровня были достигнуты в MIT LL [94]. Эта же технология пост-Муровской эры, как одно из базовых направлений, была поставлена в IMEC с целью развития перспективной элементной базы наноэлектроники для будущей вычислительной техники [9597]. Таким образом, в мировой практике высокими темпами развиваются СП-технологии промышленного уровня, позволяющие реализовывать как квантовые, так и нейронные системы для обработки больших потоков данных.

ЗАКЛЮЧЕНИЕ

Эволюция сверхпроводниковых нейронных сетей на протяжении последнего полувека дала два принципиально разных направления: спайковые СИНС и СИНС классической архитектуры. Спайковые СИНС позволяют моделировать важные особенности поведения человеческого мозга и процессов в нейронных системах живых организмов в целом, где связь поддерживается с помощью нервных импульсов. Такие сети обладают высоким быстродействием и малым энерговыделением. Развитие этого направления весьма востребовано, в первую очередь для моделирования и исследования процессов, протекающих в нейронах реального мозга, объяснения механизмов его работы и для дальнейшего использования при диагностике и лечении заболеваний, связанных с ЦНС. Однако существует и другой подход, нуждающийся в аналоговом описании функций нейронов и, в частности, нейронной сети. Долгое время недостатком аналогового подхода было наличие резистивного режима в функционировании джозефсоновского контакта, неотъемлемого элемента данных схем, что приводило к излишней диссипации в системе и снижению эффективности нейронной сети в целом. Эту проблему удалось решить в [8489], где были предложены новые архитектуры нейронных ячеек. Дополнительным преимуществом стала возможность вычисления активационных функций искусственных нейронов за один тактовый импульс. Кроме того, было разработано решение для вычисления за один такт функции, аппроксимирующей производную сигмоидальной функции активации, для реализации аппаратного обучения многослойных нейронных сетей методом обратного распространения ошибки [90].

В настоящее время можно выделить два наиболее перспективных пути обучения ИНС с использованием СП-технологии – это требовательная к условиям реализации схема квантового компьютера, позволяющая реализовать алгоритмы глобальной оптимизации весовых коэффициентов нейронной сети по принципу Extreme Learning Machine, и более простая в реализации схема с обучением нейронной сети методом обратного распространения. Важно заметить, что при выборе одной из этих двух схем следует принимать во внимание особенности обрабатываемых данных.

Несмотря на немалые достижения, остается множество проблем, связанных в основном с экспериментальной апробацией теоретических моделей и масштабируемостью. Тем не менее будущие пути развития данной технологии видятся в решениях следующих прикладных задач:

– распознавание больших массивов изображений. При реализации облачной технологии распознавания на долю серверов выпадет чрезвычайно большая нагрузка, сопровождающаяся соответствующим тепловыделением. В данной ситуации применение сверхпроводниковых нейронных сетей в облачных центрах обработки данных будет более чем оправданным;

– обработка сверхслабых сигналов, зарегистрированных чувствительными криогенными детекторами, что может быть эффективно, например, при сверхдальней космической связи, в астрономических исследованиях, в том числе в миллиметровом и инфракрасном диапазонах (проект “Миллиметрон” – “Спектр-М”). Такие исследования в любом случае требуют использования криогенных установок, поэтому применение разработанных сверхпроводниковых решений будет весьма актуальным;

– использование оптической системы связи в космическом пространстве, в том числе в околоземном пространстве, является перспективным и эффективным способом обмена данными, позволяющим использовать возможности квантовой криптографии. В этом случае предложенные решения могут использоваться для обработки сигналов с матриц болометрических детекторов.

Исследование выполнено в рамках Программы развития Междисциплинарной научно-образовательной школы Московского университета “Фотонные и квантовые технологии. Цифровая медицина”. Н.В.К. – победитель грантового конкурса Стипендиальной программы Владимира Потанина 2020/2021.

Список литературы

  1. Ginosar S., Bar A., Kohavi G. et al. // Proc. IEEE Conference on Computer Vision and Pattern Recognition. 2019. P. 3497.

  2. Yip J.H.T., Zhang X., Wang Y. et al. // arXiv Prepr. 2019. arXiv1910.07813.

  3. Rebecq H., Ranftl R., Koltun V., Scaramuzza D. // IEEE Trans. Pattern Anal. Mach. Intell. 2019. P. 1964. https://doi.org/10.1109/TPAMI.2019.2963386

  4. Aliev K.-A., Ulyanov D., Lempitsky V. // arXiv Prepr. arXiv1906.08240, 2019.

  5. Breen P.G., Foley C.N., Boekholt T., Zwart S.P. // Mon. Not. R. Astron. Soc. 2020. V. 494. № 2. P. 2465. https://doi.org/10.1093/mnras/staa713

  6. Szu H.H. “Superconducting neural network computer and sensor array”. Google Patents. 1990.

  7. Каллан Р. Основные концепции нейронных сетей. М.: Вильямс, 2003. 287 с.

  8. Беркинблит М.Б. Нейронные сети. М.: МИРОС и ВЗМШ РАО, 1993. 96 с.

  9. Мак-Каллок У.С., Питтс В. // Логическое исчисление идей, относящихся к нервной активности. Автоматы / Под ред. Шеннона К.Э., Маккарти Дж. М. Изд-во иностр. лит., 1956. Т. 384. С. 362.

  10. Forsyth D.A., Ponce J. // Computer Vision: A Modern Approach. (Second edition). Prentice Hall, 2011. P. 792.

  11. Джейн А.К., Мао Ж., Моиуддин К.М. // Открытые системы. 1997. Т. 4. № 97. С. 16.

  12. Dostál P., Pokorný P. Cluster analysis and neural network. Dep. Informatics Brno Univ. Technol. Inst. Math. Brno Univ. Technol., 2009.

  13. Foresee F.D., Hagan M.T. // Proceedings of International Conference on Neural Networks (ICNN’97) “Gauss-Newton approximation to Bayesian learning”, Houston, TX, USA 12 June 1997. V. 3. P. 1930. https://doi.org/10.1109/ICNN.1997.614194

  14. Saxe J., Berlin K. “Deep neural network based malware detection using two dimensional binary program features” In 2015 10th International Conference on Malicious and Unwanted Software (MALWARE), Fajardo, PR, USA 20-22 Oct. 2015. P. 11. https://doi.org/10.1109/MALWARE.2015.7413680

  15. Zheng J. // Expert Syst. Appl. 2009. V. 36. № 2. P. 2116. https://doi.org/10.1016/j.eswa.2007.12.029

  16. Maguire Y.G., Shapiro M.G., Cybulski T.R. et al. // Front. Comput. Neurosci. 2013. V. 7. P. 137. https://doi.org/10.3389/fncom.2013.00137

  17. Forssell M. // Information Flow in Networks. 2014. V. 18. P. 1.

  18. Moerland P., Fiesler E. Neural network adaptations to hardware implementations. IDIAP, Handbook of Neural Computation E1.2:1-13. Institute of Physics Publishing and Oxford University Publishing, New York, 1997.

  19. Pickett M.D., Williams R.S. // Nanotechnology. 2013. V. 24. № 38. P. 384002. https://doi.org/10.1088/0957-4484/24/38/384002

  20. Хайкин С. Нейронные сети: полный курс, 2-е изд. М.: Издательский дом Вильямс, 2008.

  21. Frye R.C., Rietman E.A., Wong C.C. // IEEE Trans. Neural Networks. V. 2. № 1. P. 110. https://doi.org/10.1109/72.80296

  22. Kim S.S., Jung S. // IEEE International Conference on Robotics and Automation, “Hardware implementation of a real time neural network controller with a DSP and an FPGA”, New Orleans, LA, USA 2004. V. 5. P. 4639. https://doi.org/10.1109/ROBOT.2004.1302449

  23. Hikawa H. // Neural Networks. 2005. V. 18. № 5–6. P. 514. https://doi.org/10.1016/j.neunet.2005.06.012

  24. Meher P.K., Valls J., Juang T.-B. et al. // IEEE Trans. Circuits Syst. I Regul. Pap. 2009. V. 56. № 9. P. 1893. https://doi.org/10.1109/TCSI.2009.2025803

  25. Merolla P.A., Arthur J.V., Alvarez-Icaza R. et al. // Science. 2014. V. 345. № 6197. P. 668. https://doi.org/10.1126/science.1254642

  26. Wang Y.E., Wei G.-Y., Brooks D. //  arXiv Prepr. arXiv1907.10701, 2019.

  27. Aparin V., Levin J.A. “Methods and systems for cmos implementation of neuron synapse”. Google Patents US8694452B2, Apr. 08, 2014.

  28. Hollis P.W., Paulos J.J. // IEEE J. Solid-State Circuits. V. 25. № 3. P. 849. https://doi.org/10.1109/4.102684

  29. Indiveri G., Horiuchi T.K. // Front. Neurosci. 2011. V. 5. P. 118. https://doi.org/10.3389/fnins.2011.00118

  30. Hoppensteadt F.C., Izhikevich E.M. // IEEE Trans. Neural Networks. 2000. V. 11. № 3. P. 734. https://doi.org/10.1109/72.846744

  31. Chua L. // IEEE Trans. Circuit Theory. 1971. V. 18. № 5. P. 507. https://doi.org/10.1109/TCT.1971.1083337

  32. Strukov D.B., Snider G.S., Stewart D.R., Williams R.S. // Nature. 2008. V. 453. № 7191. P. 80. https://doi.org/10.1038/nature06932

  33. Pershin Y.V., Ventra M.Di. // Neural Networks. 2010. V. 23. № 7. P. 881. https://doi.org/10.1016/j.neunet.2010.05.001

  34. Jo S.H., Chang T., Ebong I. et al. // Nano Lett. 2010. V. 10. № 4. P. 1297. https://doi.org/10.1021/nl904092h

  35. Chanthbouala A., Garcia V., Cherifi R.O. et al. // Nat. Mater. 2012. V. 11. № 10. P. 860. https://doi.org/10.1038/nmat3415

  36. Seo K., Kim I., Jung S. et al. // Nanotechnology. 2011. V. 22. № 25. P. 254023. https://doi.org/10.1088/0957-4484/22/25/254023

  37. Ohno T., Hasegawa T., Tsuruoka T. et al. // Nat. Mater. 2011. V. 10. № 8. P. 591. https://doi.org/10.1038/nmat3054

  38. Sung C., Hwang H., Yoo I.K. // J. Appl. Phys. 2018. V. 124. № 15. P. 151903. https://doi.org/10.1063/1.5037835

  39. Prezioso M., Merrikh-Bayat F., Hoskins B.D. et al. // Nature. 2015. V. 521. № 7550. P. 61. https://doi.org/10.1038/nature14441

  40. Akopyan F., Sawada J., Cassidy A. et al. // IEEE Trans. Comput. Des. Integr. Circuits Syst. 2015. V. 34. № 10. P. 1537. https://doi.org/10.1109/TCAD.2015.2474396

  41. https://ru.wikipedia.org/wiki/Stockfish

  42. https://deepmind.com/blog/alphazero-shedding-new-light-grand-games-chess-shogi-and-go/

  43. Silver D., Hubert T., Schrittwieser J. et al. // arXiv Prepr. arXiv1712.01815, 2017.

  44. Soloviev I.I., Klenov N.V., Bakurskiy S.V. et al. // Beilstein J. Nanotechnol. 2017. V. 8. P. 2689. https://doi.org/10.3762/bjnano.8.269

  45. Szu H.H. “Superconducting neural network computer and sensor array”, Google Patents, Jul. 24, 1990.

  46. http://data-mining.philippe-fournier-viger.com/too-many-machine-learning-papers/

  47. Redmon J., Divvala S., Girshick R., Farhadi A. // Proc. IEEE conference on computer vision and pattern recognition, “You only look once: Unified, real-time object detection”, LV USA 26th - July 1st 2016, P. 779.

  48. Scott G.J., England M.R., Starms W.A. et al. // IEEE Geosci. Remote Sens. Lett. 2017. V. 14. № 4. P. 549. https://doi.org/10.1109/LGRS.2017.2657778

  49. Hochreiter S., Schmidhuber J. // Neural Comput. 1997. V. 9. № 8. P. 1735. https://doi.org/10.1162/neco.1997.9.8.1735

  50. LeCun Y., Bengio Y., Hinton G. // Nature. 2015. V. 521. № 7553. P. 436. https://doi.org/10.1038/nature14539

  51. Esteva A., Kuprel B., Novoa R.A. et al. // Nature. 2017. V. 542. № 7639. P. 115. https://doi.org/10.1038/nature21056

  52. Nickolls J., Dally W.J. // IEEE Micro. 2010. V. 30. № 2. P. 56. 2010. https://doi.org/10.1109/MM.2010.41

  53. Crotty P., Schult D., Segall K. // Phys. Rev. E. 2010. V. 82. № 1. P. 11914. https://doi.org/10.1103/PhysRevE.82.011914

  54. Ryazanov V.V., Bol’ginov V.V., Sobanin D.S. et al. // Phys. Procedia. 2012. V. 36. P. 35. https://doi.org/10.1016/j.phpro.2012.06.126

  55. Emelyanov A.V., Nikiruy K.E., Serenko A.V. et al. // Nanotechnology. 2019. V. 31. № 4. P. 45201. https://doi.org/10.1088/1361-6528/ab4a6d

  56. Demin V.A., Nekhaev D.V., Surazhevsky I.A. et al. // Neural Networks. 2021. V. 134. P. 64. https://doi.org/10.1016/j.neunet.2020.11.005

  57. Surazhevsky I.A., Demin V.A., Ilyasov A.I. et al. // Chaos, Solitons Fractals. 2021. V. 146. P. 110890. https://doi.org/10.1016/j.chaos.2021.110890

  58. Perez-Tomas A., Rogers D.J., Chikoidze E., Garrido J.A. // Proc. SPIE, Oxide-based Materials and Devices XII “A walk on the frontier of energy electronics with power ultra-wide bandgap oxides and ultra-thin neuromorphic 2D materials”, 16 April 2021. V. 11687. P. 116871Y. https://doi.org/10.1117/12.2590747

  59. Caimi D., Schmid H., Morf T. et al. // Solid. State. Electron. 2021. V. 185. P. 108077. https://doi.org/10.1016/j.sse.2021.108077

  60. Mizugaki Y., Nakajima K., Sawada Y., Yamashita T. // IEEE Trans. Appl. Supercond. 1994. V. 4. № 1. P. 1. https://doi.org/10.1109/77.273058

  61. Onomi T., Nakajima K. // J. Phys.: Conf. Ser. 2014. V. 507. № 4. P. 42029. https://doi.org/10.1088/1742-6596/507/4/042029

  62. Kornev V.K., Soloviev I.I., Sharafiev A.V. et al. // IEEE Trans. Appl. Supercond. 2012. V. 23. № 3. P. 1800405. https://doi.org/10.1109/TASC.2012.2232691

  63. Spietz L., Irwin K., Aumentado J. // Appl. Phys. Lett. 2009. V. 95. № 9. P. 92505. https://doi.org/10.1063/1.3220061

  64. Mukhanov O.A. History of Superconductor Analog-to-Digital Converters. 100 Years of Superconductivity / Eds. Rogalla H., Kes P. London; UK: Taylor Francis, 2011. P. 440.

  65. Yan Q., Li M., Chen F. et al. // IEEE Trans. Wirel. Commun. 2014. V. 13. № 10. P. 5893. https://doi.org/10.1109/TWC.2014.2339218

  66. Munjuluri S., Garimella R.M. // Procedia Comput. Sci. 2015. V. 46. P. 1156. https://doi.org/10.1016/j.procs.2015.01.028

  67. Farooqi M.Z., Tabassum S.M., Rehmani M.H., Sale-em Y. // J. Netw. Comput. Appl. 2014. V. 46. P. 166. https://doi.org/10.1016/j.jnca.2014.09.002

  68. Harada Y., Goto E. // IEEE Trans. Magn. 1991. V. 27. № 2. P. 2863. https://doi.org/10.1109/20.133806

  69. Goto E. // Proc. IRE. 1959. V. 47. № 8. P. 1304. https://doi.org/10.1109/JRPROC.1959.287195

  70. Huang G.-B., Zhu Q.-Y., Siew C.-K. // Neurocomputing. 2006. V. 70. № 1–3. P. 489. https://doi.org/10.1016/j.neucom.2005.12.126

  71. Santoro G.E., Tosatti E. // J. Phys. A. Math. Gen. 2006. V. 39. № 36. P. R393. https://doi.org/10.1088/0305-4470/39/36/R01

  72. Hauke P., Katzgraber H.G., Lechner W., Nishimori H. // Reports Prog. Phys. 2020. V. 83. № 5. P. 54401. https://doi.org/10.1088/1361-6633/ab85b8

  73. Winci W., Buffoni L., Sadeghi H. et al. // Mach. Learn. Sci. Technol. 2020. V. 1. № 4. P. 45028. https://doi.org/10.1088/2632-2153/aba220

  74. Cheng R., Goteti U.S., Hamilton M.C. // J. Appl. Phys. 2018. V. 124. № 15. P. 152126. https://doi.org/10.1063/1.5042421

  75. Schneider M.L., Donnelly C.A., Russek S.E. et al. // 2017 IEEE International Conference on Rebooting Computing (ICRC). 2017. P. 1. https://doi.org/10.1109/ICRC.2017.8123634

  76. Schneider M.L., Donnelly C.A., Russek S.E // J. Appl. Phys. 2018. V. 124. № 16. P. 161102. https://doi.org/10.1063/1.5042425

  77. Toomey E., Segall K., Berggren K. // Front. Neurosci. 2019. V. 13. P. 933. https://doi.org/10.3389/fnins.2019.00933

  78. Schneider M.L., Donnelly C.A., Russek S.E. et al. // Sci. Adv. 2018. V. 4. № 1. P. e1701329. https://doi.org/10.1126/sciadv.1701329

  79. Shainline J.M., Buckley S.M., McCaughan A.N. et al. // J. Appl. Phys. 2018. V. 124. № 15. P. 152130. https://doi.org/10.1063/1.5038031

  80. Shainline J.M. // Appl. Phys. Lett. 2021. V. 118. P. 160501. https://doi.org/10.1063/5.0040567

  81. Buckley S., Chiles J., McCaughan A.N. et al. // Appl. Phys. Lett. 2017. V. 111. № 14. P. 141101. https://doi.org/10.1063/1.4994692

  82. Shainline J.M., Buckley S.M., Nader N. et al. // Opt. Express. 2017. V. 25. № 9. P. 10322. https://doi.org/10.1364/OE.25.010322

  83. Shainline J.M., Buckley S.M., Mirin R.P., Nam S.W. // Phys. Rev. Appl. 2017. V. 7. № 3. P. 34013. https://doi.org/10.1103/PhysRevApplied.7.034013

  84. Soloviev I.I., Schegolev A.E., Klenov N.V. et al. // J. Appl. Phys. 2018. V. 124. P. 152113. https://doi.org/10.1063/1.5042147

  85. Schegolev A.E., Klenov N.V., Soloviev I.I., Tereshonok M.V. // Beilstein J. Nanotechnology. 2016. V. 7. P. 1397. https://doi.org/10.3762/bjnano.7.130

  86. Klenov N.V., Schegolev A.E., Soloviev I.I. et al. // IEEE Trans. Appl. Supercond. 2018. V. 28. № 7. P. 1301006. https://doi.org/10.1109/TASC.2018.2836903

  87. Klenov N.V., Kuznetsov A.V., Schegolev A.E. et al. // Low Temp. Phys. 2019. V. 45. № 7. P. 769. https://doi.org/10.1063/1.5111305

  88. Bakurskiy S., Kupriyanov M., Klenov N. et al. // Beilstein J. Nanotechnology. 2020. V. 11. № 1. P. 1336. https://doi.org/10.3762/bxiv.2020.69.v1

  89. Schegolev A.E., Klenov N.V., Tereshonok M.V., Adjemov S.S. // Proceedings of the 8th International Conference on Photonics, Optics and Laser Technology, “Elements of hybrid opto-superconducting convolutional neural networks”, 2020. P. 135.

  90. Schegolev A., Klenov N., Soloviev I., Tereshonok M. // Supercond. Sci. Technol. 2020. V. 34. № 1. P. 15006. https://doi.org/10.1088/1361-6668/abc569

  91. Лихарев К.К. // Успехи физ. наук. 1979. Т. 127. № 2. С. 185.

  92. Гудков А. // Электроника: Наука, технология, бизнес. 2014. С. S65.

  93. Гудков А.Л., Куприянов М.Ю., Самусь А.Н. // ЖЭТФ. 2012. Т. 141. № 3. С. 1.

  94. Tolpygo S.K., Bolkhovsky V., Weir T.J. et al. // IEEE Trans. Appl. Supercond. 2016. V. 26. № 3. P. 1. https://doi.org/10.1109/TASC.2016.2519388

  95. Ishida K., Byun I., Nagaoka I. et al. // IEEE Micro. 2021. V. 41. № 3. P. 19. https://doi.org/10.1109/MM.2021.3070488

  96. Tzimpragos G., Volk J., Vasudevan D. et al. // IEEE Micro. 2021. V. 41. № 3. P. 71.

  97. Ayala C.L., Tanaka T., Saito R. et al. // IEEE J. Solid-State Circuits. 2020. V. 56. № 4. P. 1152. https://doi.org/10.1109/JSSC.2020.3041338

Дополнительные материалы отсутствуют.