Российские нанотехнологии, 2022, T. 17, № 1, стр. 89-97

ВВЕДЕНИЕ

В настоящее время вычислительные системы, построенные по классической архитектуре фон Неймана, сталкиваются с рядом трудностей, связанных со свойственными ей неотъемлемыми недостатками и ограничениями. В первую очередь это повышенное энергопотребление и ограничение скорости работы из-за необходимости постоянного проведения операций чтения из памяти/записи в память данных и результатов вычислений [1, 2]. Поэтому реализация формальных нейронных сетей (ФНС) на устройствах классической полупроводниковой электроники становится все более энергозатратной с увеличением их размера.

Одним из многообещающих путей решения этой проблемы является реализация нейронных сетей на базе мемристоров. Мемристоры – устройства, способные изменять свою проводимость под действием приложенного напряжения, превышающего некоторый порог, а также сохранять резистивное состояние после прекращения внешнего воздействия [3–7]. Это свойство делает их прекрасными кандидатами для реализации нейронных сетей – как формальных, так и спайковых (импульсных). В последнее время были продемонстрированы, например, перцептроны [8, 9], кратковременная–долговременная память [10], резервуарные вычислители [11], а также распознаватели простых образов [12] и обучение шумовым сигналом [13] в спайковых нейронных сетях. Такие сети потенциально являются еще более энергоэффективными, чем формальные, однако эффективные алгоритмы обучения для них находятся в разработке [14]. Поэтому построение ФНС на базе мемристоров в данный момент представляется удачным компромиссом между потенциальной эффективностью импульсных сетей и практической возможностью аппаратной реализации ФНС.

Такой подход, однако, имеет свои сложности, главная из которых – необходимость точно знать проводимости каждого мемристора и иметь возможность их тонкой настройки в процессе обучения, что может быть затруднительно из-за разброса характеристик мемристоров от устройства к устройству [15]. Для решения этой проблемы может быть использован следующий подход: первоначальная карта проводимостей (весов связей) рассчитывается отдельно (ex situ) и только потом загружается в массив мемристоров. После этого определяется эффективность работы сети и при необходимости ее “дообучают” in situ, подстраивая начальную карту весов для обеспечения наибольшей точности работы сети.

Для разработки нейроморфных вычислительных систем (НВС), нацеленных на решение сложных когнитивных задач, необходимо использовать достаточно большие массивы синаптических мемристивных элементов с высокой плотностью размещения на “кристалле”, достигаемой в топологии кроссбар (элементы находятся на пересечениях взаимно перпендикулярных электродных шин “битов” и “слов”) [14]. В этой ситуации одними из важных требований, предъявляемых к мемристивным элементам, являются малая энергия потребления при резистивном переключении (РП) элемента и низкие напряжения РП для эффективной интеграции матриц с современными процессорными КМОП-устройствами (комплементарная логика на транзисторах металл–оксид–полупроводник), работающими при напряжениях не более 3 В. При этом важным параметром мемристора является многоуровневый характер РП (пластичность), позволяющий задавать множество промежуточных состояний веса связи между максимальным и минимальным.

Настоящая работа посвящена построению простой ФНС на базе массива нанокомпозитных мемристоров, объединенных в кроссбар-архитектуру. Созданная сеть обучается распознаванию образов “10” и “01”. Также демонстрируются кривые пластичности, зависящей от времени прихода импульсов (Spike-timing dependent plasticity, STDP) [19] мемристоров кроссбара, что позволяет сделать вывод о возможности его использования и для реализации спайковых НВС.

ОБРАЗЦЫ И МЕТОДЫ

В [16–18] было показано, что перспективным направлением в создании кроссбар-массивов низковольтных мемристоров с малым энергопотреблением может быть их разработка с использованием двухслойных структур металл/нанокомпозит/диэлектрик/металл (М/НК/Д/М) на основе нанометровых слоев НК = (Co₄₀Fe₄₀B₂₀)_x(LiNbO₃)_{100 –x} и Д = = LiNbO₃ (LNO) с суммарной толщиной активной области около 100 нм. Один из проблемных факторов в создании кроссбар-структур при относительно толстых шинах (≥100 нм) связан с влиянием краевых эффектов, приводящих к токовым утечкам и локальному электрическому пробою структуры. Это требует изоляции рабочей области нанокомпозита по краям структуры от верхних металлических шин, которая может быть создана с использованием плазмохимического осаждения (например, Si₃N₄) при температуре 300°С. В этом случае формируется плотный диэлектрик. При относительно небольшой толщине (5–10 нм) диэлектрической пленки эффекты прямого туннелирования электронов пренебрежимо малы.

С учетом этого для создания мемристивных матриц, размещенных на SiO₂/Si-подложках диаметром 51 мм, был модифицирован соответствующий технологический маршрут, основанный на использовании лазерной фотолитографии (литограф Heidelberg 66fs; разрешение 1 мкм), плазмохимического осаждения (Trion Oracle III) и ионно-лучевого распыления составной мишени на оригинальной установке, позволяющей в едином цикле получать слои НК различного состава [20]. Важная особенность при создании ансамбля М/НК/LNO/М-структур заключалась в использовании при осаждении НК- и LNO-слоев теневых масок, что позволило сформировать НК-полоски необходимых размеров и при этом избежать использования химического травления, которое трудно осуществимо при различных составах НК. На данном этапе использовали плазмохимическое осаждение для получения как нижнего, так и верхнего защитных слоев (Si₃N₄). При этом чтобы подавить нежелательное влияние краевых эффектов, приводящих к токовым утечкам и локальному электрическому пробою структуры, размер окон (47 × 47 мкм²) в защитном слое диэлектрика Si₃N₄ на обеих шинах был выбран заметно меньшим, чем их ширина (50 мкм) (рис. 1). Были изготовлены кроссбар-структуры с числом элементов 4 × 4 площадью S = 50 × 50 мкм². Содержание металла в исследуемом кроссбаре составляло x ≈ 19 ат. %.

Рис. 1.

Схематическое изображение сечения отдельного мемристивного кроссбар-элемента на базе структур М/(CoFeB)_x(LiNbO₃)_{100 –x}/LiNbO₃/М с защитными изолирующими слоями Si₃N₄, выращенными плазмо-химическим осаждением

Исследования мемристивных свойств М/НК/LNO/М кроссбар-элементов проводили при комнатной температуре с помощью многофункционального источника-измерителя NI PXIe-4140 (National Instruments) и аналитической зондовой станции PM5 (Cascade Microtech), снабженной оптической системой микрометрического перемещения зондов PSM-100 (Motic).

Эксперименты по реализации формальной сети с использованием исследованных мемристоров проводили в несколько этапов. На первом этапе карту весов переносили в кроссбар-матрицу путем перевода мемристоров в состояния с соответствующими весам проводимостями. Для этого контакт строки, на которой находится мемристор, подключали к положительному выходу одного из каналов источника-измерителя, контакт соответствующего столбца – к отрицательному выходу (“земле”). Установку в нужное состояние проводили по специальному алгоритму записи–чтения [21] с помощью последовательности импульсов различной длительности с точностью до 5% от целевого значения сопротивления.

После переноса всей карты (настройки проводимостей всех четырех мемристоров) исследовали возможность классификации простых образов “предобученной” сетью. Для этого положительные выходы двух каналов источника-измерителя подключали к двум строковым контактам кроссбар-матрицы, а контакты 2-го и 3-го ее столбцов через пару резисторов номиналом R₀ = 10 Ом подключали к отрицательным контактам (общей земле) каналов источника-измерителя. Исследования работы ФНС проводили с помощью четырехканального осциллографа WaveSurfer 4000HD (Teledyne LeCroy).

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

На основе кроссбара НК-мемристоров была построена НВС, способная к обучению решению задачи классификации простых образов. Обучение в такой сети проводилось ex situ. После предварительного обучения сети на внешнем компьютере полученные веса должны быть записаны в кроссбар-матрицу мемристоров. После этого исследуется возможность классификации простых образов полученной сетью. В случае неудовлетворительной точности классификации сеть может быть дообучена in situ путем более тонкой подстройки весов мемристоров.

В качестве мемристивной матрицы был использован участок 2 × 2, расположенный в центре кроссбара 4 × 4. Схема эксперимента представлена на рис. 2. На строковые контакты кроссбара подавались образы “01” и “10” в виде импульсов напряжения. Выходной сигнал снимался путем считывания токов с контактов столбцов кроссбара.

Рис. 2.

Схема эксперимента по реализации формальной сети на базе кроссбар-мемристоров.

На рис. 3 представлены вольт-амперные характеристики (ВАХ) выбранных мемристоров. Скорость развертки по напряжению составляла 2 В/с, тогда как токи ограничения были установлены на уровне 100 мА для обеих полярностей приложенного напряжения. Для каждого мемристора снято по 50 кривых ВАХ. Отметим, что их различия от цикла к циклу невелики, в то время как различия от устройства к устройству более заметны, но все же некритичны для выбранной задачи классификации. Механизм РП в НК-мемристорах основан на движении вакансий кислорода под действием электрического поля по большому числу филаментов [18].

Рис. 3.

Вольт-амперные кривые использованных мемристоров.

По данным ВАХ рассчитаны “окна” сопротивлений мемристоров (значения R_on и R_off). Это необходимо для перевода весов связей сети в реальные проводимости. Сопротивления R_on и R_off рассчитывали на уровне напряжения чтения U_read = 0.3 В после положительной и отрицательной части кривой ВАХ соответственно. На рис. 4 представлены зависимости сопротивлений R_on и R_off мемристоров от номера цикла ВАХ (на рис. 2–4 одинаковые цвета соответствуют одним и тем же мемристивным элементам в кроссбаре). Низкоомные (on) и высокоомные (off) состояния разделены довольно заметной маржинальной областью с центром в области 100 Ом. Видно, что соотношение сопротивлений R_on/R_off имеет значение не менее 1:3 для всех четырех мемристоров и всех циклов снятия ВАХ. Отметим, что при использовании напряжений с большими амплитудами возможно увеличение соотношения сопротивлений не менее чем до 1:10.

Рис. 4.

Сопротивления использованных мемристоров, полученные путем обработки ВАХ, представленных на рис. 3.

В качестве модельных образов в задаче классификации формальной сетью на основе мемристоров были выбраны следующие комбинации: “01” (напряжение логического нуля на второй строке кроссбара и логической единицы на третьей) и “10” (рис. 2). Длительность предъявления образа составляла 10 мс, напряжение логической единицы U_high = 0.3 В.

Исследовали работу сети с двумя картами весов. В первом варианте все веса были равны (G₁ = = 10 мСм), сеть не обучена. Результат этого случая отражен на рис. 5. Можно заметить, что при подаче каждого из образов выходные токи практически неотличимы, следовательно, точность классификации в данном случае оказывается нулевой.

Рис. 5.

Входные и выходные сигналы необученной сети. На верхней панели показаны выходные токи сети, горизонтальная линия соответствует пороговому значению тока I_threshold = 4 мкА, выбранному для логического разделения разных входных паттернов; на нижней – входные напряжения сети, которые подавались на контакты строк и соответствовали образам “01” и “10”.

После  этого  была  применена  процедура ex situ-обучения сети. В ней высокие веса располагались на побочной диагонали квадрата 2 × 2, а низкие – на главной. Тепловая карта весов изображена на рис. 6. Выбор “высокопроводящей” диагонали обусловлен следующим соображением: ненулевое сопротивление проводящих шин в кроссбаре может негативно влиять на точность распознавания образов, уменьшая окно сопротивлений каждого из мемристоров, а также смещая эти окна в общем случае на разные величины, зависящие от суммарного расстояния от мемристора до контактов, соответствующих его строке и столбцу. Несмотря на то что контактные площадки есть на всех четырех сторонах кроссбара, во всех экспериментах использовались контакты слева (для строк) и сверху (для столбцов). При этом для мемристоров, расположенных слева снизу и справа сверху от центрального квадрата 2 × 2 суммарные расстояния до этих контактов, а значит, и добавочные сопротивления оказываются примерно одинаковыми. Именно поэтому данные мемристоры были выбраны в качестве высокопроводящих.

Рис. 6.

Тепловая карта проводимостей мемристоров, соответствующая карте весов связей в предобученной сети.

После загрузки карты весов в кроссбар (перевода всех мемристоров в соответствующие состояния проводимости) был повторен эксперимент по распознаванию простых образов. Исходя из карты проводимостей при правильной работе сети ожидалось, что для образа “01” выходной ток с контакта второго столбца будет больше, чем с контакта третьего; и наоборот, для образа “10”. Результаты эксперимента показаны на рис. 7. Видно, что с новой картой весов ток на выходе, соответствующем предъявляемому в данный момент образу, превышает ток на другом выходе более чем в 3 раза, уровень I_threshold четко разделяет эти два значения тока. Предобученная сеть стала распознавать образы так, как и ожидалось.

Рис. 7.

Входные и выходные сигналы предобученной сети. Обозначения те же, что на рис. 5.

Несмотря на то что в данном случае дообучения сети после загрузки начальной карты весов не потребовалось, для больших размеров НВС и/или паттернов, кодируемых промежуточными значениями в диапазоне (0, 1), оно может быть необходимо. При этом целевое изменение проводимости ΔG каждого мемристора (веса связи) должно рассчитываться по формулам метода обратного распространения ошибки исходя из ошибки распознавания на данной итерации [8, 9, 22].

Помимо расчета значения ΔG нужно иметь алгоритм реального изменения на данную величину проводимости каждого отдельного мемристора. Наиболее универсальным и простым с точки зрения схемотехники является метод приведения мемристора в нужное состояние при помощи двух видов импульсов с заданными параметрами: положительного (потенциирующего), повышающего проводимость, и отрицательного (депрессирующего), уменьшающего ее. Для реализации этого метода нужно знать, как выглядит кривая зависимости проводимости мемристора от числа поданных импульсов, а также выбрать их параметры такими, чтобы эта кривая была максимально близкой к прямой линии.

Изученные мемристоры демонстрируют довольно резкое изменение проводимости первыми несколькими импульсами при смене их полярности. Особенно сильно это выражается, когда они начинают потенцироваться (ΔG > 0) положительными импульсами из состояния, близкого к R_off. В этом случае каждый импульс может изменять их сопротивление на десятки процентов от всего окна проводимости. Поэтому для данных мемристоров было решено использовать следующий алгоритм: если по результатам итерации требуется потенциация мемристора, то он вначале должен приводиться в состояние с заведомо большей проводимостью, чем целевая (например, одним импульсом, переводящим в низкоомное состояние), а затем серией импульсов отрицательной полярности происходит точная настройка проводимости.

Для НК-мемристоров были выбраны следующие оптимальные параметры импульсов: амплитуды –2.5 и +2.8 В, одинаковые длительности в 30 мс и прямоугольная форма. При таком выборе параметров положительные импульсы практически сразу переводят мемристор в низкоомное состояние, а отрицательные импульсы меняют проводимость достаточно плавно (рис. 8). Зависимость этого изменения от числа импульсов определяли следующим образом: сначала мемристор приводили в высокопроводящее состояние положительными импульсами, затем на него подавали 75 отрицательных, причем после каждого импульса проводили считывание текущей проводимости мемристора. Такой измерительный цикл повторяли 15 раз для набора статистики. Подобное плавное изменение проводимости НК-мемристоров одинаковыми импульсами при одной полярности удобно с практической точки зрения схемотехнической реализации ядра НВС в будущем интегральном исполнении.

Рис. 8.

Кривые изменения проводимости мемристора при последовательной подаче одинаковых депрессирующих импульсов в зависимости от числа импульсов. Серыми линиями обозначены результаты каждого цикла измерения, точками – значения проводимости после i-го импульса, усредненные по 15 циклам. Точки соединены жирной линией для наглядности.

Также была изучена возможность изменения проводимости мемристоров по локальным биоподобным правилам типа STDP. Для этого на отдельный мемристор с источника-измерителя подавали пары прямоугольных биполярных импульсов с амплитудами и длительностями плеч, равными 1.2 В и 30 мс соответственно, наложенных друг на друга с различной задержкой по времени. Перед этим мемристор приводили в среднее значение проводимости G_initial = 10 мСм, а после подачи проводимость измерялась снова. Ее относительное изменение в зависимости от временного промежутка между импульсами для четырех различных мемристоров изображена на рис. 9. Каждая точка на графиках соответствует медианному усреднению по пяти повторениям подачи импульсов с одинаковой задержкой. Данные результаты свидетельствуют о возможности изменения проводимости мемристоров кроссбара по правилам STDP, что может быть использовано при построении спайковых НВС на их основе.

Рис. 9.

STDP-кривые четырех исследованных мемристоров.

ЗАКЛЮЧЕНИЕ

Сформированы массивы мемристивных кроссбар-элементов на основе нанокомпозита CoFeB–LiNbO₃ с прослойкой чистого LiNbO₃ на кремниевой подложке, демонстрирующие обратимые РП с окном сопротивлений R_off/R_on порядка 10 и хорошей повторяемостью от цикла к циклу и от устройства к устройству. На базе разработанных массивов мемристоров продемонстрирована формальная сеть 2 × 2, способная распознавать простые образы после загрузки предобученной матрицы весов. Продемонстрирована возможность изменения проводимости мемристоров в кроссбар-архитектуре по локальным биоподобным правилам STDP, а также прецизионного приведения их в заранее заданное состояние при помощи последовательности одинаковых импульсов, что может быть использовано при построении более сложных спайковых и формальных НВС соответственно.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант № 18-29-23041) в части импульсного обучения мемристоров и Российского научного фонда (грант № 18-79-10253) в части построения и обучения формальной нейроморфной сети. Исследования выполнены на оборудовании Ресурсного центра электрофизических методов Национального исследовательского центра “Курчатовский институт” (№ 2753).