Российские нанотехнологии, 2021, T. 16, № 6, стр. 761-766

ВВЕДЕНИЕ

Вычислительные системы, базирующиеся на архитектуре фон Неймана, успешно справляются с большинством современных задач с детерминированными алгоритмами решения, однако их применение при решении плохо определенных когнитивных задач (распознавание образов, обработка текстов и речи, прогнозирование, планирование, управление и т.д.) весьма энергозатратно и почти всегда не оптимально с точки зрения скорости вычислений [1]. В этом отношении нейроморфные вычислительные системы на базе мемристоров, эмулирующих синаптические контакты между искусственными нейронами, могут оказаться значительно более производительными и энергоэффективными [2, 3]. В частности, в последнее время были продемонстрированы многообещающие результаты по реализации искусственных нейронных сетей на основе мемристивных синапсов, таких как перцептроны [4, 5], кратковременная и долговременная память [6], резервуарные системы [7] и импульсные нейронные сети с простой архитектурой [8, 9]. Интересны также эксперименты по дофаминоподобной модуляции резистивного состояния мемристивных синапсов [10], возможности оптического контроля их состояния [11] или работы по наблюдению эффектов резистивного переключения мемристоров второго порядка, аналог которых наблюдается и для биологических синапсов [12].

В случае так называемых формальных нейронных сетей точность их работы критически зависит от доступного объема размеченных экспертами данных для обучения и числа слоев в многослойной архитектуре, что ограничивает круг решаемых задач (наличием соответствующих тренировочных выборок) и снижает энергоэффективность и скорость вычислений уже обученной системы [13].

Недавние исследования мемристорных импульсных нейроморфных систем (ИНС) показали, что при их обучении с использованием биоподобных алгоритмов, например по правилам синаптической пластичности, зависящей от моментов импульсов (англ. spike-timing-dependent plasticity, STDP), удается значительно снизить зависимость точности классификации образов от разброса характеристик мемристоров [14–16]. Более того, использование данного правила при обучении ИНС обеспечивает самоадаптацию мемристоров, веса которых в случае фиксированных входных и выходной последовательностей импульсов не зависят от их начальных состояний, а определяются только информацией, закодированной в задержках между импульсами [17–19]. Несмотря на большой потенциал, вычислительные возможности ИНС не были широко продемонстрированы, особенно в сравнении с формальными сетями, в первую очередь из-за недостатка эффективных алгоритмов обучения [20].

Для обучения ИНС по правилам STDP наиболее перспективными подходами являются популяционно-частотное или временное кодирование информации [21]. При частотном кодировании используются средние частоты срабатывания нейронов (генерации импульсов, или спайков) в пределах выбранного небольшого временного окна (популяцией таких нейронов кодируется многомерный образ), при кодировании временным сдвигом (временном кодировании) величина сигнала считается тем выше, чем ближе точные моменты генерации пресинаптических спайков к событию генерации импульса постсинаптическим нейроном (или наоборот) [22]. Кодирование аналогового значения входного сигнала через частоту срабатывания нейрона, как правило, требует довольно большого числа спайков, что снижает энергоэффективность и производительность вычислений сети по сравнению с одиночными импульсами в каждом пресинаптическом канале для способа кодирования временным сдвигом [23]. Кроме того, при временном кодировании значительно большее число комбинаций сигнала в виде пространственно-временных паттернов может быть распознано постсинаптическим нейроном, чем в случае частотного кодирования, что обусловливает существенно бóльшую информационную емкость временного способа представления информации. В указанных отношениях кодирование информации временным сдвигом выглядит более перспективным подходом [22, 24].

В [19, 24, 25] была продемонстрирована возможность частотно-кодированного обучения ИНС на базе нанокомпозитных (НК) мемристоров с НК вида (Co₄₀Fe₄₀B₂₀)_x(LiNbO₃)_{100 –x}. Выявлено, что обучение ИНС возможно при соотношении частот 10: 1, а долговременная память может поддерживаться низкочастотным сигналом даже в случае использования мемристоров с конечным временем удержания своего резистивного состояния. Цель настоящей работы заключалась в изучении возможности и особенностей обучения ИНС на базе НК-мемристоров с временным кодированием информации.

ОБРАЗЦЫ И МЕТОДЫ

В работе использовались мемристивные структуры конденсаторного типа металл/нанокомпозит/металл (М/НК/М) на основе НК (Co₄₀Fe₄₀B₂₀)_x(LiNbO₃)_{100 –x} (x ≈ 10 ат. %), синтезированные методом ионно-лучевого распыления составной мишени на ситалловых подложках [26]. Композит осаждался на подложки, предварительно покрытые металлической пленкой Cr/Cu/Cr, выступающей в роли нижнего контакта. Верхние контактные площадки наносились через металлическую маску с размером отверстий 0.5 × 0.2 мм².

Электрофизические исследования структур М/НК/М выполняли с помощью четырехканального источника-измерителя PXIe-4140 (National Instruments) на аналитической зондовой станции PM5 (Cascade Microtech). Вольт-амперные характеристики (ВАХ) получали при заземленном нижнем электроде и развертке напряжения смещения U верхнего электрода по линейному закону в последовательности от 0 → +U₀ → 0 → –U₀ → 0 с шагом 0.1 В и длительностью 50 мс, U₀ = 10 В.

Для проверки возможности изменения весов (проводимостей) мемристивных НК-структур согласно правилам STDP в качестве пресинаптического входа использовали нижний контакт структуры, в качестве постсинаптического – верхний (при этом потенциал отсчитывается относительно нижнего электрода). Измерения проводимости осуществляли до и после подачи спайков (импульсов напряжения специальной формы).

Для изучения возможности использования схемы временного кодирования бинарных образов при обучении ИНС с мемристивными связями была построена простая сеть, состоящая из четырех пресинаптических нейронов и одного постсинаптического порогового нейрона, соединенных мемристивными НК-синапсами. Нейроны были запрограммированы с помощью источника-измерителя PXIe-4140 в среде LabView.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Ранее было установлено, что мемристивные структуры на основе НК (Co₄₀Fe₄₀B₂₀)_x(LiNbO₃)_100 – x обладают резистивными переключениями (РП) с большим соотношением сопротивлений в низко- и высокопроводящем состояниях (>100), количеством переключений >10⁶ и числом промежуточных состояний >2⁸ [3, 27]. В условиях резистивных переключений в ВАХ наблюдается гистерезис (рис. 1), который носит плавный характер, указывая на относительно слабую роль стохастических процессов в эффекте РП. Последнее связываем с многофиламентным характером РП, обусловленным гранулированным характером НК, наличием в нем большого числа диспергированных атомов Co и Fe (до ~10²² cм^–3) и самоорганизованным формированием около нижнего электрода структуры высокоомной прослойки (~10 нм) чистого (без примесей металлов) аморфного LiNbO₃ в процессе синтеза образцов [28]. При первых циклах РП происходит нуклеация диспергированных атомов вокруг перколяционных цепочек наногранул CoFe, что приводит к образованию металлизированных нитевидных наноканалов, соединяющих верхний электрод структуры М/НК/М с аморфной прослойкой LiNbO₃, определяющей ее сопротивление. Количество наноканалов и глубина их проникновения в аморфную прослойку LiNbO₃ целиком контролируют общее резистивное состояние структуры, чем обеспечивается высокая устойчивость и многоуровневый характер РП.

Рис. 1.

ВАХ четырех мемристоров, использованных для построения импульсной нейроморфной сети.

Преимуществом НК-мемристоров является возможность изменения их проводимости квазинепрерывно в широком окне [28], в том числе по правилам STDP [9]. В экспериментах с STDP использовали одинаковые пре- и постсинаптические спайки, представляющие собой парные разнополярные прямоугольные импульсы с одинаковыми амплитудой 5 В и длительностью 400 мс (рис. 2а). Изменение относительной проводимости (ΔG) зависит от межспайкового интервала (Δt): при малой задержке между ними разность потенциалов на мемристоре оказывается достаточной для изменения его проводимости. При этом, если пресинаптический спайк возникает раньше постсинаптического (Δt > 0), наблюдается увеличение проводимости (потенциация), в обратном случае (Δt < 0) наблюдается уменьшение проводимости мемристора (депрессия) (рис. 2б). Аналогичная зависимость наблюдается для биологических синапсов [29]. Возможность аппаратной реализации STDP на мемристивных структурах М/НК/М обусловливает их использование в качестве синаптических связей в ИНС.

Рис. 2.

Пре- и постсинаптические импульсы напряжения (спайки) (а). Окно STDP: зависимость изменения проводимости от межспайкового интервала для четырех мемристоров (символы) и среднее значение (сплошная линия) (б).

С помощью полученных результатов протестирована работоспособность простой ИНС с временным кодированием входного сигнала, которая состояла из четырех пресинаптических нейронов и постсинаптического порогового нейрона-интегратора без утечки, соединенных мемристивными НК-синапсами (рис. 3а). На входы последовательно подавали различные бинарные образы, состоящие из логических “1” и “0”. Кодирование образов было реализовано путем сдвига момента подачи спайка от начала цикла обучения. Для логической “1” спайк подавали в начале цикла, а для логического “0” – через 200 мс при общем периоде одного цикла 1 с (рис. 3б). За счет изменения времени начала пресинаптического импульса результирующее напряжение на мемристоре при генерации постсинаптического спайка является положительным для “1” (соответствует Δt > 0) и отрицательным для “0” (соответствует Δt < 0). После 100 таких циклов обучения отношение проводимостей для четырех различных образов составило ~10, спустя 500 с – около двух (рис. 4). Уменьшение отношения значений проводимости происходит из-за релаксации резистивного состояния после воздействия электрическими импульсами (рис. 5). Время релаксации, характеризующее длительность сохранения резистивного состояния, составило ~50 с для используемых мемристивных элементов. При этом для низкопроводящего состояния после резкого увеличения проводимости наблюдается ее постепенное уменьшение, в результате чего отношение проводимостей растет (рис. 5). На рис. 4 видно, что итоговое состояние системы однозначно соответствует образам, поданным на пресинаптические входы.

Рис. 3.

Схема построения импульсной нейроморфной сети (а) и подачи спайков (б).

Рис. 4.

Результат обучения импульсной нейроморфной сети сразу после 100 циклов обучения и через 500 с.

Рис. 5.

Изменение проводимости четырех мемристоров в зависимости от времени после обучения импульсной нейроморфной сети.

В отличие от работ [17–19, 30–32 ], демонстрирующих обучение на основе правил STDP, в данной работе показана возможность обучения аппаратной ИНС при временном кодировании образа. Отметим, что для однозначности интерпретации получаемых результатов использовали бинарные образы, хотя также может быть осуществлено обучение распознаванию паттерна из аналоговых сигналов с использованием подходящей формы окна STDP. Действительно, непрерывное изменение проводимости, соответствующее заданному  образу,  происходит в зависимости от меж-спайкового интервала, который возникает между входным и выходным импульсами, при этом величина изменения напрямую определяется формой и амплитудой кривой в окне STDP, которое в свою очередь зависит от параметров спайков. При использовании спайков другой формы (би-треугольной, пилообразной, синусоидальной) окно STDP качественно не изменяется [10], в связи с чем обучение ИНС при временном кодировании можно ожидать и для других форм спайков.

ЗАКЛЮЧЕНИЕ

Показана возможность решения задачи кластеризации бинарных образов, кодируемых методом временного сдвига, простой импульсной нейроморфной системой с синаптическими связями на основе НК-мемристоров с активным слоем вида (Co₄₀Fe₄₀B₂₀)_x(LiNbO₃)_{100 –x} (x ≈ 10 ат. %). После 100 циклов обучения отношение проводимостей для четырех различных образов составило ~10, спустя 500 с – стабильно не менее двух (с учетом релаксации резистивных состояний мемристоров). Это определяет принципиальную пригодность мемристивных НК-структур и систем на их основе к самообучению распознавания образов с временным кодированием информации наряду с ранее продемонстрированной возможностью обучения ИНС с нанокомпозитными мемристивными весами кластеризации популяционно-частотных паттернов. Таким образом, в будущих исследованиях могут быть построены системы на базе НК-мемристоров с гибридными методами кодирования информации, что расширяет перспективы их использования при разработке универсальных нейроморфных вычислительных систем.

Работа выполнена при частичной финансовой поддержке гранта Президента Российской Федерации (МК-2203.2021.1.2) в части изучения электрофизических свойств образцов мемристоров и Российского научного фонда (грант № 18-79-10253) в части обучения импульсной нейроморфной сети сигналами с временным кодированием. Исследования выполнены на оборудовании ресурсного центра электрофизических методов (НИЦ “Курчатовский институт”).