Российские нанотехнологии, 2021, T. 16, № 6, стр. 793-798

ВВЕДЕНИЕ

В импульсных нейросетях реализуется биологически подобный механизм ассоциативного самообучения, который сложно реализовать в традиционных сетях с точечными нейронами [1]. Импульсные нейронные сети превосходят нейросети на точечных нейронах в точности и вычислительной мощности, кроме того, они лучше приспособлены для аппаратной реализации из-за работы по принципу “интегрировать-и-сработать” (“integrate-and-fire”) [2]. Исследования по созданию аппаратной нейросети на основе мемристорных синапсов были начаты в [3], где продемонстрирована экспериментальная неимпульсная нейросеть из однослойного персептрона с интегрированным кроссбаром металл-оксидных мемристоров.

Принципы ассоциативного самообучения и формирование новой ассоциации (нового знания) в импульсной нейросети с мемристорными синапсами по правилу Хебба впервые представлены в [4]. Аппаратные реализации этой идеи в виде нейросети из трех нейронов с синапсами на дискретных мемристорах предложены в [5–10]. При экспериментальной демонстрации ассоциативного самообучения в нейросети с мемристорами на основе органического полимера парилена явно показана генерация новых импульсов, связанных с возникновением новой ассоциации [9]. В [10] проводилось численное моделирование нейросети с мемристорными синапсами, характеристики которых были предварительно получены экспериментально [9].

Однако предложенные электрические цепи аппаратной реализации ассоциативной памяти не могут быть использованы для построения сверхбольшой аппаратной нейросети с высокой интеграцией элементов и энергоэффективностью, что связано с отсутствием интеграции мемристоров в кроссбары, а также наличием в схемах нейронов и синапсов большого количества активных электронных элементов с высоким энергопотреблением.

Аппаратные неимпульсные нейронные сети на основе мемристорного кроссбара с мемристорно-транзисторными ячейками 1Т1М реализованы исследовательской группой Hewlett-Packard в виде персептрона [11] и сети Хопфилда [12]. Размер селективного полевого транзистора в использованных ячейках на порядок превышает минимальный размер мемристора. Увеличение степени интеграции возможно при замене транзистора на диод Зенера. Для сверхбольших кроссбаров диод Зенера более предпочтителен, поскольку имеет размер, соизмеримый с размером мемристора.

В [13] предложена разработка биоморфного нейропроцессора на основе нового компонента наноэлетроники – мемристорно-диодного кроссбара с биполярными мемристорами, подходящего для традиционных задач обработки информации, а также для воспроизведения работы кортикальной колонки мозга или ее фрагмента. Нейропроцессор реализует импульсную аппаратную нейросеть с помощью оригинальных электрической и программной биоморфных моделей нейрона. Сформулированы принципы построения биоморфной нейросети [14].

Создание нейропроцессоров на основе мемристоров и мемристорных кроссбаров затруднено, так как разрабатываемые твердотельные мемристоры на оксидах переходных металлов характеризуются невысокой стабильностью и воспроизводимостью электрических характеристик. Однако предложенный биоморфный нейропроцессор лишен перечисленных выше недостатков. Распределенный характер биоморфной нейросети снижает требования к воспроизводимости и стабильности характеристик мемристоров, а также повышает отказоустойчивость схемы нейропроцессора. Кроме этого, в аппаратную реализацию нейросети можно добавить электрическую схему, которая будет воспроизводить работу астроцита (одного из видов глиальных клеток мозга) путем увеличения проводимости оставшихся мемристорных синапсов при обнаружении поврежденного, что дополнительно повысит отказоустойчивость схемы нейропроцессора и увеличит биоморфность нейросети [15].

В [16] представлена магнетронная технология изготовления полупроводниковых слоев диода Зенера и мемристорного слоя, обеспечивающая требуемые характеристики диода и мемристоров. Проведены исследования электрофизических свойств изготовленного мемристорно-диодного кроссбара с числом ячеек 1D2М 2 × 2. Выполнена обработка сигналов с помощью умножения матрицы напряжений на вектор проводимостей ячеек и ассоциативного самообучения. Приведено сравнение экспериментальных результатов и SPICE-моделирования процессов обработки сигналов в изготовленном мемристорно-диодном кроссбаре и определен разброс параметров мемристоров, при котором наблюдается устойчивая работа кроссбара. Среднеквадратичное отклонение сопротивления ячеек может достигать от 60 до 100% и более.

Впервые продемонстрирована генерация новой ассоциации (нового знания) в нейросети из двух виртуальных и одного аппаратного нейрона с синапсами в виде изготовленного мемристорно-диодного кроссбара в отличие от ассоциативного самообучения в существующих аппаратных нейросетях с синапсами на базе дискретных мемристоров [16].

В настоящем сообщении приведены результаты тестирования работы аппаратной импульсной нейросети с мемристорными синапсами, представляющей собой запоминающую матрицу в режиме расчета синапсов однослойного персептрона. Персептрон может рассматриваться в качестве первого слоя 3D-нейросети процессора, выполняющего первичную обработку поступающей информации [14].

ОБЪЕКТЫ И МЕТОДЫ ИССЛЕДОВАНИЯ

С помощью магнетронной технологии [16] изготовлен мемристорно-диодный кроссбар запоминающей матрицы с числом ячеек 4 × 2, являющийся интегральным массивом синапсов аппаратного персептрона. Ячейки матрицы 1D2М представляют собой двухслойное соединение комплементарных биполярных мемристоров и  одного  разделяющего диода Зенера. Изготовление мемристорно-диодного кроссбара TiN/Ti_0.93Al_0.07O_x/p-Si/n-Si/W (рис. 1а) проводили в магнетронном модуле, входящем в нанотехнологический комплекс “НаноФаб-100” (NT-MDT, Россия). Слой смешанного оксида металлов осаждали при одновременном распылении двух катодов из титана и алюминия, а полупроводниковые слои диода – при последовательном распылении катодов из легированного бором и фосфором кремния (p-Si и n-Si соответственно). Мемристоры изготавливали по технологии кроссбар путем последовательного напыления пленок через маски электронного резиста (полиметилметакрилат), выполненные на электронном микроскопе JSM-6510LV-EDS (Jeol, Япония). Вольт-амперная характеристика (ВАХ) ячейки кроссбара приведена на рис. 1б.

Рис. 1.

Микрофотография мемристорно-диодного кроссбара TiN/Ti_0.93Al_0.07O_x/p-Si/n-Si/W (а) и зависимость тока ячейки I от приложенного напряжения U ячейки изготовленного кроссбара (б).

Максимальное отношение сопротивлений ячейки кроссбара в низко- и высокопроводящем состояниях достигается при напряжении U = = 0.3 В и составляет 54.2. Среднее сопротивление ячеек в низкопроводящем состоянии равно 1.56 МОм со среднеквадратичным отклонением 0.43 МОм при U = 2 В. Характеристики изготовленных мемристоров в составе мемристорно-диодного кроссбара исследовали ранее [15, 17]. Удельные сопротивления предельных состояний при циклических переключениях ρ_off и ρ_on составляют 1.14 ± 0.18 кОм м и 1.61 ± 0.05 Ом м соответственно. Напряжение переключения ячейки оказалось больше, чем у отдельного мемристора [16], поскольку часть напряжения падает на диоде. Большое сопротивление закрытого диода приводит к стягиванию гистерезиса в обратной ветви ВАХ ячейки, так как вклад сопротивления диода преобладает над вкладом малого сопротивления мемристора в их общую ВАХ. Снижение напряжения переключения ячейки возможно при уменьшении толщины активного слоя мемристора и увеличении нелинейности селективного элемента. Распределенный характер нейросети снижает требования к воспроизводимости и стабильности характеристик мемристоров, и на первый план выходит отношение предельных значений сопротивлений для существования множества синаптических состояний. Это подтверждается в [16], где работоспособность кроссбара сохранялась при разбросе предельных сопротивлений ячеек до 100%.

Аппаратный персептрон (рис. 2) построен на основе мемристорно-диодного кроссбара с четырьмя парами входных проводников и двумя выходными шинами. Соответственно, кроссбар содержит восемь ячеек, которые являются синапсами нейросети. Слой персептрона образован двумя нейронами, построенными на основе операционных усилителей. Электрическая схема нейрона состоит из преобразователя ток–напряжение, аналогового интегратора, компаратора, схемы задержки в виде интегрирующей RC-цепи и полевого транзистора.

Рис. 2.

Электрическая схема аппаратного персептрона: а – мемристорно-диодный кроссбар в качестве массива синапсов, б – электрическая схема нейрона.

Реализованный в аппаратной нейросети механизм самообучения пластичности, зависимой от времени импульса (spike-timing dependent plasticity (STDP)), учитывает причинность. Если пресинаптический импульс пришел раньше и перекрывается во времени с постсинаптическим импульсом, то он может быть причиной активации постсинаптического нейрона, и вес синапса возрастает. Если постсинаптический импульс возник раньше пресинаптического импульса, то он не может быть причиной активации постсинаптического нейрона, и вес синапса уменьшается.

Специальная форма входных импульсов позволяет реализовать ассоциативное обучение нейросети по механизму STDP. Изменение веса синапса зависит от разницы между временем срабатывания пресинаптического и постсинаптиче-ского нейронов Δt = t_пре– t_пост.

Форма пре- и постсинаптических импульсов для обеспечения механизма STDP и соответствующая функция пластичности представлены на рис. 3. Величина ΔQ показывает изменение заряда конденсатора в интеграторе нейрона при прохождении одного информационного импульса после изменения веса синапса.

Рис. 3.

Пластичность, зависимая от времени импульса: a – пре- и постсинаптические напряжения ячейки запоминающей матрицы при Δt = 0, б – функция пластичности ΔQ(Δt) – изменение заряда конденсатора в интеграторе нейрона при прохождении одного информационного импульса после изменения массы синапса.

Нейросеть, состоящая из четырех виртуальных входных нейронов и двух аппаратных выходных нейронов (рис. 4), обучалась для выполнения задачи распознавания набора входных изображений с разрешением 2 × 2 пикселя.

Рис. 4.

Входное изображение и архитектура аппаратной нейросети: скругленные справа квадраты – входные виртуальные нейроны, круги – выходные нейроны.

Значения яркостей пикселей преобразовывались в среднюю частоту последовательности входных импульсов с помощью микроконтроллера. Выходные импульсы активировавшихся нейронов фиксировались этим же микроконтроллером. Результат распознавания изображения определял выходной нейрон сети с большим числом выходных импульсов, зарегистрированных во время присутствия последовательности входных импульсов.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Кривая обучения (рис. 5а) показывает долю правильно классифицированных входных изображений от числа циклов (эпох) обучения. Каждый цикл обучения состоит из последовательной подачи на вход нейросети импульсов, соответствующих 128 изображениям, образованных путем добавления шума к исходным двум эталонным картинкам. В каждой эпохе набор изображений одинаковый.

Рис. 5.

Результат ассоциативного самообучения аппаратной нейросети: а – изменение доли правильных классификаций, б – изменение проводимости мемристоров кроссбара.

Расположение прямоугольников на рис. 5б соответствует положению мемристоров на рис. 2а. Изначально проводимость мемристоров была низкой, за исключением одного из них. В процессе ассоциативного самообучения проводимость этого мемристора уменьшилась, а остальных выросла.

Исследуемая аппаратная импульсная нейросеть на основе мемристорно-диодного кроссбара отличается от нейросети большим числом нейронов и синапсов [16]. Кроме этого, при последующем переобучении нейросеть опирается на ассоциации, сформированные в процессе обработки входных сигналов, а не заложенные искусственно, как в [16].

Процесс генерации новой ассоциации при переобучении, связанном с поступлением новой информации, показан на рис. 6а.

Рис. 6.

Генерация новой ассоциации на фоне известной: а – появление и нарастание сигнала от изначально слабого синапса, б – изменение амплитуды импульсов при подключении второго нейрона в схему.

Для демонстрации процесса быстрого формирования новой ассоциации были выбраны импульсы большой длительности, чтобы переобучение произошло за небольшое количество импульсов. Этот же процесс описан в [9], где представлены начальный и конечный результаты формирования новой ассоциации после большого числа импульсов.

Нарастание входного напряжения нейрона, пропорциональное синаптическому току, вызвано усилением синапса при формировании новой ассоциации. Генерация новой ассоциации при переобучении происходит в изготовленном мемристорно-диодном кроссбаре в отличие от существующих нейросетей с синапсами на базе дискретных мемристоров [5–10].

Подключение второго нейрона вызывает уменьшение синаптического тока первого нейрона на 9.5% (рис. 6б) из-за существования небольших паразитных токов через соседние ячейки в кроссбаре. Часть суммарного тока синапсов первого нейрона втекает во второй нейрон, поэтому наблюдаемая амплитуда импульсов уменьшается. Численное моделирование работы запоминающей матрицы, образованной с помощью идеальных моделей мемристоров и диодов, показало, что деградация выходного напряжения из-за паразитных токов составляет 70% при числе ячеек 10⁶ [18]. Это достигается за счет высокой нелинейности ВАХ в модели диода Зенера, которая проявляется в отношении его сопротивлений в закрытом и открытом состояниях, равном 10⁹. Решить проблему паразитных токов в изготовленной матрице большого размера можно путем оптимизации параметров ячейки в первую очередь выбором материалов p–n-перехода и понижением напряжения пробоя диода, а также выбором материалов проводников мемристора с целью повышения барьера Шоттки.

ЗАКЛЮЧЕНИЕ

Изготовлена и протестирована импульсная нейросеть с мемристорными синапсами на основе мемристорно-диодного кроссбара и аппаратных нейронов, представляющая собой однослойный персептрон. Персептрон может рассматриваться в качестве первого слоя 3D-нейросети [14], выполняющего первичную обработку поступающей информации в биоморфном нейропроцессоре [13]. Получена экспериментальная кривая обучения, показывающая ожидаемое увеличение доли правильных классификаций с ростом числа эпох обучения. Продемонстрирована генерация новой ассоциации при переобучении, вызванном поступлением новой входной информации.

Показано влияние соседних нейронов на синаптический ток, возникающее вследствие паразитных токов между соседними ячейками в мемристорно-диодном кроссбаре, которое необходимо учитывать при разработке аппаратных нейросетей с большими кроссбарами. Решить проблему паразитных токов в матрицах большого размера можно путем подбора материалов ячейки с целью увеличения нелинейности ее вольт-амперной характеристики.

Таким образом, с помощью построенной аппаратной импульсной нейросети поступление новой неизвестной информации можно отождествлять с генерацией новых ассоциаций в биоморфном нейропроцессоре, при совершенствовании нейросети [14] научиться осмысливать эту информацию и, следовательно, совершить переход от слабого к сильному искусственному интеллекту.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (гранты № 19-07-00272 “Электрофизические свойства комбинированного мемристорного-диодного кроссбара – нового компонента наноэлектроники, предназначенного для изготовления запоминающей и логической матриц нейропроцессора” и № 19-37-90030 “Генерация нового знания в нейросети на основе массива мемристорных синапсов в запоминающей матрице биоморфного нейропроцессора и принципы увеличения быстродействия и энергоэффективности обработки информации на специализированном устройстве по сравнению с существующими вычислительными средствами”).