Известия РАН. Серия физическая, 2020, T. 84, № 1, стр. 90-95

ВВЕДЕНИЕ

Нелинейная динамика электрических процессов и переработки информации в импульсных нейронах (ИН) и импульсных нейронных сетях (ИМНС) наиболее близка к реальным процессам в биологическом нейроне и биологических нейронных сетях [1, 2]. В настоящее время динамика процессов в импульсных нейронных сетях, механизмы переработки информации и сопутствующие физические процессы изучены недостаточно.

Данная работа посвящена исследованию физического смысла динамики электрических процессов в импульсных нейронных сетях как информационной системы, выполняющей сложную динамическую обработку информации.

ПРИНЦИПЫ КОДИРОВАНИЯ ИНФОРМАЦИИ В НЕЙРОННЫХ СЕТЯХ

Дадим общее определение понятия кодирования. Определений импульсного кодирования много, наиболее известное следующее: кодирование – процесс изменения или трансформации входящего сообщения из его изначальной формы в некоторую другую форму, или кодирование – это трансформация данных из одной формы в другую. Рассмотрим более подробно техническое кодирование импульсной информации в технических системах и кодирование импульсной информации в импульсных (спайковых) нейронных сетях. Методы технического кодирования отличаются от методов кодирования в реальных нейронных сетях. Это отличие обусловлено тем, что не все процессы в технических системах могут быть реализованы в биологических. Принципы кодирования информации в нейронных сетях могут быть весьма разнообразными. Отметим, что в нервной системе человека реализуемые импульсные последовательности являются нестабильным вариабельным объектом. Однако амплитуда парциальных импульсных последовательностей является постоянной, что обусловлено электродиффузионными процессами генерации нервного импульса. Это позволяет исключить влияние вариабельности амплитуды на процессы кодирования информации.

Нейронное кодирование – это переработка входящей сенсорной информации нейронами, нейронными сетями и нейронными ансамблями в нервной системе. Нейроны имеют исключительное свойство быстро распространять сигналы на большие расстояния. Они осуществляют это с помощью генерации потенциалов действия – спайков, которые распространяются нервными волокнами [2, 3]. Если игнорировать продолжительность потенциалов действия (около 1 мс), последовательность потенциалов действия может быть охарактеризована серией событий типа “все-или-ничего” во времени. Продолжительность межспайковых интервалов варьируется скорее случайным образом. Обычно сила раздражителя кодируется “средней частотой” возникающих потенциалов действия и распространяющихся по сенсорным волокнам, однако возможны и другие виды импульсного кодирования. Общей особенностью известных методов кодирования в импульсных нейронных сетях является присущая им нестабильность кодовых ответов. Яркой иллюстрацией такой нестабильности являются результаты, полученные в работе [4]. Реакция регистрирующих нейронов на одни и те же объекты может отличаться, если входная информация подается в различные моменты времени.

ИЗБИРАТЕЛЬНЫЕ НЕЙРОНЫ И НЕЙРОННЫЕ СЕТИ

В известных нейронных сетях используются искусственные нейроны МакКаллока–Питтса. В таких нейронных сетях обучение достигается за счет подбора весовых коэффициентов. Однако реальные нейронные сети не содержат весовых коэффициентов. В данной работе мы используем избирательные нейроны и избирательные нейронные сети, описанные в работах [5–8]. В избирательных нейронах и нейронных сетях избирательность достигается не за счет подбора весовых коэффициентов, как в известных нейронных сетях, а за счет избирательной кластеризации каналов связи, по информационным свойствам входных сигналов. Избирательные свойства могут быть реализованы в нейронных сетях, работающих как на бинарных входных сигналах, так и на импульсных, спайковых входных сигналах. Структура избирательного нейрона, предложенного в работах [5–8], показана на рис. 1 справа, для сравнения на рис. 1 слева показана структура нейрона МакКаллока–Питтса.

Рис. 1.

Структура математических моделей нейронов. Слева – нейрон МакКаллока–Питтса, справа – избирательный нейрон. На рисунке приняты обозначения: $x = ({{x}_{1}},...,{{x}_{n}}),$ КС – каналы связи-дендриты, $\sum {} $ – сумматор, F – нелинейная пороговая функция в нейроне МакКаллока–Питтса и релаксационная автоколебательная система в избирательном импульсном нейроне, К – кластер каналов связи в избирательном нейроне. Некоторые входные сигналы заблокированы при образовании каналов связи.

После прохождения порогового устройства и преобразования пороговой функцией $F(S)$ в нейроне МакКаллока–Питтса получаем выходной ответ равный $y = F\left( {\sum\limits_{i = 1}^n {{{w}_{i}}{{x}_{i}} - \theta } } \right),$ где: $n$ – число входов нейрона; $\theta $ – порог возбуждения. Для избирательного нейрона выходной ответ равен $y = L\left( {\sum\nolimits_{i \in K} {({{x}_{i}} - \theta )} } \right),$ где $i \in K$ – номера каналов связи, принадлежащих избирательному кластеру K; $L = F$ – нелинейный оператор, характеризующий релаксационную автоколебательную систему избирательного импульсного нейрона.

Преимуществом избирательных нейронных сетей является отсутствие необходимости подбора весовых коэффициентов при обучении нейронной сети. Это позволяет использовать более эффективное кодирование информации в импульсных нейронных сетях, более подробно это будет описано ниже. Рассмотрим суммирование и нелинейное пороговое преобразование импульсных последовательностей.

СУММИРОВАНИЕ ИМПУЛЬСНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ

Суммирование электрических потенциалов импульсных потоков после химического преобразования их синапсами происходит в соме нейрона [2]. Специфика суммирования состоит в том, что для последовательностей из коротких импульсов с различными периодами временное положение импульсов может не совпадать, и тогда их амплитуды не суммируются. В общем случае сумма разно-периодических импульсных последовательностей является равномерной почти-периодической функцией, и их суммирование происходит на основе свойств почти-периодических функций (ППФ).

Дадим определение ε-почти-периода функции $f(x).$ Согласно теореме Кронекера такая функция имеет сгущения и разряжения импульсов, следующие с интервалами так называемых ε-почти-периодов [9]. Рассмотрим иллюстрацию ε-почти-периодов. Сигналы на входах и на выходах нейронов можно представить в виде суммы почти-периодических функций, как показано на рис. 2 слева, суммарный импульсный поток показан выше оси времени на рис. 2 справа.

Рис. 2.

Схематическое изображение последовательности электрических импульсов нейрона в виде прямоугольных импульсов слева. Четыре импульсные последовательности с периодами ${{T}_{1}} - {{T}_{4}},$ ε-почти-период приблизительно равен ${{T}_{\varepsilon }} = 15{{T}_{1}} = 12{{T}_{2}}$ = $6{{T}_{3}} = 5{{T}_{4}} = 10.5.$ ε-почти-период заключен между двумя максимумами. Сгущения и разрежения для импульсных потоков показаны на рис. 2 справа.

Максимальная амплитуда суммы импульсов существует и достигается через ε-почти-период и равна 4А = 2, где А-амплитуда импульса равная 0.5. Известно, что для возбуждения нейрона необходимо, чтобы сумма импульсов, пришедших по дендритам, превышала порог возбуждения. Специфическое свойство почти-периодических функций – существование ε-почти-периодов в том числе и максимальной суммы импульсов, следующих с интервалом ε-почти-периода.

НЕЛИНЕЙНАЯ ПОРОГОВАЯ ФУНКЦИЯ ИМПУЛЬСНОГО НЕЙРОНА

Нелинейная часть импульсного нейрона является импульсной автоколебательной системой. Эта система может быть потенциально автоколебательной и генерировать в ответ на входной импульс один ответный импульс на выходе. Возможна генерация периодической последовательности импульсов или пачек импульсов (берст). При этом серии импульсов в пачке обычно имеют убывающий период, но могут иметь примерно одинаковый период следования, или даже хаотическую динамику. Уравнение автогенератора нелинейной динамической системы с положительной обратной связью с выхода на вход в достаточно общем случае можно написать в виде $\bar {y} = L\bar {y} + \bar {x},$ где $L$ – оператор нелинейной динамической системы, $\bar {x}$ – входной сигнал.

ТРЕБОВАНИЯ К КОДИРОВАНИЮ В ИМПУЛЬСНЫХ НЕЙРОННЫХ СЕТЯХ

Кодирование информации в импульсных нейронных сетях должно выполнять три основные функции: 1) быстро передавать информацию в вышележащие центры от места ее возникновения; 2) осуществлять позиционное кодирование, т.е. распознавание информации от различных входных объектов или информации от ее места расположения; 3) осуществлять кодирование интенсивностью входных воздействий.

Первое свойство реализуется нейронными сетями очень хорошо. Выполнение одновременно свойств 2), 3) не обеспечивается ни одним из известных методов кодирования. Кодирование в нервной системе является не стабильным и не надежным. Оно подвержено значительному влиянию шумов и нестабильности генерации импульсов. Ввиду нестабильности самих импульсных последовательностей, которая выражается в нестабильности межимпульсных интервалов, наличии пачек импульсов, также имеющих значительную нестабильность по межимпульсным интервалам в пачке, так и нестабильность по временным интервалам между пачками импульсов. Поэтому все известные методы кодирования импульсных последовательностей по любым параметрам этих последовательностей являются не стабильными и не надежными.

ПРЕДЛАГАЕМЫЙ СПОСОБ КОДИРОВАНИЯ ИНФОРМАЦИИ В ИМПУЛЬСНЫХ НЕЙРОННЫХ СЕТЯХ

В данной работе предлагается способ кодирования информации в ИМНС, учитывающий механизмы и свойства кодирования, достаточно полно отражающий возникающие при этом процессы. Единицей информации считается импульсная последовательность. Для сравнения, для бинарных нейронов МакКаллока–Питтса единицей информации является один пиксель изображения на экране монитора или 0 и 1 в бинарной импульсной последовательности на входе. Таким образом, входной объект определяется кластером импульсных последовательностей, генерируемых входным объектом, например, изображением на экране монитора.

Принципиальным является следующий вопрос: сохранится ли правильность распознавания при увеличении интенсивности входного сигнала, вызывающего изменения частоты импульсных последовательностей, идущих от объекта. При этом естественно допустить, что все частоты импульсных последовательностей изменяются синхронно при изменении интенсивности. Изменение частоты стимулов от их интенсивности описывается уравнением Фехнера $\frac{f}{{{{f}_{0}}}} = \ln \frac{I}{{{{I}_{0}}}},$ $\frac{T}{{{{T}_{0}}}} = {1 \mathord{\left/ {\vphantom {1 {\ln \frac{I}{{{{I}_{0}}}}}}} \right. \kern-0em} {\ln \frac{I}{{{{I}_{0}}}}}},$ где $I,f$ – интенсивность импульса и соответствующая частота; ${{I}_{0}},{{f}_{0}}$ – их начальные значения. Можно доказать используя неравенство Кронекера теории ППФ, что распознавание является топологически инвариантным относительно интенсивности входного сигнала. Поэтому полностью сохраняется базовое свойство безинерционного суммирования максимальных значений импульсных последовательностей. Сам процесс распознавания остается инвариантным относительно изменения интенсивности входного сигнала. В связи с этим предлагается метод кодирования, не имеющий перечисленных недостатков. Дадим более подробное пояснение. В бинарных нейронных сетях, использующих нейроны МакКаллока–Питтса, единицей информации входной бинарной последовательности является 1, отсутствие – 0. В данной работе для импульсных нейронных сетей предполагается в качестве единицы информации использовать всю импульсную последовательность (ИП).

Таким образом, ответом на один пиксель изображения является любая импульсная последовательность, имеющая “среднюю частоту” следования импульсов, пропорциональную интенсивности входного сигнала. Под средней частотой будем принимать величину ${{f}_{{{\text{ср}}}}} = \frac{N}{{\Delta t}} = \frac{N}{{{{t}_{2}} - {{t}_{1}}}},$ где $\Delta t = {{t}_{2}} - {{t}_{1}}$ – интервал, на котором производится расчет; $N$ – количество импульсов на этом интервале. В реальных физиологических условиях средняя частота пропорциональна интенсивности $\frac{I}{{{{I}_{0}}}}$ (нормирующий множитель) сигнала и изменяется по определенному закону, характеризуемому функцией $F$ ${{f}_{{{\text{ср}}}}} = F\left( {\frac{T}{{{{I}_{0}}}}} \right),$ где $F$ – заданная функция. Для многих физических систем $F(I) = \lg \frac{I}{{{{I}_{0}}}},$ т.е. зависимость имеет логарифмический характер. Таким образом, единицей информации является вся импульсная последовательность полностью, то есть наличие ИП это 1; отсутствие ИП это 0. Иллюстрация единицы информации для импульсных нейронных сетей показана на рис. 3.

Рис. 3.

Иллюстрация кодирования в импульсных нейронных сетях. Слева показана последовательность нулей и единиц, получаемая при развертке контурного изображения с экрана монитора, далее показана бинарная последовательность из 0 и 1, подаваемая на вход бинарной нейронной сети. Справа показано предлагаемое кодирование в виде полных импульсных последовательностей. Значению 1 при бинарном кодировании соответствует полная импульсная последовательность при импульсном кодировании, значению 0 соответствует отсутствие или нулевая импульсная последовательность.

Наглядное выполнение операций преобразования входного сигнала в виде совокупности импульсных последовательностей показано на рис. 4.

Рис. 4.

Наглядное выполнение операций преобразования входного сигнала в виде совокупности импульсных последовательностей с более подробным пояснением избирательных преобразований при образовании кластеров K₁, K₂, K₃.

ИССЛЕДОВАНИЕ МЕХАНИЗМА КОДИРОВАНИЯ В ВЫЧИСЛИТЕЛЬНОМ ЭКСПЕРИМЕНТЕ

Предлагаемый механизм кодирования в ИМНС был исследован в численном эксперименте в задачах распознавания входных объектов: букв и цифр. Распознавание букв было реализовано в учебной нейрообразовательной системе для избирательной нейронной сети. Было использовано распознавание букв L, T, X, формируемых на экране монитора 3 × 3. Было использовано 3 варианта различных периодов импульсной активности отдельных пикселей на экране. В одном из вариантов задания периодов импульсной активности изменялась интенсивность входных сигналов, что на основании закона Вебера–Фехнера должно было приводить к пропорциональному изменению периодов импульсной активности пикселей. Периоды импульсной активности менялись в соотношении: 0.5, 0.7, 1.0, 1.5. Результаты вычислительного эксперимента показаны на рис. 5.

Рис. 5.

Суммирование и нелинейное преобразование импульсных последовательностей при распознавании входных объектов и изменении интенсивности входных сигналов, приводящих к изменению частоты следования импульсов.

ЗАКЛЮЧЕНИЕ

Из приведенных результатов вычислительного эксперимента видно, что изменения интенсивности входного сигнала и синхронное изменение периодов следования импульсных последовательностей, генерируемых пикселями, не приводит к срыву распознавания входных объектов, а приводит лишь к увеличению частоты следования импульсов на выходе регистрирующего нейрона.