Доклады Российской академии наук. Математика, информатика, процессы управления, 2020, T. 490, № 1, стр. 74-77

ВВЕДЕНИЕ

Искусственные нейронные сети являются эффективным инструментом для решения различных задач анализа данных. Возможность с их помощью распознавать/аппроксимировать сложные нелинейные зависимости в данных убедительно подтверждена практикой. В качестве теоретической основы здесь выступают результаты об универсальных аппроксимативных свойствах нейронных сетей [1, 2]. В алгебраическом подходе аналогом является свойство полноты семейства алгоритмов, см. [3].

В настоящей работе дано теоретическое обоснование другого важного и реально используемого свойства функций, получаемых в результате аппроксимации точечных или дискретных данных посредством нейросетей – возможности получать информацию об исследуемом объекте, анализируя структуру линий уровня и/или индексы критических точек аппроксимирующей функции. Примером реализации такого подхода в задачах анализа изображений является [4].

Свойство дифференцируемой функции нескольких переменных (или функции на многообразии) быть функцией Морса обеспечивает регулярное строение ее линий уровня, их перестройка при прохождении критического уровня подчинена определенным правилам, а в количестве и индексах критических точек содержится важная информация, см., например, [5]. В смысле своих качественных свойств, т.е. с точностью до диффеоморфизмов области определения и интервала значений, функция Морса является дискретным объектом и поддается анализу алгебраическими методами, см. [3]. Так, на сфере ${{S}^{2}}$ имеется 17 746 топологически различных функций Морса с 4 седлами [6]. Для применения в прикладных задачах, где пространство всевозможных функций описывается конечным (возможно, как в случае глубоких нейронных сетей, очень большим) числов параметров, важно иметь уверенность в том, что в данном пространстве дополнение к функциям Морса имеет нулевую меру. Практически это будет означать, что при решении реальной задачи функции, получаемые на всех шагах так называемого обучения нейронной сети, будут функциями Морса.

В данной работе получено условие на архитектуру нейронной сети, при котором для почти всех наборов параметров реализуемое сетью отображение будет функцией Морса. Смысл условия в том, что в сети не должно быть узких горловин (bottleneck) – когда в каком-то слое количество нейронов строго меньше, чем в слоях до и после. Сети с горловиной используются в специальных целях – как автокодировщики, см. [7, гл. 14]. Сети без горловин являются обычной практикой, для них выполняются теоремы об универсальной аппроксимации.

Близким к доказанному результату является утверждение, что почти все (в смысле меры Лебега в пространстве коэффициентов) многочлены нескольких переменных являются функциями Морса [8, 9].

1. ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ, ТЕРМИНОЛОГИЯ

2. НЕЙРОННАЯ СЕТЬ БЕЗ УЗКИХ ГОРЛОВИН ПОЧТИ НАВЕРНОЕ ЯВЛЯЕТСЯ ФУНКЦИЕЙ МОРСА

Теорема. Пусть $x \in U \subset {{\mathbb{R}}^{n}}$, $w \in W \subset {{\mathbb{R}}^{p}}$, U, W – области соответственно в пространстве признаков и пространстве весов, $f{\kern 1pt} :\;U \times W \to \mathbb{R}$ – нейронная сеть с произвольным количеством слоев и нейронов в слоях, функциями активации $\varphi $ типа сигмоидной и условием, что в ней нет промежуточного слоя, количество нейронов в котором строго меньше, чем в некоторых слоях выше и ниже его по ходу распространения сигнала. Входной вектор в данном случае считается слоем с количеством нейронов, равным размерности пространства признаков. Тогда для почти всех наборов весов w сеть $f(x,w)$ является функцией Морса.

Доказательство. Пусть $w_{{ki}}^{j}$ – вес j-го нейрона $k$-го слоя, соответствующий i-му нейрону предшествующего слоя, при i = 0 это порог. По правилу дифференцирования сложной функции, производная $\frac{{\partial f(x,w)}}{{\partial x}}$ представляется в виде произведения нескольких (по числу слоев) матричных сомножителей вида $\Psi ({{s}_{{(t)}}}){{W}_{{(t)}}}$, где t – номер слоя, ${{W}_{{(t)}}}$ – матрица весов этого слоя (без порогов), $\Psi ({{s}_{{(t)}}}) = {\text{diag}}(\varphi {\text{'}}(s_{{(t)}}^{j}))$ – диагональная матрица с положительными элементами, зависящими через свои непосредственные аргументы $s_{{(t)}}^{j}$ от аргумента x и весов текущего и предшествующих, но не последующих слоев сети:

Крайний левый сомножитель, соответствующий выходному нейрону сети, является строкой.

Множество $\mathbb{W}$ таких наборов весов $w$, что все матрицы ${{W}_{{(k)}}}$, $k = 1,2,\; \ldots ,\;L$, имеют полный ранг, является в пространстве весов дополнением к объединению конечного числа многообразий меньшей размерности ([10, теорема 17.3]), т.е. множеству меры ноль. При этом $\mathbb{W}$, как и сами матрицы ${{W}_{{(k)}}}$, не зависит от x. Далее рассмотрение производится поочередно для каждой из компонент $\mathbb{W}$.

Пусть ${{A}_{{(k)}}}(x,w) = \Psi ({{s}_{{(k)}}}){{W}_{{(k)}}}$. Рассмотрим малую вариацию весов k-го слоя. Для порогов

где и многоточием обозначены предшествующие (по ходу сигнала в сети) члены, которые не зависят от весов текущего слоя. Аналогично для производных по весам из матрицы ${{W}_{{(k)}}}$где $E_{i}^{j}$ – матрица, в которой элемент $(i,j)$ равен единице, а остальные нулю. Отсюда следует, что используя различные вариации весов k-го слоя, можно получать возмущения градиента сети вида где Z – произвольная матрица соответствующего размера (здесь учтено, что $\Psi ({{s}_{{(k)}}})$ всегда обратима).

Лемма 1. Матричное уравнение

где D – положительная диагональная матрица и все размеры матриц считаются согласованными, разрешимо относительно X, Y для тех и только тех C, которые, рассматриваемые как линейные отображения, отображают ядро $B$ в образ A.

Утверждение следует из [11], см. также [12, теорема 8.6.1.1].

Далее полагая последовательно $k = L,L - 1$, ..., 1, рассмотрим произведения ${{A}_{{(L)}}}(x,w)$ … ${{A}_{{(k)}}}(x,w)$ на предмет эпиморфности производной по w. При k = L она имеет место. При домножении на каждую очередную матрицу ${{A}_{{(k - 1)}}}$ могут представиться следующие случаи:

1. $\prod\limits_{j = k, \ldots L} {{{A}_{{(j)}}} \ne 0} $ и горизонтальный размер матрицы ${{A}_{{(k - 1)}}}$ не меньше вертикального. Тогда из элементарных соотношений для рангов $\prod\limits_{j = k - 1, \ldots L} {{{A}_{{(j)}}} \ne 0} $ и из леммы 1 возмущениями весов слоев с k – 1 по L можно получить произвольное возмущение результата, т.е. эпиморфность сохраняется.

2. $\prod\limits_{j = k, \ldots L} {{{A}_{{(j)}}} \ne 0} $ и горизонтальный размер матрицы ${{A}_{{(k - 1)}}}$ меньше вертикального. Тогда из леммы 1 эпиморфность сохраняется, но может оказаться, что $\prod\limits_{j = k - 1, \ldots L} {{{A}_{{(j)}}} = 0} $.

3. $\prod\limits_{j = k, \ldots L} {{{A}_{{(j)}}} = 0} $ и горизонтальный размер матрицы ${{A}_{{(k - 1)}}}$ не больше вертикального. Тогда эпиморфность сохраняется и $\prod\limits_{j = k - 1, \ldots L} {{{A}_{{(j)}}} = 0} $.

4. $\prod\limits_{j = k, \ldots L} {{{A}_{{(j)}}}} $ = 0 и горизонтальный размер матрицы ${{A}_{{(k - 1)}}}$ больше вертикального. Тогда $\prod\limits_{j = k - 1, \ldots L} {{{A}_{{(j)}}}} $ = 0 и образ производной совпадает с линейной оболочкой строк матрицы ${{A}_{{(k - 1)}}}$, т.е. эпиморфность нарушается.

Следовательно, для того чтобы эпиморфность производной по весам не имела места, необходимо и достаточно, чтобы сначала встретился случай типа 2, и затем типа 4. Так происходит в точности в тех случаях, когда в сети имеется узкая горловина.

Лемма 2. Пусть U, W – области соответственно в ${{\mathbb{R}}^{n}}$ и ${{\mathbb{R}}^{p}}$, $p \geqslant n$, $f(x,w)$ – дифференцируемая функция, $f{\kern 1pt} :\;U \times W \to \mathbb{R}$. Обозначим f_w(x) = = $f(x,w)$, ${{f}_{w}}{\kern 1pt} :\;U \to \mathbb{R}$, $d{{f}_{w}}{\kern 1pt} :\;U \to {{\mathbb{R}}^{n}}$ – ее производная по x,

и $F(x,w) = d{{f}_{w}}(x)$, $F{\kern 1pt} :\;U \times W \to {{\mathbb{R}}^{n}}$. Пусть известно, что в любой точке $(x,w)$ производная от F по w является сюрьекцией. Тогда для почти всех $w$ (в смысле обычной меры Лебега в ${{\mathbb{R}}^{p}}$)  f_w является функцией Морса.

Доказательство леммы может быть выведено из [13, теорема 1.2.4].

Доказательство теоремы заканчивается применением леммы 2 с учетом того, что для нейронной сети всегда p > n.

Следующий пример показывает, как наличие горловины в сети связано с ее дифференциальными свойствами как отображения.

Контрпример. Рассмотрим сеть архитектуры 2-1-2-1:

Поскольку при преобразовании в первом слое размерность входного вектора понижается, все критические точки f, если они есть, будут вырожденными. Пусть функция активации $\varphi $ сигмоидная, и рассмотрим набор весов: ${{w}_{0}} = 0$, ${{w}_{1}} = 1$, ${{w}_{2}}$ = 0, $\tilde {w}_{0}^{1} = - 10$, $\tilde {w}_{1}^{1} = 1$, $\tilde {w}_{0}^{2} = 10$, $\tilde {w}_{1}^{2} = - 1$, ${{\hat {w}}_{0}} = 0$, ${{\hat {w}}_{1}} = 1$, ${{\hat {w}}_{2}} = 1$. Точка $x = (0,0)$ является локальным минимумом, который устойчив, т.е. существует и мало меняется при произвольных малых возмущениях всех весов. Следовательно, в пространстве весов существует множество положительной меры такое, что все соответствующие сети имеют вырожденную критическую точку.

Далее, если убрать один слой со стороны входа, т.е. взять 1-2-1-сеть, то она почти для всех весов будет функцией Морса, и при этом для множества весов положительной меры будет иметь критические точки.

Если убрать еще один слой, то полученная 2-1-сеть для всех ненулевых наборов весов будет иметь только регулярные значения.

ЗАКЛЮЧЕНИЕ

Топологический анализ данных существенно использует алгебраические методы для исследования многомерных данных. Полученный в данной работе результат показывает, что наряду с подходом, основанным на вычислении устойчивых (persistent) гомологий клеточных комплексов [14], для этих целей применимы и могут быть полезны также методы дифференциальной топологии. Искусственные нейронные сети наиболее распространенной архитектуры почти наверное (т.е. при решении практических задач всегда) удовлетворяют условиям применимости таких методов, что открывает некоторые новые возможности для применения алгебраического подхода в задачах анализа данных.