Микроэлектроника, 2020, T. 49, № 6, стр. 459-473
Концепция пятен для задач искусственного интеллекта и алгоритмов нейроморфных систем
Н. А. Симонов *
Физико-технологический институт им. К.А. Валиева Российской АН
117218 Москва, Нахимовский просп., д. 36, корп. 1, Россия
* E-mail: nsimonov@ftian.ru
Поступила в редакцию 02.03.2020
После доработки 27.04.2020
Принята к публикации 27.04.2020
Аннотация
Представлена концепция и основа аппарата нового математического объекта – пятен, которая базируется на концепции вторичных образов в психологии и соответствует представлению о размытых геометрических фигурах. Так как вторичные образы являются смысловыми образами, то пятна представляются адекватным математическим объектом, перспективным для решения задач искусственного интеллекта, включая отображение знаний и моделирование процессов человеческого мышления. Рассмотрена возможная архитектура построения нейронных сетей нового типа, с использованием введенных понятий элементарного отношения пятен, а также векторов и матриц, элементами которых являются элементарные отношения пятен. Также предложен вариант воплощения новой математической модели на аппаратном уровне для создания нейроморфных систем, построенных на новой перспективной компонентной базе мемристоров и FeFET, которые обладают свойствами элементов с энергонезависимой памятью, очень малыми потерями при переключении и более быстрыми чтением-записью. Предлагаемая концепция представляется важной как в теоретическом аспекте, как раздел Qualitative Mathematics, так и для ее применения во многих областях ИИ.
1. ВВЕДЕНИЕ
В настоящее время одним из главных направлений информационных технологий является создание методов обработки больших массивов данных – технологии Больших Данных (Big Data) [1], которые включают категории как структурированных, так и неструктурированных данных [2, 3]. Наиболее сложной проблемой в области Больших Данных в настоящее время является область неструктурированных данных, обработка которых включает их интеллектуальный анализ (data mining) и интеллектуальный анализ текста (Natural Language Processing) [4]. При этом наиболее важной и трудной проблемой является выделение смыслового компонента, что также является одной из главных задач искусственного интеллекта (ИИ) [5]. Поэтому, создание математической теории, способной отображать (моделировать) и обрабатывать смысловое содержание информации, является весьма важной задачей ИИ и информационных технологий (ИТ).
Начиная с 1980 г., автор разработал оригинальные концепцию и математическую модель, адекватные задаче отображения и обработки качественной (не числовой) информации любого уровня, включая предельно низкий уровень сведений. Основная идея, положенная в основу данной теории, заключается в том, что, даже если получаемые сведения малозначимые, интеграция их большого массива может дать достаточно четкое представление об интересующем объекте. В пределе синтез информации низкого уровня может привести к выявлению даже количественных данных об объекте исследования. Это представление находится в полном согласии с пониманием процесса человеческого познания и, в частности, с работой археологов, палеонтологов, следователей и аналитиков.
Рассматриваемая теория опирается на концепцию образов различных объектов и понятий в психологическом восприятии и мышлении человека (см., например, [6–8]).Она исходит из представления о мысленных и чувственных образах, хранящихся в памяти человека, на базе которых осуществляется мышление, как в сознании, так и в подсознании [8]. Можно также дать определение и духовным образам, которые имеют как мысленную, так и чувственную составляющие. Однако следует уточнить, что мышление использует не образы сенсорного восприятия, так называемые “первичные” образы, а “вторичные”, т. е. смысловые образы [8]. Смысловые образы не связаны с непосредственным восприятием визуальных образов, звуков или запахов, а обуславливают понимание смысла.
Создание любого смыслового образа связано с пониманием какого-то объекта или явления, при этом:
• каждому понятию соответствует смысловой образ,
• каждому слову соответствует смысловой образ (или несколько, для многозначных слов, таких как ключ и т.п.),
• каждой фразе соответствует смысловой образ или несколько образов,
• текст книги или статьи формирует систему смысловых образов.
Мы исходим из концепции смысловых образов, которые обладают элементарными пространственными свойствами, и их можно отобразить в виде некоторых пространственных объектов с нечеткими или размытыми формами. Интуитивно, геометрическое представление о смыслах отражено в естественном языке. Например, мы говорим о гранях и разных сторонах предмета рассмотрения, о точках зрения, об области знаний, о близости понятий, о связи понятий, или о том, что рассматриваемые понятия не связаны, из разных областей, выражения типа “разложить по полочкам” и т.д. Очевидной геометрической аналогией отношения между общим и частным понятиями является отношение между фигурой и ее частью: более общие понятия включают в себя частные понятия. Это соответствует термину “таксономия” в биологии: например, класс лучеперых рыб является частью царства животных, но делится на отряды, семейства, роды и виды рыб. Аналогично, таксономия понятий вводится и в области искусственного интеллекта (ИИ) [5, с. 440].
Следует отметить, что даже сложные понятия смыслового содержания разговорной речи или текста могут иметь простую геометрическую интерпретацию. Например, зависимость смысла повествования от контекста аналогична тому, что одинаковые геометрические фигуры могут иметь различное положение в пространстве. Тогда смысл конкретного высказывания определяется не только “формой фигуры”, но и ее окружением в образном пространстве, т.е. “в контексте”.
Исходя из указанных представлений, предлагается моделировать смысловые образы в виде нечетких (размытых) геометрических фигур. Множество таких образов можно описать как “смысловое пространство”, что в психологии соответствует концепции “образной сферы человека” [8]. С другой точки зрения, структурированную систему образов можно рассматривать как “таксономию смыслов”, т.е. систематизированное и классифицированное множество смысловых образов.
Несомненно, существующая четкая геометрия, основанная на идее непрерывности, неадекватна для такого моделирования. Действительно, фигуры в “четкой геометрии” рассматриваются как бесконечные множества точек, и для их описания, в общем случае, требуется бесконечно большая информация. Поэтому, возникает необходимость разработки нового математического аппарата, – нечеткой геометрической теории, объекты которой, “пятна”, содержат конечную информацию. В рамках такой теории можно моделировать человеческое мышление и ставить задачу не только распознавания образов, но и распознавания смыслов.
Предлагаемая теория оказалась идеологически очень близкой направлению качественной физики, а также качественной математики, называемой мереотопологией (mereotopology), идея которой была заложена еще Whitehead в 1929 г. [9–12]. Задачей вычислительной мереотопологии также является обработка качественной информации о пространственных объектах, однако, есть и разница в рассматриваемых подходах. Мереотопология в качестве объектов рассмотрения использует области, которые, по сути, являются четкими геометрическими объектами, а пятна – это изначально размытые объекты. Кроме того, цель мереотопологии – ее применение в задачах computer vision “qualitative spatial vision”, а главной целью модели пятен является моделирование познания и мышления. Однако, имеющая схожесть в идеологии дает возможность сравнения и изучения уже наработанного математического аппарата мереотопологии, а также опыта ее применения в области ИИ.
2. КОНЦЕПЦИЯ ПЯТЕН
2.1. Интуитивное определение пятен
Как отмечалось выше, мы назвали размытые геометрические объекты, с помощью которых можно моделировать смысловые образы – пятнами. Разрабатываемая теория пятен позволяет отображать и обрабатывать любую качественную информацию, включая смысловые образы. Пятно – это математический объект, обладающий элементарными пространственными свойствами и изначально неопределенной формой. Неопределенными также являются и свойства пространства, в котором располагается пятно, например, его размерность или кривизна. Предполагается, что существует единственная возможность увеличения четкости пятна и знания свойств его окружающего пространства, используя информацию о его отношениях с другими, “известными” пятнами. Для полноты модели необходимо также ввести и “нулевые пятна”, занимающие нулевые области пространства, что соответствует факту их отсутствия.
В описании отношений между пятнами не используются действительные числа как величины, несущие бесконечно большую информацию. Вместо этого теория учитывает такую качественную информацию, как элементарные отношения между пятнами, например, их пересечение, включение и раздельность. Предполагается что, обработка достаточно большого объема качественной информации позволит извлекать даже численную информацию, поэтому четкие геометрические объекты будем считать предельным случаем пятен.
Чтобы проиллюстрировать последнее утверждение, рассмотрим следующий пример. Представим, что есть неизвестная нам четкая фигура, лежащая на плоскости, и мы хотим реконструировать ее форму. При этом единственная информация, которую мы можем получить – это сведения об ее элементарных отношениях с другими, известными фигурами на этой плоскости, т.е. для каждого тестирования с помощью известных фигур мы можем получить только ответ на вопрос: она пересекается, расположена вне или внутри объекта реконструкции? Отметим, что в любом случае нельзя получить подробных сведений о пересечении или раздельности фигур. Однако, последовательное накопление таких низко-информативных данных позволяет последовательно уточнять форму и границы исследуемого объекта. Может показаться удивительным, но в пределе бесконечно большого количества таких “малозначительных” сведений можно реконструировать объект с абсолютной точностью. Нетрудно показать, что алгоритм реконструкции формы (размытой) границы $\Gamma $ такой неизвестной фигуры можно, например, определить следующей формулой:
(1)
$\Gamma = \left( {\bigcup\limits_{i,j} {{{a}_{{i~}}},{{b}_{j}}} } \right)\backslash \bigcup\limits_j {{{b}_{j}}} \backslash \bigcup\limits_k {{{c}_{k}}} ,$$\left\{ {{{a}_{i}}} \right\}$ – множество четких фигур, пересекающихся с исследуемой фигурой;
$\left\{ {{{b}_{i}}} \right\}$ – множество четких фигур, раздельных с исследуемой фигурой;
$\left\{ {{{c}_{i}}} \right\}$ – множество четких фигур, которые полностью располагаются внутри (покрыты) исследуемой фигурой.
Следует еще раз подчеркнуть, что мы рассматриваем пятна не как множества точек, как это принято в геометрии и топологии, а как объекты, обладающими пространственными свойствами, но с размытыми границами. С другой стороны, пятна можно интерпретировать как множества с неопределенными или неизвестными элементами. Концепция пятен также отличается от концепции нечеткого множества (fuzzy set), для которого элементы определены, но их принадлежность к нечеткому множеству является неполным и определяется функцией принадлежности$~{{f}_{A}}\left( x \right)$ [13].
Наглядное сравнение концепций пятен, множества и нечеткого множества можно осуществить с помощью диаграмм Эйлера–Венна [14] (рис. 1). Заметим, что изображения множеств и элементов множеств на этих диаграммах можно также рассматривать как образы пятен. Рис. 1а иллюстрирует связь концепций множества и пятен, а рис. 1б – связь концепций нечеткого множества и пятен. Здесь пятно, соответствующее множеству или нечеткому множеству, включает в себя или пересекается с пятнами, отображающими их элементы.
2.2. Определение логических L4 чисел
Построение рассматриваемой математической модели будем основывать на использовании информации о логической связи между пятнами, которая определяется фактом наличия или отсутствия общего между ними. Если такая связь существует, она описывается логической 1, если связи нет, то – логическим 0. Однако, как показывает приведенный пример с четкими фигурами, такой информации недостаточно для восстановления формы пятна. Для этой цели необходимо определить и различать более конкретные элементарные отношения пятен – например, пересечение, раздельность (отсутствие связи) или включение (покрытие) одного пятна другим. Для получения выражения этих отношений через логическую связь, мы должны предположить, что для любого пятна $~a$ одновременно имеется и пятно $\bar {a}$ (т.е. “не $a$“), которое соответствует его окружению. Заметим, что если окружение пятна отсутствует, т.е. $\bar {a}$ является нулевым пятном, то это означает, что пятно $a$ соответствует всему пространству.
Элементарные отношения пятен $a,b,$ которое будем обозначать символом $\left\langle {a} \mathrel{\left | {\vphantom {a b}} \right. \kern-0em} {b} \right\rangle ,$ можно описать с помощью 2 × 2 таблицы, составленной из логических связей $ab,$ $a\bar {b},$ … между ними и их окружениями и $\bar {b}{\text{:}}$
(2)
$\left\langle {a} \mathrel{\left | {\vphantom {a b}} \right. \kern-0em} {b} \right\rangle \equiv \left[ {\begin{array}{*{20}{c}} {ab}&{a\bar {b}} \\ {\bar {a}b}&{\bar {a}\bar {b}} \end{array}} \right].$Определенные таким образом логические таблицы, которые в дальнейшем, будем называть L4 числами, позволяют различать 16 различных элементарных отношений между пятнами. Примеры описания элементарных отношений с помощью L4 чисел показаны ниже в табл. 1. В предлагаемой концепции элементарные отношения пятен рассматриваются как базовая информация о пятнах, с помощью которой можно получать информацию более высокого уровня, включая численную.
Таблица 1.
Пример элементарных отношений пятен
| Элементарные отношения: | $\left\langle {a{\kern 1pt} {\kern 1pt} {\text{|}}b} \right\rangle $ |
|---|---|
| Пересечение, $a > < b$ | $\left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&1 \end{array}} \right]$ |
| Раздельность, $a < > b$ | $\left[ {\begin{array}{*{20}{c}} 0&1 \\ 1&1 \end{array}} \right]$ |
| Включение, $a > b$ | $\left[ {\begin{array}{*{20}{c}} 1&1 \\ 0&1 \end{array}} \right]$ |
| Включение, $a < b$ | $\left[ {\begin{array}{*{20}{c}} 1&0 \\ 1&1 \end{array}} \right]$ |
| Неразличимость, $ \equiv $ | $\left[ {\begin{array}{*{20}{c}} 1&0 \\ 0&1 \end{array}} \right]$ |
Систему пятен с определенными на них элементарными отношениями можно представить в виде графа, в котором вершины соответствуют рассматриваемым пятнам, а ребра – связям между пятнами, которые описываются L4 числами. Отношения между пятнами можно иллюстрировать также с помощью диаграммы Эйлера–Венна (рис. 2а).
Рис. 2.
Диаграммы Эйлера–Венна для отношений между пятнами: а – определение элементарного отношения пятен; б – иллюстрация структурного отношения пятен: множество окружностей является символическим изображением базиса пятен, которые в общем случае могут пересекаться; однако в частном случае базис может быть и атомарным (см. п. 2.7).
Отметим, что в mereotopology, а более точно, в ее разделе Region-Connection Calculus (RCC) [10, 11], между областями, являющимися четкими пятнами, также вводятся отношения. Эти отношения, по сути, идентичны определенным выше элементарным отношениям для пятен. Например, отношения между областями – overlapping, disconnection и part соответствуют отношениям пятен – пересечения, раздельности и включения. Более того, рассматриваемая аналогия заключается еще и в том, что определения отношений в RCC базируется на концепции connection, которая соответствует концепции связи в модели пятен. Однако, математические определения отношений в mereotopology существенно другие, так как эта теория рассматривает области как подмножества непрерывного топологического пространства. Кроме того, часть отношений, определяемых в модели пятен и mereotopology не совпадает, также разным является и общее количество отношений: в представляемой здесь модели пятен их 16, а RCC определяет 8 отношений между областями.
2.3. Отображения пятен
Множество “известных” пятен, которые могут иметь любые взаимные отношения, будем называть базисом пятен. Можно получить информацию о других, “исследуемых” пятнах, используя их элементарные отношения с пятнами базиса. Совокупность таких элементарных отношений будем называть отображением или образом исследуемого пятна на этом базисе. Заметим, что образ пятна на базисе аналогичен понятиям проекции на плоскость или сечению плоскостью трехмерных геометрических фигур. Эта аналогия позволяет более ясно осознать факт, что отображение пятна обычно соответствует неполной информации о нем.
Очевидно, что на разных базисах отображения пятна будет разным. С другой стороны, можно рассматривать пятно как некий “объемный” объект, проекции которого на базисы соответствуют этим изображениям. Такой подход имеет аналогию с такими понятиями человеческого интеллекта как “субъективный взгляд”, “точка зрения”, “с одной стороны … с другой стороны” и т.д. Очевидно, что синтез образов пятна на различных базисах приводит к увеличению информации о пятне.
Отметим, что понятие отображения пятна аналогично изображению физических тел с помощью какой-либо системы визуализации, например, оптической или радиолокационной. В любом случае, полученное изображение имеет конечное разрешение и несет неполную информацию о форме объекта. Аналогия здесь состоит и в том, что изображение тела можно сформировать как объединение пятен, в роли которых выступают пересекающиеся образы функций рассеяния точки, характеризующих систему визуализации. Наконец, изображение физического тела можно получить с помощью базисных функций, как это производится, например, в области численных методов электродинамики [15]. В последнем случае система базисных функций аналогична системе базисных пятен, и ортогональность базисных функций аналогична раздельности базисных пятен.
Концепция отображения пятен также имеет аналогию с понятием проекции вектора и важна как для определения внутренней структуры пятна, так и структуры окружения пятен. Например, используя отображения в разных (непересекающихся) пространствах пятен, можно сформировать новое пятно, что аналогично построению точки по ее координатам или реконструкции трехмерного изображения на основе его проекций и сечений. В результате можно считать, что сформированное пятно будет иметь большую эффективную размерность, чем его проекции.
Интересно отметить существующий дуализм, или симметрию, в концепции отображения пятен. Например, совокупность базисных пятен, являющихся частями рассматриваемого пятна (“внутренний базис”) формируют его отображение. С другой стороны, базис пятен, раздельных с рассматриваемым пятном (“внешний базис”) формирует другое его отображение. При этом возможны реконструкция границы пятна как с помощью внутреннего базиса, так и с помощью внешнего базиса.
2.4. Неразличимость пятен
Другой важной концепцией в рассматриваемой теории является неразличимость пятен. Два пятна считаются неразличимыми относительно некоторого базиса пятен, если их элементарные отношения с каждым из пятен базиса совпадают. Другими словами, два пятна неразличимы на базисе, если их отображения на этом базисе одинаковы. Заметим, что неразличимость, в отличие от равенства, является относительным понятием и может быть обусловлена недостатком информации о пятне. Например, в оптике аналогией неразличимости пятен является неразличимость мелких предметов в не сфокусированном изображении. Заметим, что относительно выбранного базиса, пятно может быть неразличимым с бесконечным количеством четких фигур.
Можно сделать следующие простые выводы из понятия неразличимости пятен.
1) Неразличимые пятна на одном базисе могут оказаться различимыми на другом базисе.
2) Если к базису, на котором исследуемые пятна различимы, добавить дополнительные пятна, то на новом базисе исследуемые пятна могут стать различимыми.
3) Если два пятна различимы на некотором базисе, то удаление из базиса некоторых пятен, может привести к неразличимости образов этих пятен на новом базисе.
Эти свойства пятен находятся также в согласии с общим пониманием, что неразличимость двух объектов часто связана с недостатком информации о них, но при получении дополнительных сведений, они могут стать различимыми. Это можно проиллюстрировать на многих примерах из практики в разных областях. Например, ошибка в выборе обвиняемого может объясняться недостатком собранной информации и улик для того, чтобы различить “образы” неизвестного преступника и конкретного подозреваемого. Конечно, эту проблему можно решить, если провести дополнительное расследование.
2.5. Векторное представление пятен
В рассматриваемой теории элементарные отношения пятен аналогичны скалярному произведению обычных векторов, где вместо базисных векторов или базисных функций используется множества базисных пятен. Тогда, как это отмечалось выше, отношение раздельности для базисных пятен аналогично ортогональности базисных векторов или функций. Координатное представление векторов пятна строится с помощью L4 чисел, соответствующих его элементарным отношениям с базисными пятнами, что является математическим представлением отображения пятна на этом базисе.
Для построения аппарата пятен можно использовать аналогию с матричной алгеброй или линейной алгеброй, где вместо действительных чисел используются L4 числа для записи L4 векторов и L4 матриц. Например, образ пятна $a$ можно представить в виде вектора $a$ с L4 координатами, соответствующим его элементарным отношениям с базисными пятнами $\left\{ {{{u}_{i}}} \right\}{\text{:}}$
(3)
$a = \left[ {{{\alpha }_{1}};~{{\alpha }_{2}}; \ldots ~;~{{\alpha }_{n}}} \right],\,\,\,\,{\text{где}}\,\,\,\,{{\alpha }_{i}} = \left\langle {a} \mathrel{\left | {\vphantom {a {{{u}_{i}}}}} \right. \kern-0em} {{{{u}_{i}}}} \right\rangle .$Здесь символом “;” обозначено расположение элементов L4 вектора в виде столбца.
Применение диаграмм Эйлера–Венна показывает возможный путь обобщения понятия элементарного отношения для пятен (2). Действительно, рис. 2а демонстрирует, что L4 числа содержат информацию только о существовании или отсутствии частей A, B, C пятен $a$ и $b,$ образующихся при их пересечении, и об их окружении D. Поэтому элементарное отношение (2) можно записать в следующем символичном виде:
(4)
$\left\langle {a} \mathrel{\left | {\vphantom {a b}} \right. \kern-0em} {b} \right\rangle = \left[ {\begin{array}{*{20}{c}} C&A \\ B&D \end{array}} \right],$Для L4 векторов $a,b$ пятен $a$ и $b$ можно определить два типа произведения векторов.
а. Скалярное произведение L4 векторов, в результате которого получается L4 число $c{\text{:}}$
(5)
$c = \left( {a,b} \right) \equiv ~{{\alpha }_{1}} \cdot {{\beta }_{1}} + {{\alpha }_{2}} \cdot {{\beta }_{2}} + \ldots + {{\alpha }_{n}} \cdot {{\beta }_{n}}$б. Поэлементное (Адамара) произведение L4 векторов, в результате которого получается L4 вектор $c{\text{:}}$
(6)
${\mathbf{c}} = {\mathbf{a}} \odot {\mathbf{b}} = \left[ {{{\alpha }_{1}} \cdot {{\beta }_{1}};~{{\alpha }_{2}} \cdot {{\beta }_{2}}; \ldots ;{{\alpha }_{n}} \cdot {{\beta }_{n}}} \right].$Поэлементное произведение L4 векторов (6) назовем “структурным” произведением, так как с помощью него можно определить L4 векторы для частей $A,B,C~$ и $D$ на рис. 2б, что определяет структуру отношения между пятнами $a$ и $b.$ Из сравнения определений (5) и (6) видно, что L4 число $c$ (5) равно сумме компонент вектора $c$ (6).
Конечно, для возможности расчетов с использованием формул (5), (6) необходимо ввести правила для произведения и суммы L4 чисел. Однако существуют трудности для их определения в общем случае, которые связаны, например, с неоднозначностью искомого отношения пятен, если использовать L4 числа, заданные только на одном базовом пятне. Однозначный результат произведения может быть получен только при использовании совокупности базовых пятен. Поэтому, формулирование правил операций для L4 не является тривиальной задачей и для ее решения требуются дополнительные исследования.
2.6. Определение и применение L4 матриц
Мы определим L4 матрицу по аналогии с числовой матрицей, но имеющей матричные элементы в виде L4 чисел. Такие матрицы могут применяться для пересчета вектора пятен, отображенных на одном базисе к вектору отображения этих же пятен на другом базисе. Для этого строки L4 матрицы должны соответствовать векторному представлению элементов “второго” базиса, отображенных на “первом” базисе. Таким образом, L4 матрицы позволяют производить отображение пятна на второй базис, если известно его отображение на первом базисе. Введенная L4 матрица также позволяет моделировать перемещение, вращение и деформацию “формы” пятна или переносить образ пятна в другое пространство. В частном случае, если первый и второй базисы совпадают, L4 матрица будет выражать попарно элементарные отношения между всеми пятнами базиса.
Трансформации пятна с помощью L4 матрицы аналогичны линейным преобразованиям трехмерных тел с помощью умножения матрицы на вектор, что позволяет использовать понятийный аппарат матричной алгебры. Однако существенным отличием преобразования с помощью L4 матриц является то, что оно, в общем случае, не является линейным, что определяется свойствами логических функций.
Заметим, что роль L4 матрицы аналогична роли функции отображения данных между слоями нейронной сети в deep learning, которая включает как линейную (матричную) часть преобразования входных сигналов, так и нелинейную часть (функцию активации) [16]. Нелинейность преобразования с помощью L4 матрицы позволяет применять ее в нейронных сетях без дополнительного использования функции активации.
Используя введенные в предыдущем разделе правила произведения L4 векторов, можно определить два типа произведения L4 матрицы на L4 вектор. Первый тип определим в соответствие с правилами произведения числовых матриц и вектора, результатом которого является L4 вектор:
Второй тип произведения L4 матрицы на L4 вектор, который опирается на формулу (6), назовем структурным произведением, в результате которого получается новая L4 матрица ${\mathbf{M}}{\text{:}}$
Отметим, что кроме указанных выше применений, с помощью L4 матриц можно также решать и другие задачи теории, например:
– реконструкция пятна по его образам,
– решение обратных задач матричного уравнения для пятен.
2.7. Базис атомарных пятен
Рассмотрим простейший случай базиса, когда базисные пятна не пересекаются друг с другом и с другими пятнами. Между собой такие базисные пятна могут находиться только в отношениях неразличимости или раздельности, а с другими пятнами – в отношениях включения, неразличимости или раздельности. Назовем такие пятна “атомарными” и отметим, что относительно указанных отношений они аналогичны точкам, пикселям (для двухмерных моделей) или вокселям (для трехмерных моделей). Базис из атомарных пятен также будем называть атомарным. В этом случае задача восстановления структуры пятна по ее элементарным отношениям с другими пятнами может быть решена методом, рассмотренным в примере п. 2.1, т.е. с использованием формулы (1). Заметим, что в качестве приближения атомарного базиса можно использовать базис частей пересечения пятен (рис. 3), которые являются ортогональными.
Рис. 3.
Диаграмма Эйлера–Венна, иллюстрирующая базис пересекающихся пятен. Совокупность частей пятен, образующихся при пересечении, формирует ортогональный базис, который можно использовать в качестве приближения атомарного базиса.
В случае атомарного базиса элементарные отношения пятен a и b будут однозначно определяться отношениями $\left\langle {a} \mathrel{\left | {\vphantom {a {{{u}_{i}}}}} \right. \kern-0em} {{{{u}_{i}}}} \right\rangle $ и $\left\langle {b} \mathrel{\left | {\vphantom {b {{{u}_{i}}}}} \right. \kern-0em} {{{{u}_{i}}}} \right\rangle .$ Поэтому упрощается задача определения правил умножения и суммы для L4 чисел ${{\alpha }_{i}},$ ${{\beta }_{i}}$ и ${{\alpha }_{j}}{\text{:}}$
(7)
${{\alpha }_{i}} \equiv \left\langle {a} \mathrel{\left | {\vphantom {a {{{u}_{i}}}}} \right. \kern-0em} {{{{u}_{i}}}} \right\rangle = \left[ {\begin{array}{*{20}{c}} {a{{u}_{i}}}&{a{{{\bar {u}}}_{i}}} \\ {\bar {a}{{u}_{i}}}&{\bar {a}{{{\bar {u}}}_{i}}} \end{array}} \right],\,\,\,\,{{\beta }_{i}} \equiv \left\langle {b} \mathrel{\left | {\vphantom {b {{{u}_{i}}}}} \right. \kern-0em} {{{{u}_{i}}}} \right\rangle = \left[ {\begin{array}{*{20}{c}} {b{{u}_{i}}}&{b{{{\bar {u}}}_{i}}} \\ {\bar {b}{{u}_{i}}}&{\bar {b}{{{\bar {u}}}_{i}}} \end{array}} \right],\,\,\,\,{{\alpha }_{j}} \equiv \left\langle {a} \mathrel{\left | {\vphantom {a {{{u}_{j}}}}} \right. \kern-0em} {{{{u}_{j}}}} \right\rangle = \left[ {\begin{array}{*{20}{c}} {a{{u}_{j}}}&{a{{{\bar {u}}}_{j}}} \\ {\bar {a}{{u}_{j}}}&{\bar {a}{{{\bar {u}}}_{j}}} \end{array}} \right],$которые можно ввести, используя определения
(8)
${{\alpha }_{i}} \cdot {{\beta }_{i}} \equiv \left\langle {{\left( {a \cap b} \right)}} \mathrel{\left | {\vphantom {{\left( {a \cap b} \right)} {{{u}_{i}}}}} \right. \kern-0em} {{{{u}_{i}}}} \right\rangle ,\,\,\,\,{{\alpha }_{i}} + {{\alpha }_{j}} \equiv \left\langle {a} \mathrel{\left | {\vphantom {a {\left( {{{u}_{i}} \cup {{u}_{j}}} \right)}}} \right. \kern-0em} {{\left( {{{u}_{i}} \cup {{u}_{j}}} \right)}} \right\rangle ,$(9)
${{\alpha }_{i}} \cdot {{\beta }_{i}} = \left[ {\begin{array}{*{20}{c}} {a{{u}_{i}} \wedge b{{u}_{i}}}&{a{{{\bar {u}}}_{i}} \wedge b{{{\bar {u}}}_{i}}} \\ {\bar {a}{{u}_{i}} \vee \bar {b}{{u}_{i}}}&{\bar {a}{{{\bar {u}}}_{i}} \vee \bar {b}{{{\bar {u}}}_{i}}} \end{array}} \right],\,\,\,\,{{\alpha }_{i}} + {{\alpha }_{j}} = \left[ {\begin{array}{*{20}{c}} {a{{u}_{i}} \vee a{{u}_{j}}}&{a{{{\bar {u}}}_{i}} \wedge a{{{\bar {u}}}_{j}}} \\ {\bar {a}{{u}_{i}} \vee \bar {a}{{u}_{j}}}&{\bar {a}{{{\bar {u}}}_{i}} \wedge \bar {a}{{{\bar {u}}}_{j}}} \end{array}} \right],$Важным свойством структурного отношения пятен на атомарном базисе является то, что оно позволяет просто определить численные характеристики отношения между пятнами. Это можно сделать методом подсчета количества атомарных пятен внутри пятен A, B, C, либо используя относительные числа атомарных пятен, расположенных внутри пятен A, B, C. Следует подчеркнуть, что такой подход является обобщением понятий меры в теории множеств и в теории вероятности и может быть назван квазимерой. Он демонстрирует возможность извлекать количественную информацию путем обработки массива качественной информации.
Очевидно, что в некоторых случаях решение обратных задач не может быть однозначным. Поэтому необходимо ввести понятие квазивероятности, основанной на квазимере и рассматривать структурный уровень отношений. Это приводит к возможности обобщения L4 чисел другими 2 × 2 числами, соответствующими квазивероятностям.
3. ПРИМЕНЕНИЕ В ОБЛАСТИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
3.1. Возможные области применения аппарата пятен
Предлагаемая математическая теория представляется весьма перспективной для решения задач во многих разделах ИИ. Среди возможных применений следует выделить следующие.
1. Задачи обработки неструктурированных данных в Технологии Больших Данных, а именно осуществлять интеллектуальный анализ данных (data mining) и текста (Natural Language Processing) [4], выделяя и моделируя смысловое содержание информации.
2. Задачи ИИ в области, которая изучает методики обработки качественных данных. Такими направлениями являются Qualitative Physics, Qualitative Mathematics, Qualitative Reasoning и Spatial Reasoning [5].
3. Построение Базы Знаний, где моделируется онтология изучаемых объектов.
Рассматриваемая теория может эффективно применяться в таксономии изучаемых объектов. Можно назвать структурированную систему пятен, которая моделирует таксономию рассматриваемой области знаний, “таксономией смыслов”. Представление знаний в виде таксономии смыслов может быть очень перспективным, так как в этом случае объекты будут также иметь смысловое содержание.
Заметим, что таксономия смыслов является аналогом существующего метода представления базы знаний в виде семантической сети. Однако рассматриваемый аппарат дает бльшую наглядность для представления смыслов, а также позволяет делать выводы, используя преимущества матричной алгебры для L4 чисел.
4. Обработка естественного языка.
Возможность применения рассматриваемой модели основана на том, что смысл любого предложения можно смоделировать в виде некоторого пятна-образа, который может быть сформирован на базе смысловых образов отдельных слов.
Концепция отображения также позволяет естественным образом моделировать такую проблему компьютерной лингвистики как зависимость смысла слов от контекста. В аппарате пятен это можно представить так, что пятно, являющееся образом смысла слов, имеет отображения, расположенные в разных местах смыслового пространства, что соответствует разным контекстам. Аналогичную геометрическую интерпретацию имеет и проблема зависимости смысла предложения и даже текста от контекста.
5. Аппарат пятен может быть использован для машинного распознавания образов, в тех областях, где применяется Region-Connection Calculus (RCC), являющийся одним из методов mereotopology. Это области Qualitative Spatial Representation (QSR) и Reasoning about Space. Представляется, что здесь модель пятен имеет преимущество, которое заключается в том, что она позволяет анализировать не только пространственные свойства тел, но и моделировать смысловое содержание этой информации, отображая ее в пространстве образов.
6. В последние годы были разработаны эффективные алгоритмы глубокого обучения (deep learning) для распознавания образов, обработки естественного языка и выполнения множества других сложных задач [16]. Принцип глубокого обучения основан на применении сложной, многослойной нейронной сети, обучение которой происходит на основе анализа данных большого количества примеров. Одним из наиболее популярных воплощений глубокого обучения является Tensor Flow – это библиотека программного обеспечения с открытым исходным кодом для высокопроизводительных численных вычислений, разработанная в организации Google’s AI [17].
Несмотря на огромный успех и большие возможности применения глубокого обучения в разных областях информационных технологий, необходимо отметить, что эти программы требуют очень большого количества примеров, что представляется их недостатком, по сравнению с возможностями обучения человека. Например, программы распознавания рукописных букв с помощью нейронных сетей используют стандартную базу данных MNIST [18], содержащую 60 тысяч образцов таких букв, хотя очевидно, что человеку для подобного обучения необходимо существенно меньше примеров. Представляется, что причиной такой значительной разницы является то, что человек, в отличие от нейронной сети, в процессе обучения совершает определенную интеллектуальную работу с использованием уже имеющиеся знаний. Действительно, в процессе обучения он использует имеющиеся знания о буквах и совершенствует известные их образы. С другой стороны, сравнивая примеры написания букв, он опирается на понятие похожести, которое основано на его навыках восприятия пространственных объектов. Преодолению указанного недостатка глубокого обучения посвящена недавно вышедшая статья, которая демонстрирует возможность использования ассоциативной памяти, чтобы система могла опираться на уже усвоенные шаблоны знаний и адаптироваться к новым, но схожим задачам [19].
Рассматриваемый аппарат пятен также может быть полезным инструментом для формирования базы знаний в виде системы образов, связанных с пространственным восприятием. Представляется, что применение такой базы знаний могло бы заметно сократить процесс машинного обучения в распознавании как рукописных букв, так и других зрительных образов. В этом случае количество слоев в нейронной сети могло быть сокращено и вместо слоев верхнего уровня можно использовать алгоритм распознавания с использованием базы знаний. Например, в программе распознавания лиц использование глубокого обучения может лишь решать задачу распознавания низкого уровня, ограничиваясь, например, распознаванием деталей лица, таких как нос, рот, глаза и т.д. Высокий же уровень распознавания может решаться с использованием таксономии смыслов, построенной на аппарате пятен.
3.2.1. Структурные схемы нейронов и нейронных сетей, построенных на модели пятен
Нейроморфные системы основаны на применении сетей из искусственных нейронов, имеющих разные архитектуры. Также существуют несколько моделей нейронов. Наиболее простая модель нейрона предложена McCulloch и Pitts в 1943 [5], в которой на вход подается линейная комбинация входных сигналов, умноженных на весовые коэффициенты, а на выходе снимается цифровой сигнал, который формируется с помощью порогового устройства.
Вторая генерация модели нейрона, которая широко применяется в настоящее время в работах по deep learning, основана на использовании функций активации – rectified linear, sigmoids и др. вместо простого порогового устройства. Входной сигнал такой функций активации также определяется суммой сигналов с разными весовыми коэффициентами [5, 20].
Третьей генерацией называют импульсную (или спайковую, от “spike”, “spiking”) модель нейрона, которая рассматривается как наиболее близкое приближение к свойству биологических нейронов [20, 21].
Предложенный математический аппарат пятен может быть применен в ИИ для обработки информации и воплощен в двух вариантах: во-первых, в виде алгоритмов, во-вторых, на базе нейронных сетей с использованием модели нейрона, изображенной на рис. 4а. В представленной структурной схеме каждому нейрону ставится в соответствие некоторое пятно. Например, в центре схемы рис. 4а изображен нейрон, моделирующий пятно $a,$ на вход которого поступают сигналы от нейронов пятен базиса $\left\{ {{{b}_{i}}} \right\}.$ При этом в качестве весовых коэффициентов используются L4 числа элементарных отношений $\left\langle {a} \mathrel{\left | {\vphantom {a {{{b}_{i}}}}} \right. \kern-0em} {{{{b}_{i}}}} \right\rangle .$ Выходным сигналом в предлагаемой модели является L4 векторное представление пятна $a$ на базисе $\left\{ {{{b}_{i}}} \right\}.$
Рис. 4.
Применение аппарата L4 чисел для моделирования нейрона. Модель нейрона (а) – в концепции отношений пятен: представление пятна $a$ на базисе пятен $\left\{ {{{b}_{i}}} \right\}.$ Модели нейрона-сумматора L4 чисел – (б).
Заметим, что в структуре нейрона на рис. 4а отсутствует дополнительное нелинейное преобразование в виде функции активации, так как преобразования с использованием L4 чисел имеют нелинейные свойства, что отмечалось выше. Преимуществом предлагаемой архитектуры нейронных сетей по сравнению с традиционным подходом является отсутствие операций с действительными числами над входными сигналами, весовыми коэффициентами и функциями активации, где они заменяются битовыми операциями. Следует также отметить, что рассматриваемый подход с использованием L4 чисел в качестве весовых коэффициентов имеет общую направленность с методом построения нейронных сетей глубокого обучения на основе бинарных весовых коэффициентов [22, 23].
Для того, чтобы в предлагаемой архитектуре нейронных сетей иметь возможность трансформировать L4 векторы в L4 числа, необходимо также применять нейроны, играющие роль сумматоров. На рис. 4б изображены структурные схемы двух вариантов сумматоров.
L4 матрицы можно реализовать с помощью введенной модели нейрона, используя схему нейронной цепи, показанной на рис. 5а, а матричное умножение L4 матрицы на L4 вектор можно осуществить с помощью нейронной сети, изображенной на рис. 5б. Применяя аппарат умножения L4 матриц, можно построить нейронную сеть с архитектурой, аналогичной сетям с прямой связью (feedforward neural networks) [16]. При этом, каждому слою нейронной сети будет соответствовать отдельная L4 матрица.
Рис. 5.
Моделирование L4 матриц и матричных операций с помощью нейронных сетей: а – представление L4 матрицы в виде нейронной сети; б – умножение L4 матрицы на L4 вектор x. Символ $ \odot $ обозначает почленное произведение векторов.
Если обмен информации между нейронами в сети осуществлять с применением импульсов (spike), то возможно простое кодирования основных элементарных отношений между нейронами, построенных по модели пятен (рис. 4). В этом случае сигналы от связанных нейронов должны быть синхронизованы, а для кодирования достаточно применять относительный сдвиг по времени использовать импульсы разной длительности, как это изображено на рис. 6.
3.2.2. Применение мемристоров и FeFET для построения нейроморфных систем
Предложенные архитектура и математическая основа построения нейронных сетей с использованием модели нейронов нового типа, описанных в п. 3.2.1, может быть наиболее эффективно воплощена на аппаратном уровне, что также справедливо и для других нейронных сетей. При этом наибольший эффект следует ожидать для применения новой элементной базы мемристоров [24–35] и полевых транзисторов с сегнетоэлектриком (FeFET) [22, 36–42]. Преимуществами этих устройств являются энергонезависимость памяти, малые потери при переключении и более быстрые чтение-запись. Указанные элементы рассматриваются как весьма перспективные в области наноэлектроники для формирования ячеек памяти, бинарных вычислительных схем и систем искусственного интеллекта. Уникальность наноразмерных мемристоров состоит в том, что они позволяют создавать схемы одновременно с очень высокой плотностью элементов, малым потреблением энергии (0.1 пДж/бит), весьма малым временем чтения-записи (менее 10 нс) и высоким ресурсом записи (до 1012) [25]. Кроссбары мемристоров эффективно формируют матрицу весовых коэффициентов для связи между слоями системы глубокого обучения [29–32].
Мемристор был впервые теоретически рассмотрен Chua [24] в 1971 году и реализован в 2008 году лабораторией Hewlett Packard. Свойство мемристора “запоминать” прошедший через него полный электрический заряд, который изменяет его проводимость [24], является аналогией синапса, что позволяет рассматривать его перспективность для создания параллельных нейроморфных систем.
В принципе, мемристоры могут рассматриваться для работы в двух режимах: бинарном [26, 27] и аналоговом [30, 31]. Особенность аналогового режима состоит в том, что мемристор может переключаться и хранить проводимость для нескольких состояний, что формирует квази-непрерывную зависимость проводимости от прошедшего через него заряда. Ввиду сложности технологии получения аналоговых мемристоров, бинарные мемристоры распространены шире [31].
Рассматриваются различные варианты применения кроссбар структур, содержащих мемристоры. Ряд публикаций исследует более простые схемы формирования матриц логических функций с возможностью перестройки структуры логических операций. Например, в работах [26–28] исследованы логические переключающие схемы на одних мемристорах, которые могут моделировать любые логические функции. Заметим, что логические структуры, построенные на мемристорных кроссбарах, можно также использовать для систем, основанных на алгоритмах аппарата пятен. Это связано с тем, что L4 числа (2) можно рассматривать, например, как набор четырех логических функции для переменных $a,$ $b,$ $~\bar {a}$ и $\bar {b}{\text{:}}$
Другие работы посвящены использованию мемристоров в искусственных нейронах, для которых существует несколько моделей. В настоящее время наиболее часто используется модель второй генерации с функцией активации, в которой мемристоры играют роль синапсов, определяющих весовые коэффициенты для входных сигналов. Например, в работах [30, 31] кроссбары мемристоров формируют весовые коэффициенты (или синапсы), где простая модель нейрона воплощена на КМОП транзисторах. Однако существует направление исследований по применению spike модели, которая является приближенной к свойству биологических нейронов [20, 29, 42]. Наконец, исследуются более сложные схемы искусственных нейронов и нейронных сетей, например, в виде нейропроцессора для моделирования работы кортикальной колонки коры головного мозга [33, 34] или динамической модели реального нейрона Hodgkin–Huxley (H&Hmodel) [35].
В работах [33, 34] схемы нейронов строятся с применением ячеек, состоящих из двух комплиментарных мемристоров и разделительного диода Зенера (стабилитрона), вместо одиночных мемристоров, что “предотвращает паразитную запись в соседние ячейки кроссбара через смежные шины”. В работе [33] рассматривается многослойные логические матрицы, составленные из таких ячеек.
FeFET транзисторы имеют гистерезисную зависимость тока от напряжения затвора, поэтому они, как и мемристоры, могут применяться как элементы энергонезависимой памяти с очень малыми энергиями записи и чтения. Кроме того, эти приборы обладают одновременно свойствами логики и памяти, что делает их перспективными для построения систем ИИ. Дополнительным преимуществом FeFET кроссбара является отсутствие проблемы паразитного шунтирования, что также уменьшает энергии записи и чтения.
Хотя работы по применению сегнетоэлектриков в затворе полевого транзистора ведутся с 1963 года, конкурентно успешная реализация этой концепции была продемонстрирована сравнительно недавно в работе [36] с применением пленки сегнетоэлектрика HfO2 толщиной 10 нм. В данной работе измеренный ресурс записи был ограничен (104–105), но предсказывалось возможность его увеличения до 108–1010.
Работа [37] рассматривает изготовление FeFET с применением технологии 22 нм FDSOI CMOS, где размер ячейки транзистора имел площадь всего 0.025 мкм2. Приборы тестировались на сверхкоротких импульсах записи/стирания длительностью 10 нс при пиковом значении 4.2 В. Измеренный ресурс записи был около 105.
Другим вариантом применения сегнетоэлектрика в транзисторе является т.н. псевдо-МОП транзистор [38] с сегнетоэлектрическим HfO2 слоем 20 нм в гетероструктуре. Этот прибор проявляет гистерезисную зависимость, но с большей шириной гистерезиса ΔVG ∼ (5–700) В, в зависимости от типа гетероструктуры.
В работах [39] исследованы реконфигурируемые FeFET транзисторы (R-FEFETs) с двумя затворами, где применен слой сегнетоэлектрика гафний-цирконий-оксид (HZO). Первый затвор FeFET является основным и обеспечивает гистерезисную характеристику прибора, а второй затвор служит для управления шириной гистерезиса, изменяя его в пределах от 1.1 до 0.3 В. Исследовано применение как FinFET, так и планарных технологий для полевого транзистора. Были реализованы две топологии устройства для FeFET: с внутренним промежуточным металлическим слоем между сегнетоэлектриком и диэлектриком и с прямым нанесением сегнетоэлектрика на слой диэлектрик. Преимущество использования промежуточного металлического слоя состоит в том, что это позволяет увеличить ресурс записи до ~1011 [39]. Применение R-FEFETs для построения ячеек энергонезависимой памяти [40] показало, что энергии записи и чтения уменьшаются на ~50% по сравнению с одно-затворными FeFET транзисторами.
Применению FeFET элементов для построения схем памяти со встроенной логикой (logic-in-memory (LiM)) посвящена работа [41]. В этой статье предложены и исследованы архитектуры двух типов цепей: троичной ассоциативной памяти (ternary content addressable memory (TCAM)) и основных Булевых логических функций. Благодаря трех-электродной структуре FeFET, высокому отношению токов включения и выключения (~106), эти схемы обеспечивают существенное преимуществов параметрах производительность и энергоэффективность, по сравнению с другими КМОП устройствами. Заметим, что предложенная в работе схемотехника логических схем с FeFET может быть полезной и для построения архитектуры систем ИИ, построенных на базе аппарата пятен, как это было отмечено выше для случая мемристорных логических схем.
Интересная теоретическая работа [42] описывает использование FeFET для построения импульсной (spikes) модели нейрона и применение сети таких нейронов (SNN) для моделирования связанных агентов роя, следуя парадигме роевого интеллекта. В рассматриваемой работе импульсный нейрон моделируется в виде релаксационного генератора, в котором частота следования импульсов контролируется напряжением на затворе FET. В предложенной вычислительной парадигме SNN кодирование сигналов производится частотой spikes. Связанные нейроны взаимно влияют на выходные сигналы друг друга через импульсы, синхронизируя их динамику вокруг состояний оптимальных решений. Оригинальность предложенного подхода связана с применением FeFET нейронов для моделирования роевого интеллекта. Однако и традиционное применение искусственных нейронов для построения SNN сетей также было успешным для решения задач распознавания визуальных образов, обработки естественного языка, создания интерфейса мозг-компьютер и управления роботом.
ЗАКЛЮЧЕНИЕ
В работе рассмотрена концепция и основа аппарата нового математического объекта – пятен, которая адекватна концепции вторичных образов в образной сфере человека [9]. Поэтому модель пятен позволяет отображать смысловую информацию, содержащуюся в данных различной природы. Описываются базовые объекты теории – L4 числа, L4 векторы и L4 матрицы, а также определены принципы введения операций над ними, что является основой предложенного математического аппарата для отображения знаний и процессов человеческого мышления, базирующихся на смысловых образах. Определены операции сложения и умножения над L4 числами в простейшем случае атомарного базиса. В предлагаемой концепции элементарные отношения пятен рассматриваются как качественная информация о пятнах, на базе которой можно извлекать информацию более высокого уровня, включая численную. Несомненно, разрабатываемый математический аппарат является весьма перспективным для применения его во многих областях ИИ, включая такие сложные задачи как интеллектуальный анализ данных.
На базе описанной модели пятен предложена архитектура построения нейронных сетей нового типа. Также рассмотрена возможность воплощения новой математической модели на аппаратном уровне для создания нейроморфных систем, построенных на новой элементной базе мемристоров и FeFET, которые в настоящее время интенсивно исследуются. Преимуществами указанных компонентов является их энергонезависимость в качестве элементов памяти, малые потери при переключении и более быстрое чтение-запись. Особенностью FeFET является то, что они обладают одновременно свойствами переключаемой логики и памяти. Все это позволяет рассматривать указанные элементы как весьма перспективные для создания новых устройств памяти, логических структур, процессоров нового типа и нейроморфных систем ИИ.
Данная работа рассматривает построение аппарата пятен, используя его аналогию с матричной алгеброй. Однако для полного воплощения этой идеи, необходимо решить ряд важных задач, среди которых, например, следующие. Определение операций с L4 числами, L4 векторами и L4 матрицами в общем случае. Разработка алгоритма преобразования базиса пересекающихся пятен в ортогональный базис пятен (рис. 3). Решение матричных уравнений с применением L4 матриц и L4 векторов. Определение квазимеры, квазивероятности и операций с ними для общего случая базиса пятен.
Дальнейшее развитие предлагаемой концепции может проводиться как в теоретическом (раздел Qualitative Mathematics), так и в прикладном направлениях, важных для применения ее во многих областях ИИ. В этом случае можно ставить и решать задачи не только распознавания образов, но и распознавания смыслов.
Список литературы
Майер–Шенбергер В., Кукьер К. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим = Big Data. М.: Манн, Иванов, Фербер, 2014. 240 с.
Оганесян А. Неструктурированные данные 2.0 // Открытые системы. СУБД. 2012. № 04.
Черняк Л. Аналитика неструктурированных данных // Открытые системы. СУБД. 2012. № 06.
Holzinger A. Combining HCI, Natural Language Processing, and Knowledge Discovery – Potential of IBM Content Analytics as an Assistive Technology in the Biomedical Field // Human-Computer Interaction and Knowledge Discovery in Complex, Unstructured, Big Data. Springer. 2013. P. 13–24.
Russell S.J., Norvig P. Artificial Intelligence: A Modern Approach. 3d ed, Prentice Hall, 2010.
Гостев А.А., Рубахин В.Ф. Классификация образных явлений в свете системного подхода // Вопросы психологии. 1985. № 1. С. 33–43.
Kosslyn M. Mental images and the brain // Cognitive Neuropsychology. 2005. V. 22. № 3/4. P. 333–347.
Гостев А.А. Психология вторичного образа [Электронный ресурс] / Гостев А.А. – Электрон. текстовые данные. М.: Издательство “Институт психологии РАН”, 2019. 512 с.
Whitehead A.N. Process and reality: An essay in cosmology. Cambridge: Cambridge University Press, 1929.
Clarke B.L. A calculus of individuals based on connection // Notre Dame J. Formal Logic. 1981. V. 22. P. 204–218.
Asher N., Vieu L. Toward a geometry of common sense: A semantics and a complete axiomatization of mereotopology // Proc. IJCAI’95. 1995. P. 846–852.
Stell J.G. Mereotopology and computational representations of the body // Computational Culture. 2017. № 6.
Zadeh L.A. Fuzzy sets // Inf. Control. 1965. V. 8. № 3. P. 338–350.
Кузичев А.С. Диаграммы Венна. История и применения. М.: Наука, 1968. 249 с.
Jin J.-M. Theory and Computation of Electromagnetic Fields. John Wiley & Sons, 2010.
Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge: MIT Press, 2016.
Zaccone G., Karim Md.R., Menshawy A. Deep learning with TensorFlow.Birmingham – Mumbai: Packt Publshing, 2017. 300 p.
LeCun Y., Cortes C., Burges Ch.J.C. The MNIST database of handwritten digits // http://yann.lecun.com/exdb/ mnist/
Ni K., Yin X., Laguna A.F., Trentzsch M., Müeller J., Beyer S., Niemier M., Hu X.Sh., Datta S. Ferroelectric ternary content-addressable memory for one-shot learning // Nat. Electron. 2019. V. 2. P. 521–529.
Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks. 1997. V. 10. № 9. P. 1659–1671.
Kulkarni M.S. Memristor-based Reservoir Computing // Dissertations and Theses. 2012. 899 p.
Courbariaux M., Bengio Y., David J.-P. Binary Connect: Training Deep Neural Networks with Binary Weights During Propagations // Proc. Advances in Neural Information Processing Systems. 28. NIPS 2015. 2015. P. 1–9.
Simons T., Lee D.-J. A review of binarized neural networks // MDPI. Electronics. 2019. V. 8. № 661. P. 1–25.
Chua L.O. Memristor – the missingcircuitelement // IEEE Trans. Circuit Theory. 1971. V. 18. № 5. P. 507–519.
Yang J., Strukov D., Stewart D. Memristive devices for computing // Nature Nanotech. 2013. V. 8. P. 13–24.
Levy Y., Bruck J., Cassuto Y., Friedman E.G., Kolodny A., Yaakobi E., Kvatinsky S. Logic operations in memory using a memristive Akers array // Microelectron. J. 2014. V. 45. P. 1429–1437.
Chakraborty D., Raj S., Fernandes S.L., Jha S.K. Input-aware flow-based computing on memristor crossbars with applications to edge detection // IEEE J. Emerging and Selected Topics in Circuits and Systems. 2019. V. 9. № 3. P. 1–13.
Prezioso M., Merrikh-Bayat F., Hoskins B., Adam G., Likharev K.K., Strukov D.B. Training and operation of an integrated neuromorphic network based on metal-oxide memristors // Nature. 2015. V. 521. № 7550. P. 61–64.
Prezioso M., Zhong Y., Gavrilov D., Merrikh-Bayat F., Hoskins B., Adam G., Likharev K., Strukov D. Spiking Neuromorphic Networks with Metal-Oxide Memristors // Proc. IEEE Int. Symposium on Circuits and Systems (ISCAS). Montreal. Canada. 2016. P. 177–180.
Lin Y.-P., Bennett C.H., Cabaret T., Vodenicarevic D., Chabi D., Querlioz D., Jousselme B., Derycke V., Klein J.-O. Physical realization of a supervised learning system built with organic memristive synapses // Scientific Reports. 2016. V. 6. P. 1–12.
Bennett Ch.H., Querlioz D., Klein J.-O. Spatio-temporal Learning with Arrays of Analog Nanosynapses // Proc. IEEE/ACM Intern. Symp. on nanoscale architectures (NANOARCH). 2017. P. 125–130.
Tarkov M.S. Crossbar-Based Hamming Associative Memory with Binary Memristors // Proc. Advances in Neural Networks – ISNN 2018. 2018. P. 380–387.
Удовиченко С., Писарев А., Бусыгин А., Маевский О. Нейропроцессор на основе комбинированного мемристорно-диодного кроссбара // Наноиндустрия. 2018. Т. 11. № 5(84). С. 344–355.
Maevsky O.V., Pisarev A.D., Busygin A.N., Udovichenko S.Y. Complementary memristor-diode cell for a memory matrix in neuromorphic processor // Int. J. Nanotechnol. 2018. V. 15. № 4/5. P. 388–393.
Filippov V.A., Bobylev A.N., Busygin A.N., Pisarev A.D., Udovichenko S.Yu. A biomorphic neuron model and principles of designing a neural network with memristor synapses for a biomorphic neuroprocessor // Neural Comput. & Applic. 2019.
Müller J., Böscke T.S., Müller S., Yurchuk E., Polakowski P. et al. Ferroelectric hafnium oxide: A CMOS-compatible and highly scalable approach to future ferroelectric memories // Proc. IEEE IEDM Tech. Dig. 2013. P. 10.8.1–10.8.4.
Dünkel S., Trentzsch M., Richter R., Moll P., Fuchs C. et al. A FeFET based super-low-power ultra-fast embedded NVM technology for 22 nm FDSOI and beyond // IEEE IEDM Tech. Dig. 2017. P. 19.7.1–19.7.4.
Popov V.P., Antonov V.A., Ilnitsky M.A., Tyschenko I.E., Vdovin V.I., Miakonkikh A.V., Rudenko K.V. Ferroelectric properties of SOS and SOI pseudo-MOSFETs with HfO2 interlayers // Solid State Electronics. 2019. V. 159. P. 63–70.
Thirumala S.K., Gupta S.K. Reconfigurable ferroelectric transistor–Part I: Device design and operation // IEEE Trans. Electron Devices. 2019. V. 66. № 6. P. 2771–2779.
Thirumala S.K., Gupta S.K. Reconfigurable ferroelectric transistor-Part II: Application in Low Power Non-Volatile Memories // IEEE Trans. Electron Devices. 2019. V. 66. № 6. P. 2780–2788.
Yin X., Chen X., Niemier M., Hu X.Sh. Ferroelectric FETs-based nonvolatile logic-in-memory circuits. IEEE Trans. Very Large Scale Integration (VLSI) Systems. 2019. V. 27. № 1. P. 159–172.
Fang Y., Wang Zh., Gomez J., Datta S., Khan A.I., Raychowdhury A. A swarm optimization solver based on ferroelectric spiking neural networks // Front. Neurosci. 2019. V. 13. Art. 855.
Дополнительные материалы отсутствуют.
Инструменты
Микроэлектроника
Пн.-пт.: 10.00-19.00