Сенсорные системы, 2022, T. 36, № 2, стр. 124-135

ВВЕДЕНИЕ

Зачастую в сенсорных системах, применяемых на робототехнических средствах (РС) для взаимодействия с окружающей средой, в системах технического зрения и в системах обработки аудиоинформации используются датчики, данные с которых поступают в центральное или распределенные управляющие устройства непрерывным потоком. Одной из основных проблем таких систем является большой объем получаемых данных. В результате на передачу и обработку данных требуются существенные временные, вычислительные и энергетические ресурсы. Данная проблема может быть решена использованием датчиков с событийным принципом работы или методов событийной обработки информации, поступающей с датчиков, поток данных которых передается непрерывно.

Цель данной работы – анализ существующих решений событийной обработки данных в сенсорных системах РС и создание собственной концептуальной модели онтологии для событийного извлечения данных узлов сенсорной системы. Далее будут рассмотрены датчики с событийным принципом работы; методы обработки потоков поступающей с датчиков информации и выявления формируемых непосредственно из данных простых событий.

Методы событийной обработки позволяют выделить значимые события из общего потока данных, а также сформировать сложные события из нескольких простых, что может быть полезно для систем, содержащих разные типы датчиков. Основой для данных методов служит онтология, представляющая собой концептуальную схему, состоящую из структуры данных. Онтология содержит классы, объекты и их свойства, а также связи объектов и ограничения. Событийные методы на основе онтологий, кроме выделения событий, способны предоставить возможность пользователю взаимодействовать с сенсорной системой путем поиска требуемого устройства по запросу, формирования события пользователем или оповещения пользователя о наличии событий.

СИСТЕМЫ С ДАТЧИКАМИ С СОБЫТИЙНЫМ ПРИНЦИПОМ РАБОТЫ

Датчики с событийным принципом работы применяются в системах технического зрения РС для слежения за статичными и динамическими объектами и их распознавания, для локализации РС и картографирования среды. Также такие датчики применяются в системах обработки аудиоинформации и для обнаружения опасных примесей в воздухе. В области технического зрения в качестве датчиков с событийным принципом работы используются видеокамеры. Обычные камеры фиксируют изменения через равные промежутки времени, опрашивая все пиксели и записывая показания интенсивности света, которые были получены за определенный промежуток. Камеры с событийным принципом работы реагируют на изменения яркости отдельных пикселей, работающих непрерывно. Важной информацией в случае применения таких камер являются движущиеся края отслеживаемых предметов. Знание особенностей такой информации может помочь сократить вычислительные ресурсы на ее обработку. Рассмотрим некоторые существующие решения в данной области.

Например, такой датчик, как динамический пиксельный датчик DAVIS (Dynamic and Active Pixel Vision Sensor) (Mueggler et al., 2017), включает в себя обычную камеру с глобальным затвором и датчик с событийным принципом работы. Выходные данные такого датчика состоят из потока асинхронных изменений яркости – событий и синхронных кадров камеры оттенков серого. События помечаются временными метками и передаются асинхронно в момент их возникновения. Каждое событие e – это кортеж (x, y, t, p), где x, y – пиксельные координаты события, t – временная метка события, а p = ±1 – полярность события, которая является знаком изменения яркости. Датчик имеет разрешение 240 × 180 пикселей, не требует калибровки, может применяться как в помещении, так и на открытой местности, и использоваться в качестве системы технического зрения для мобильных РС.

Отслеживание движущегося объекта посредством датчика DAVIS (Liu et al., 2016) выполняется в три этапа: сначала генерируются исследуемые области, вероятностные целевые местоположения обнаруживаются при помощи сверточной нейронной сети и классифицируются как передний или задний планы, многочастичный фильтр определяет целевое местоположение отслеживаемого объекта в исследуемой области. В представленном эксперименте колесный робот, с установленным датчиком, следит за другим колесным роботом, управляемым вручную.

Аналогичным по функциональности решением является система на основе событийной камеры (Glover, Bartolozzi, 2017), используемая на антропоморфном роботе iCub для отслеживания движущихся объектов. Авторы предлагают использовать многочастичный фильтр с целью обеспечения устойчивости к временным колебаниям, возникающим при перемещении камеры и цели с различными скоростями, что может привести к потере визуальной информации.

В работе (Ghosh et al., 2014) реализовано не только отслеживание объектов, но и идентификация в реальном времени посредством камеры с событийным принципом работы и сверточной нейронной сети. Датчик реагирует только на движущиеся объекты, игнорируя статические. Предварительная обработка выполняется фильтром шумов, затем определяется пространственно-временной интервал исследуемой области, потом содержащиеся в данной области отличающиеся всплески преобразовываются в статическое классифицируемое изображение. Система отслеживает и различает автомобили, велосипеды и пешеходов на дороге, а также способна обнаруживать и идентифицировать предметы домашнего обихода и их ориентации относительно камеры.

Для распознавания движущихся объектов авторами работы (Ceolini et al., 2020) также было предложено объединить несколько сенсоров, выполняющих функции считывания электромиографического сигнала и визуальной информации. Для преодоления вычислительных ограничений авторы предлагают использовать нейроморфные технологии, позволяющие обрабатывать данные в реальном времени: камеру на основе событий и две нейроморфные платформы, Loihi и ODIN + MorphIC. Электроды электромиографического датчика Myo, надетого непосредственно на предплечье человека, обнаруживают сигналы активности мышц предплечья, а затем полученные данные отправляются на внешнее электронное устройство. Данные представляют собой набор из пяти жестов рук, записанных при помощи двух сенсорных модальностей: мышечная активность от Myo и визуального ввода камеры. Для объединения данных с датчиков и распознавания жестов используется нейронная сеть, из-за ограниченного количества нейронов которой вход камеры был ограничен до 40 × 40.

Камера на основе событий также может быть использована для распознавания походки человека (Sokolova, Konushin, 2019). Предлагаемый алгоритм обработки данных, полученных с камеры, состоит из четырех шагов: визуализация потока событий; обнаружение фигуры человека; оценка оптического потока; оценка позы человека. Виртуализация сгенерированного потока событий выполняется с целью получения возможности обработки их по аналогии со стандартными видеокадрами. Для получения изображения на основе событий создается временное окно определенной длины и вычисляется сумма всех событий в каждом отдельном пикселе в заданном интервале времени. К полученным изображениям применяются различные методы обнаружения, оценивается влияние наличия различных частей тела на вероятность распознавания. Сообщается о применимости методов событийного распознавания и полученной точности свыше 98%.

Применение событийной камеры для реконструкции сцен в недетерминированной окружающей среде реализовано посредством метода трехмерной реконструкции (Kim et al., 2016) на основе получаемых данных с камеры, базирующегося на трех независимых вероятностных фильтрах, каждый из которых оценивает движение камеры, градиент интенсивности логарифмической сцены и обратную глубину сцены относительно ключевого кадра. По утверждению авторов, данный метод позволяет отслеживать движение одновременно с реконструкцией произвольной сцены на основе видеопотока без использования дополнительных сенсоров.

Выполнение событийной обработки аудиоинформации возможно посредством динамических звуковых датчиков (Dynamic Audio Sensor – DAS). Датчик представляет собой бинауральную систему кремниевых улиток, предназначенную для пространственного прослушивания и анализа слуховых сцен. DAS сообщают только о выходных сигналах активных узлов посредством асинхронных цифровых событий.

Авторами работы (Li et al., 2012) применяются нейроморфные кремниевые улитки с 64-частотными каналами и 512 выходными нейронами для идентификации говорящих людей в реальном времени. Из выходного сигнала улитки извлекаются слуховые признаки, представляющие собой затухающие гистограммы межсигнальных интервалов и распределения активности каналов. Затем векторы признаков классифицируются линейной машиной опорных векторов и далее происходит идентификация говорящего. Авторы представили два метода, в первом из которых признаки вычислялись для каждого временного промежутка 100 мс, только если события в данном интервале превышают предварительно установленный порог. Во втором методе вектор признаков вычислялся вне зависимости от длины временного промежутка, когда количество событий превысит установленное пороговое значение. Оба метода требуют нахождения компромисса между размером временного промежутка и задержкой принятия решения для оптимальной производительности системы в целом.

Аналогичный датчик применяется авторами работы (Anumula et al., 2018), разработавшими вероятностную модель локализации звука. Каждая улитка имеет два отдельных 64-ступенчатых каскадных блока фильтров, управляемых двумя микрофонами, расположенными на небольшом расстоянии друг от друга. Частотная избирательность 64 каналов находится в диапазоне от 100 Гц до 10 кГц. В каждом канале по четыре нейрона. Выходные данные с микрофонов поступают в каскадный блок фильтров, моделирующий базилярную мембрану, внутренние волосковые клетки и клетки спирального ганглия. Для локализации звукового события вычислялась временная разница между сигналами двух датчиков, которая оценивается путем вычисления разницы во времени между ближайшим событием одного датчика и ближайшим событием из того же частотного канала, но другого датчика.

Узлы сенсорной системы для обнаружения опасных примесей в воздухе (Somov et al., 2011) представляют собой платы с размещенными на них датчиками газа. Событийный принцип работы реализован программно посредством ШИМ. Каждый узел сети содержит полупроводниковый гомогенный датчик газа, микроконтроллер, модуль ZigBee и аккумуляторный блок питания (три батареи AA 1.5 В, 3000 мА ч). Ток, потребляемый узлом, – 80 мА. Цикл измерения длится около 1 с без учета времени, затрачиваемого на передачу данных, если произошла аварийная ситуация. Чувствительный слой датчика нагревается до температуры около 500°C, когда требуется произвести измерение. Полученное значение сравнивается с двумя предустановленными пороговыми значениями, заданными для сенсорного узла. Если второй порог превышен, сигнал о событии передается по каналу данных.

Сенсорные системы, содержащие датчики с событийным принципом работы, применяются в системах технического зрения, для обработки аудиоинформации, обнаружения в воздухе опасных для человека примесей. Для слежения за объектами, распознавания объектов, картографирования среды и локализации РС в стационарных и динамических средах используются нейронные сети, многочастичные фильтры и фильтры шумов. В системах обработки аудиоинформации используются динамические звуковые датчики с использованием метода опорных векторов и вычисления временной разницы для локализации звуковых событий. Событийный принцип работы узлов сенсорной системы для обнаружения опасных примесей в воздухе реализуется посредством ШИМ.

Для решения задач распознавания и слежения за объектами с использованием данных, полученных непосредственно с событийных датчиков, применяются различные алгоритмы. Так, авторами работы (Belbachir et al., 2007) представлен алгоритм обработки данных в реальном времени, получаемых с событийной камеры. Обработка полученных данных включает в себя обнаружение объекта, удаление шума, нормализацию полученных данных и функцию распознавания объектов. Авторы экспериментально доказывают, что, используя включенные в функцию распознавания объектов подбор окружности и оценку ориентации, предложенный метод позволяет распознавать объекты правильной формы: куб, шар, шестиугольник. Сложность предложенного алгоритма пропорциональна количеству событий.

Для слежения за объектами также применяются алгоритмы (Mueggler et al., 2014; Ramesh et al., 2018). Оба алгоритма работают на основе данных, получаемых с датчика DAVIS. Алгоритм в работе (Mueggler et al., 2014) отслеживает сегменты, определяющие границы беспилотного летательного аппарата для слежения и оценки за его положением в воздухе на основе известных шаблонов, и определяет событие при обнаружении сходства с заранее заданным шаблоном. Описываемая в работе (Ramesh et al., 2018) система использует отличительное представление отслеживаемых объектов и онлайн-обучение, а также обнаруживает и повторно отслеживает объект, когда он возвращается в поле зрения камеры. В системе используется технология локального скользящего окна для обеспечения надежной работы в сценах со сложным фоном.

Авторами работы (Rebecq et al., 2017) представлен алгоритм визуальной одометрии, посредством которого осуществляется картографирование среды для вычисления положения и ориентации камер. Наблюдение и регистрация краев объектов выполняются с двух точек: с первой точки отслеживается эталонная позиция (трехмерная карта сцены, полученная путем объединения небольшого количества событий в карту границ), изображение со второй точки состоит из спроецированной полуплотной 3D-карты сцены в соответствии с известным положением динамического пиксельного датчика DAVIS (Dynamic and Active Pixel Vision Sensor). Представленный алгоритм позволяет вычислить положение и ориентацию камеры, а также получить полуплотную 3D-карту окружающей среды, но края, параллельные движению событийной камеры, не фиксируются.

Для минимизации энергопотребления при большом количестве узлов системы, и, следовательно, увеличения времени работы системы авторы (Cao et al., 2005) предлагают протокол планирования режима работы узлов при детектировании событий в реальном времени. Система оптимизирована для обнаружения редких событий и позволяет достичь компромисса между задержкой обнаружения события и временем автономной работы. Реализована возможность определения неверных показаний датчиков, выявлять корреляцию между полученными показаниями и рассчитывать характеристики произошедших событий. Система построена на основе принципов семантического описания, включая определение относительной важности промежуточных событий. Событие считается критическим в случае, если частота отказов высока. Данный параметр также используется для разграничения случаев возникновения событий и ложных срабатываний.

Камеры на основе событий позволяют уменьшить влияние проблемы обработки непрерывного потока данных, учитывая только изменения пикселей в последовательных событиях, которые можно наблюдать с высоким временным разрешением. Благодаря низкой задержке и высокому временному разрешению, датчики с событийным принципом работы являются перспективными для высокоскоростных мобильных РС. При большом количестве датчиков в сенсорном узле возникает необходимость нахождения компромисса между количеством пропущенных событий, временем реакции и энергопотреблением для нахождения оптимальной конфигурации сенсорной системы. В таких случаях обработка поступающей с событийных датчиков информации может быть выполнена посредством алгоритмов, входные данные которых уже представляют собой события. Использование датчиков с событийным принципом работы в робототехнических системах выгодно более низким энергопотреблением, высоким временным разрешением и снижением вычислительной нагрузки в сравнении с датчиками, передающими данные непрерывно. Применение данного принципа работы требует разработки архитектуры сенсорной системы и специализированных алгоритмов обработки и фильтрации данных, но обеспечивает возможность реагирования только на определенные события с высоким временным разрешением и энергоэффективного функционирования по сравнению с узлами сенсорных систем, передающими данные непрерывно. Кроме рассмотренных способов реализации событийного принципа работы непосредственно в узлах сенсорных систем, данный принцип может быть использован на этапе обработки поступающих с датчиков данных.

Далее рассмотрим существующие алгоритмы и методы обработки данных датчиков и сенсорных систем в целом с использованием онтологий.

СОБЫТИЙНЫЕ МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ

В данном разделе рассмотрены онтологические методы обработки непрерывно поступающих с различных типов датчиков данных. Такие методы используются для распознавания событий в непрерывных потоках данных. Онтологические методы применяются для разгрузки центрального вычислительного устройства сенсорной системы или при использовании распределенного способа обработки данных системы в целом. События могут быть классифицированы и представлены отдельными частями для формирования других, более сложных событий. Так, для выявления в потоке данных, поступающих с узлов сенсорной сети, значимых событий авторы работы (Dunkel, 2009) предложили архитектуру сети, позволяющую анализировать и обрабатывать потоки событий в реальном времени. Сеть содержит несколько типов агентов, выполняющих функции анализа необработанных событий, диагностики и генерации событий состояния, планирования действий. Данный подход основан на использовании онтологий, позволяющих представить структурные свойства типов событий и ограничений между ними. События разделяются на события состояний и события действий. Каждое событие содержит идентификатор, метку времени, ID и данные датчика. Сопоставление с образцом и обработка событий выполняются узлами обработки событий, которые отслеживают потоки событий. Данные узлы фильтруют, разделяют и создают более сложные события из нескольких простых. Так как количество поступающих данных велико, каждое событие имеет срок действия, после которого оно удаляется из системы.

Как и в предыдущей рассмотренной работе, метод обработки поступающих событий на основе онтологии в сенсорной системе (Taylor, Leidinger, 2011) применяется для распознавания сложных событий, состоящих из нескольких простых, но определяемых пользователем. Каждое из сложных событий содержит наблюдение (здесь термин используется для описания пяти различных видов составных наблюдений). Атомарное наблюдение является описанием простого события в рамках определения сложного, оно содержит информацию для программирования выбранного датчика и определение триггера события. Для составления сложного события используются логические операции, группировка простых событий, метод обработки сложных событий (complex event processing, CEP), система управления потоками данных (data stream management system, DSMS). Когда пользователь запрашивает информацию об интересующем событии через интерфейс, промежуточное программное обеспечение обрабатывает запрос и генерирует команды для сервера CEP. Сервер отслеживает выбранные потоки данных и генерирует предупреждения, которые доставляются указанным пользователям при возникновении события. Определенные события сохраняются в онтологии, данные которой используются для распознавания полученных событий в будущем. Описание каждого события состоит из двух основных частей: предупреждения, которое будет активировано, если событие было распознано, и определения самого события. В данной системе онтология используется для определения событий, включающих в себя несколько потоков данных датчиков, и ее фрагменты могут быть заменены иным командным языком, если потребуется адаптация к другому обработчику событий.

По подобному сценарию работает и сенсорная система, состоящая из набора беспроводных датчиков, исполнительных механизмов и вычислительного контроллера (Mazo, Tabuada, 2011). Однако в отличие от рассмотренных выше работ, всякий раз при возникновении определенного события система заканчивает цикл работы для уменьшения частоты обновлений контроллера. Предлагается установка условий, зависящих от получаемой информации на каждом из узлов системы. Когда какое-либо из этих условий нарушается в узле, он информирует вычислительное устройство. После получения такого события вычислительное устройство запрашивает новые измерения, обновляет управляющие сигналы и пересылает новые команды в узлы срабатывания.

Обработка непрерывного потока событий описана авторами (Bhargavi et al., 2010). В качестве инициализатора события используется один из пироэлектрических инфракрасных датчиков движения сенсорной системы. При обнаружении движения запускается камера для захвата изображения. Захваченные изображения отправляются на сервер по проводной сети. Входящие потоки данных обрабатываются CEP в соответствии с предопределенными правилами. Для определения событий используется механизм обработки событий ESPER, который непрерывно посылает предопределенные запросы к потокам непрерывно поступающих событий. Как только событие обнаруживается узлом, он генерирует пакет, содержащий идентификатор датчика, RFID-метку, показания пироэлектрического инфракрасного датчика, время и другую полезную информацию. Поскольку количество узлов велико, а события случайны и множественны, обнаруженные данные имеют большой объем. После поступления данных на сервер выполняется их очистка, затем обнаруживаются отношения между существующими событиями для построения более сложных событий. Архитектура предложенной сенсорной сети имеет несколько уровней: уровень источников данных, сбора данных и уровень фильтрации данных. Составление событий из входящих данных происходит путем сопоставления с имеющимся образцом. Сравнение выходящих данных с имеющимися или статистическими происходит в реальном времени.

Сопоставление данных для реализации событийного принципа работы системы используется и в работе (Kasi et al., 2021). Обработка событий гетерогенной сенсорной сети реализована посредством онтологической базы знаний в каждом из узлов системы. Фрагменты онтологии в каждом сенсорном узле идентифицируют данные, маршрутизируемые через сенсорную сеть. В отличие от предыдущей работы, используемый алгоритм сопоставления способен работать с изменяющейся базой данной. Узел различает три типа входящих событий: обнаруженное, совместно используемое или перенаправленное событие. Авторы используют разделение на типы, поскольку с каждым типом событий выполняются разные операции. Действия, определяемые механизмом правил, могут быть следующими: сброс, отправка или переадресация события. Когда входящий факт не соответствует установленным правилам, событие сбрасывается, таким образом производится фильтрация событий. Когда факт полностью соответствует любому из имеющихся правил, событие перенаправляется на узел шлюза. Однако если обнаружено частичное совпадение, событие передается соответствующему сенсорному узлу для дальнейшей обработки.

Некоторые из методов основаны на существующих онтологиях, таких как SSN (Lefort et al., 2011), Event (Yves, Samer, 2007), FOAF (Brickley, Miller, 2014), Time Ontology (Hobbs, Pan, 2017) Geo Ontology (Brickley, 2003), MA-Ont (Thierry, 2012), использующихся для описания датчиков, событий, временных свойств и ресурсов, и для объединения различных описаний медиаресурсов.

Данные онтологии могут не обладать достаточным набором свойств для выполнения какой-либо задачи, но могут использоваться в качестве основы других онтологий. Авторы работы (Rinne et al., 2013) показывают систему обработки событий на основе онтологий SSN, DUL и Event-F. Для идентификации событий в потоке поступающих с датчиков данных используются шаблоны и временные метки, описываемые набором отдельных свойств. Обнаруженный системой обработки событий образец поступающих с датчиков данных запускает создание объекта события, который в свою очередь описывает реальное произошедшее событие. Основное событие имеет несколько составных объектов – подсобытий. Существует возможность SPARQL запроса событий по шаблонам наиболее распространенных запросов, состоящих из четырех событий для составления сложных событий. Предложенная структура не требует обязательных рассуждений OWL, но дает возможность рассуждения с использованием транзитивности и инверсности свойств.

Онтология также позволяет структурировать данные, получаемые от различных устройств системы. Авторами работы (Кузнецов, Бузунова, 2018) представлена онтология системы освещения, содержащая несколько классов и экземпляров, часть которых использована для описания подключенных к системе сенсорных устройств. В работе показана базовая онтология, требующая доработки на основе существующих онтологий, таких как OntoSensor (Shaukat et al., 2017) и SSN. Основной целью применения онтологии в данной системе является определение агентом системы участников обмена информацией.

Онтология, применяемая в музее (Хайдарова и др., 2019), включает в себя часть, содержащую данные с датчиков температуры, влажности и освещенности помещения. Некоторые сущности онтологии заимствованы из FOAF. Представленная онтология позволяет решать консультативно-справочные задачи, задачи мониторинга и регулирования параметров микроклимата. Событием является отклонение параметров микроклимата, эталоны которых помещены в онтологию, системой осуществляется отправка управляющих сигналов устройством контроля микроклимата или же сотрудникам учреждения. Обработка информации осуществляется в псевдореальном времени.

Расширение онтологий SSN и MA-Ont (Lee et al., 2012) и регистрация событий с датчиков мультимедийной сенсорной системы (Angsuchotmetee et al., 2020) выполняются посредством онтологии MSSN-Onto. Одной из задач авторов является обеспечение синтаксической и семантической совместимости для облегчения процесса обнаружения событий. Авторы показывают результаты моделирования, в котором сенсорная система имеет до 500 мультимедийных датчиков, централизованное управление и используется для слежения за участниками конференции, находящимися в одном помещении. Обработка и индексирование входящих потоков данных выполняются отдельным модулем, чтобы сопоставить их с MSSN-Onto. Каждый из потоков декодируется и индексируется в соответствии с низкоуровневыми функциями (визуальные, звуковые или дескрипторы движения), и таким образом индексируются различные типы данных (аудио, видео, изображения, скалярные значения) с использованием модели данных MSSN-Onto. Обнаружение событий и обработка пользовательских запросов выполняются модулем обработки событий. Всего предлагается десять сложных событий из сценария: начало встречи; презентация расписания дня; презентация доклада; использование smart-доски; смена слайдов; событие одновременного обсуждения несколькими участниками; момент времени прихода или ухода участника встречи; доклад итогов встречи; уход всех участников из комнаты. Система обладает существенным недостатком: отсутствие гибкости делает ее использование невозможным в помещении с другой инфраструктурой, поскольку невозможно добавить новые или удалить старые датчики без перенастройки всей системы. Возможность добавления гетерогенных датчиков без перенастройки системы существует и реализована в онтологии A3ME (Herzog et al., 2008). Данная онтология представляет собой базовую иерархию понятий, предназначенную для классификации, самоописания и обнаружения устройств, но обработка событий в A3ME отсутствует. Обнаружение событий MSSN-Onto имеет ограничение, выраженное в возможности распознавания новых событий, если соответствующие знания и пользовательские события предоставлены в одной структуре.

Расширение существующих онтологий SNN, Event, Time Ontology, FOAF и Geo Ontology выполняется и авторами (Belkaroui et al., 2018). Представленная онтология событий Wine Cloud, реализованная в Protégé 8, используется для извлечения событий из данных, генерируемых датчиками гетерогенной распределенной сенсорной системы, применяемой на виноградниках. Событие определяется кортежем из шести значений, каждое из которых означает: что действие, установленное в событии, происходит; период времени, в течение которого событие продолжалось; локацию события; условия, которые вызвали событие, сочетание элементов, характеризующих событие, основных участников события. События, которые могут произойти, определены заранее. Авторы разделили их на четыре группы: болезни лозы, наличие вредителей, физиологические риски, климатические риски. Система обнаружения событий состоит из двух главных компонентов: служба информации о событиях обнаруживает соответствующую информацию, извлекает сущности и их значения свойств; Data Mart API сериализует объекты при помощи словаря онтологий Wine Cloud, извлекает знания и отправляет в центральный компонент системы, используемый для хранения знания. Также возможно извлечение знания самим пользователем посредством SPARQL запросов, таких как: поиск событий, которые происходят в один и тот же период, извлечение факторов события или поиск событий, имеющих одну конкретную причину. Объем предлагаемой онтологии в настоящее время ограничен событиями, которые могут произойти в течение жизненного цикла виноградной лозы.

В отличие от предыдущих рассмотренных работ, основное внимание в которых уделялось выделению событий из потока данных, авторы работы (Nawaz et al., 2019) предлагают прогнозирование будущих событий, а также моделирование сложных событий при помощи CEP и изменяемых во времени действий, осуществляемых посредством исчисления и комплексной обработки событий. В предлагаемой структуре используются два типа баз знаний: основная и действий. Первая база содержит правила для определения и регистрации сложных шаблонов событий, вторая – определяет все альтернативные действия, которые могут быть предприняты на данный момент, чтобы избежать прогнозируемого нежелательного события. Для регистрации неопределенных событий, таких как зашумленные данные датчиков, используется гибридное предиктивное рассуждение, имеющее возможности как логического, так и вероятностного рассуждения. Кроме того, когда входящий поток данных содержит неполную, неточную или отсутствующую информацию о каком-либо специализированном сложном событии, для определения возможного состояния используется вероятностный вывод, затем механизм рассуждений прогнозирует сбой процесса.

Использование онтологии позволяет снизить количество выходных данных датчиков на этапе их обработки. Пользователь может осуществлять запросы к системе по заранее заданным шаблонам наиболее распространенных событий, искать события и извлекать конкретные факты. Онтология может обеспечить синтаксическую и семантическую совместимость мультимедийных датчиков, индексируя различные типы данных. В нескольких рассмотренных работах используется расширение существующих онтологий путем добавления дополнительных возможностей. Такое решение позволяет не создавать онтологию с нуля, а добавлять в существующую онтологию набор определенных свойств для выполнения требуемых задач.

Классификация способов создания событий

Большинство рассмотренных сенсорных систем имеют возможность формирования сложных событий автоматически. Также существует возможность формирования и запроса события пользователем через интерфейс системы посредством SPARQL запроса. На рис. 1 показаны способы выделения событий из потоков, поступающих с датчиков данных.

Рис. 1.

Способы выделения событий из потока поступающих с датчиков данных.

По результатам проведенного анализа наиболее популярным способом из рассмотренных является сопоставление получаемых с датчиков данных с образцом. В целях сокращения количества данных на уровне выделения событий применяется удаление выделенного события из системы по истечению определенного времени или завершение всего цикла работы системы. Способы создания сложных событий показаны на рис. 2.

Рис. 2.

Способы создания сложных событий.

Наиболее популярным способом создания сложных событий является использование системы CEP и шаблонов сложных событий. Недостатком CEP является невозможность комбинации нескольких распределенных источников данных и выполнения предикативных рассуждений. Рассмотренные системы также обладают некоторыми недостатками: ограничение на быстрое добавление или удаление новых устройств в систему без полной перенастройки; невозможность использования в иных приложениях и с иными системами, кроме тех, для которых они созданы; ограничения в обнаружении событий, автоматическом добавлении новых видов простых и сложных событий. Большинство систем статичны и не предусматривают отказов узлов сенсорной системы, но существует возможность использования неполной или зашумленной информации для предсказания отказов посредством использования в системе (Nawaz et al., 2019) вероятностного вывода.

Концептуальная модель предлагаемой онтологии

Применение датчиков с событийным принципом работы в составе сенсорных сетей не распространено. В основном сети содержат множество датчиков, передающих данные непрерывным потоком. Для выделения событий из потока данных были рассмотрены методы с использованием онтологий. Учитывая вышеописанные недостатки данных методов, необходимо разработать многоуровневую архитектуру сенсорной системы, один из уровней которой представлен редактируемой онтологией, реализующей следующие возможности: определения типов подключаемых или отключаемых узлов сенсорной системы, обнаружение отказов узлов и учета последствий отказов для РС, осуществление SPARQL-запросов и выделение событий. На рис. 3 представлена концептуальная модель предлагаемой для реализации в Protège онтологии.

Рис. 3.

Модель онтологии РС.

Онтология имеет один класс и несколько подклассов, каждый из которых содержит определенные объекты. Свойства объектов описывают объекты и связи между ними. Свойства данных предлагаются для описания численных величин объектов. Для каждого из объектов, добавляемых в онтологию, существует набор заранее определенных свойств объекта и свойств данных, позволяющий алгоритму Protège определять его подкласс и связи с другими объектами онтологии. Неисправность сенсорного узла или удаление его из системы можно обнаружить посредством SAPRQL-запроса. Иерархическая сложность, необходимый набор свойств объектов и возможность рассуждений на их основе позволят РС понимать, какие действия возможны при подключении нового типа узла или же отключения какого-то из узлов, уже находящихся в системе. SPARQL-запросы позволят получать информацию о состоянии окружающей среды на основе значимых для РС на данный момент событий. Для обработки данных, поступающих с сенсоров, предлагается использовать нейронную сеть. Перечисленные улучшения позволят РС получать информацию о событиях окружающей среды, следить за состоянием сенсорной сети, и, соответственно, знать, какие виды отдельных узлов на данный момент доступны, а какие нет.

ЗАКЛЮЧЕНИЕ

В работе проведен анализ сенсорных систем РС с датчиками, работающими на основе событийного принципа работы. Также проведен обзор способов событийной обработки информации, получаемой с датчиков, не работающих на основе данного принципа. Определены способы выделения событий для обоих видов датчиков. Рассмотрены способы создания сложных событий сенсорных систем, работающих на основе методов с применением онтологий. Исходя из проведенного анализа, предложена концептуальная модель онтологии для применения в сенсорных системах с датчиками, данные с которых поступают непрерывно. Модель учитывает возможность подключения или отключения новых узлов, в том числе и при отказах, и позволяет РС понимать состояние сенсорной системы, извлекать важные на данный момент времени события, выполнять SPARQL-запросы.

Дальнейшие исследования будут направлены на разработку онтологии на основе предложенной концептуальной модели и применения ее для извлечения событий из потока данных датчиков сенсорных систем мобильных робототехнических платформ (Савельев и др., 2019; Ватаманюк, Савельев, 2017).