Автоматика и телемеханика, № 10, 2021

Е.Ю. МИНАЕВ, канд. техн. наук (eminaev@gmail.com)

(Самарский университет),

А.П. КОТОВ, канд. техн. наук (kotov@ssau.ru)

(Институт систем обработки изображений филиал ФНИЦ

“Кристаллография и фотоника” РАН, Самара)

ОЦЕНИВАНИЕ ПАРАМЕТРОВ ДВИЖЕНИЯ АППАРАТА

ПО НАБЛЮДЕНИЯМ ОПОРНОЙ ПОВЕРХНОСТИ¹

Рассматривается задача визуальной одометрии по последовательности

видеокадров, которые формируются с использованием направленной пер-

пендикулярно вниз камеры. Предлагается адаптивная двухэтапная тех-

нология визуальной одометрии, основанная на последовательном опреде-

лении межкадровых сдвигов и регулярной корректировке текущих оце-

нок координат. На первом этапе сдвиг между двумя последовательными

кадрами определяется корреляционным методом и сопоставляемые ви-

деокадры с использованием найденных параметров сдвига совмещаются с

точностью до пикселя. На втором этапе сдвиги уточняются с субпиксель-

ной точностью с использованием метода оптического потока. Для повы-

шения надежности осуществляется отбор наиболее согласованных оценок

оптического потока. Приводятся результаты экспериментальных исследо-

ваний на имеющихся в открытом доступе данных съемок, подтверждаю-

щие высокую надежность и точность оценок.

Ключевые слова: визуальная одометрия, корреляционный метод, оптиче-

ский поток, опорная плоскость, автономная навигация.

DOI: 10.31857/S000523102110010X

1. Введение

Технологии управления движением транспортных средств с использова-

нием средств визуальной одометрии все шире внедряются в практику [1-4].

Методы визуальной одометрии позволяют оценивать положение и ориента-

цию аппарата с помощью анализа изменений, вызванных движением камеры

на последовательности изображений. Примером ранних исследований в этой

области является программа исследования Марса НАСА, где визуальная одо-

метрия использовалась для оценки положения марсоходов на пересеченной

местности [5, 6].

Традиционные непрямые методы визуальной одометрии [7-9] использу-

ют геометрический анализ разреженных соответствующих ключевых точек

для определения изменений между входными видеокадрами. В таком слу-

чае задача визуальной одометрии сводится к задаче минимизации ошибок

репроекции.

¹ Работа выполнена в рамках Государственного задания по теме FSSS-0777-2020-0017.

124

Прямые методы визуальной одометрии [10-12], наоборот, стремятся сов-

местно определить плотную (полуплотную) регистрацию изменений входных

видеокадров и параметров модели движения камеры. В результате вычисле-

ния плотного поля соответствий между изображениями задача прямых ме-

тодов сводится к минимизации фотометрической ошибки.

Для прямых методов визуальной одометрии в качестве алгоритмов оценки

изменений между изображениями широко используют оптический поток [13]

и корреляционные методы [14], для непрямых методов применяют широкий

спектр различных детекторов ключевых точек Harris detector [15], SIFT [16],

SURF [17], FAST [18] и ORB [19].

В публикации [14] продемонстрирована высокая надежность применения

корреляционного метода на реальном маршруте. Однако в корреляционном

методе относительный сдвиг определяется с точностью до целого числа пик-

селей. Возникающие при этом субпиксельные ошибки могут накапливаться

и вносить заметный вклад в общую ошибку оценивания траектории. В [20]

предпринята попытка преодолеть этот недостаток путем вычисления субпик-

сельных относительных сдвигов с использованием модифицированного коэф-

фициента корреляции. Модифицированный метод субпиксельной корреляции

основан на предположении, что корреляционный отклик убывает по экспо-

ненте. Однако предположения в отношении величины показателя экспоненты

при этом могут не выполняться.

В [21, 22] для определения относительных сдвигов использовался опти-

ческий поток. Параметры сдвига методом оптического потока в отличие от

корреляционного метода могут быть определены с субпиксельной точностью.

Однако надежность решений часто оказывается низкой вследствие неизбеж-

ных помех и искажений видеокадров, которые обычно зависят от области ло-

кализации используемых фрагментов. Кроме того, методы оптического по-

тока ненадежно работают при больших относительных сдвигах между ви-

деокадрами, которые являются следствием либо высокой скорости движения

аппарата, либо малой скорости регистрации видеокадров.

Нейронные сети для решения задачи визуальной одометрии [4, 23] показы-

вают высокую точность, однако результаты сильно зависят от наборов дан-

ных, на которых обучались сети. Надежность этих методов при незнакомых

сценах и условиях съемки не поддается оценке.

Одним из путей повышения точности одометрии является автоматическая

калибровка в режиме функционирования по наблюдениям, поступающим от

дополнительных источников информации. В частности, в последние годы

строятся технологии, основанные на комбинировании нескольких сенсоров

и методов обработки наблюдений [13, 24, 25]. Конечно, это связано с суще-

ственным возрастанием расходов на установку дополнительных сенсоров, тем

не менее такой подход оправдан в случае, когда речь идет о безопасности дви-

жения, например в системах управления железнодорожными транспортными

средствами, воздушными судами и др.

Таким образом, идея комбинирования сама по себе плодотворна и находит

все больше сторонников. Однако представляется, что повышение надежно-

125

сти путем комбинирования только методов обработки информации без уста-

новки дополнительных сенсоров является также перспективным направле-

нием. В рамках этого подхода появляется возможность строить не только

более дешевые, но и более компактные системы управления транспортны-

ми средствами. В ряде случаев достижение минимальных габаритно-весовых

характеристик систем визуальной одометрии является решающим факто-

ром. Идея настоящей статьи состоит в комбинировании методов и алгорит-

мов на информационном уровне без применения дополнительных аппаратных

средств.

Статья построена следующим образом. В разделе 2 рассматривается схе-

ма наблюдения и вводится система координат. В разделе 3 описан алгоритм

построения оценок с использованием корреляционного метода. В разделе 4

приведен алгоритм субпиксельного уточнения оценок с использованием урав-

нений оптического потока. В разделе 5 описана общая схема предлагаемой

двухэтапной технологии с эпизодической корректировкой текущих оценок па-

раметров траектории. В разделе 6 приведены результаты экспериментальных

исследований.

2. Постановка задачи

В последние годы все больший интерес проявляется к системам, в которых

последовательность видеокадров формируется с использованием направлен-

ной перпендикулярно вниз камеры [14, 23, 24]. Связано это, по-видимому,

с тем, что последовательность изображений поверхности, по которой пе-

ремещается аппарат, формируется непрерывно, в то время как при обзоре

окружающей сцены на некоторых участках траектории возможны пропуски

вследствие отсутствия ориентиров на доступных для камеры расстояниях.

В статье рассматривается задача построения оценок двумерных координат

траектории по последовательности изображений, получаемых при движении

аппарата по плоской опорной поверхности. В случае летательного аппарата

предполагается, что движение осуществляется на одной высоте над заданной

плоскостью (в горизонтальном полете это плоскость местного горизонта).

Схема съемки при движении по опорной плоскости показана на рис. 1.

Kaмера

Опорная плоскость

Рис. 1. Схема съемки.

126

Используем следующую систему координат. Начало системы координат,

связанной с камерой, находится в центре фокальной плоскости камеры. Глав-

ная оптическая ось камеры направлена на опорную поверхность по перпенди-

куляру к плоскости в направлении оси Oz (см. рис. 1). Направление оси Ox

системы координат, связанной с камерой, совпадает с направлением оси Ox

системы координат, связанной с опорной плоскостью. Ось Oy образует пра-

вую систему координат.

При движении транспортного средства (ТС) система координат, связан-

ная с камерой, совершает плоскопараллельные перемещения в плоскости,

параллельной опорной. Это означает, что при жестком закреплении каме-

ры изменение направления движения аппарата осуществляется без поворота

вокруг некоторой оси. Если изменение направления движения аппарата осу-

ществляется путем его поворота вокруг некоторой оси, камера должна стаби-

лизироваться в заданном направлении с помощью специальных (например,

гироскопических) устройств.

Для определения траектории в любой другой системе координат должен

быть задан закон движения системы координат, связанной с опорной плоско-

стью, относительно этой системы координат. Не будем касаться этих аспектов

и ограничимся задачей построения оценок траектории на опорной плоскости

в прямоугольной системе координат, связанной с этой плоскостью.

Траекторию движения будем строить в виде непрерывной ломаной линии,

составленной из отрезков прямых, точки сопряжения которых соответствуют

моментам съемки камерой. Кадры, соответствующие концам каждого отрез-

ка, далее будем называть смежными. Предполагаем, что частота съемки до-

статочно высокая, так что аппроксимация непрерывной траектории ломаной

линией удовлетворяет по точности.

При указанном подходе технология визуальной одометрии состоит в опре-

делении последовательности относительных межкадровых сдвигов смежных

кадров и формировании общей траектории аппарата путем их суммирования.

Таким образом, оценки x_k, ŷk, k = 1, 2, . . . , текущих координат аппарата в

любой точке траектории определяются путем суммирования относительных

сдвигов по осям Ox, Oy. Другими словами, текущие координаты траектории

в каждой точке являются накопленной последовательностью относительных

межкадровых сдвигов Δx_k, Δy_k, k = 1, 2, . . . , во всех предшествующих точ-

ках.

При определении сдвигов в каждой точке возможны ошибки, которые на-

капливаются по мере увеличения длины траектории. Ошибки одометрии име-

ют различные источники. Например, при использовании корреляционного

метода относительные сдвиги могут быть определены лишь с точностью до

целого числа пикселей. Свободный от этого недостатка метод оптического

потока ненадежен при больших относительных сдвигах. Ошибки одометрии

связаны также с отклонениями параметров движения аппарата от значений,

при которых осуществлялась калибровка камеры. К сожалению, калибровка

на длинных участках траекторий в расчете на средние значения параметров

движения не спасает положения. Ошибки, связанные с кратковременными

127

нарушениями калибровки на малых отрезках траектории, обычно составля-

ют значительную долю общей ошибки.

В настоящей статье для повышения точности и надежности оценок коорди-

нат авторы предлагают двухэтапную технологию монокулярной визуальной

одометрии. На первом этапе определяется межкадровый сдвиг корреляцион-

ным методом. На втором этапе сдвиги уточняются с субпиксельной точностью

с использованием оптического потока. Кроме того, эпизодически осуществля-

ется корректировка текущих оценок координат траектории по оценкам откло-

нений параметров движения аппарата от калибровочных значений на малых

отрезках траектории.

3. Определение относительных сдвигов корреляционным методом

На первом этапе определяется относительный сдвиг кадров корреля-

ционным методом. Для определения относительных сдвигов на каждой

k-й паре кадров задается область поиска и определяются параметры сдвига

Δx_k(k), Δy_k(k), k = 1,K, соответствующие максимальным значениям нор-

мированных коэффициентов корреляции

∑ (

)(

)

f (x, y) - f⁰

g(x, y) - g⁰

(x,y∈X(k))

(1)

K(f, g, k) =

√

∑

(f(x,y) - f⁰)²

(g(x, y) - g⁰)²

(x,y∈X(k))

где f(x, y), g(x, y), f⁰, g⁰ - функции интенсивности и их средние значения

на изображениях k-й пары кадров. В результате получаем оценки

(2)

Δx(k), Δŷ(k), k = 1, K,

сдвигов по осям Ox, Oy соответственно.

Реализация корреляционного метода связана с большим объемом вычисле-

ний. Это неизбежная плата за надежность оценок. Объем вычислений в зна-

чительной степени зависит от области поиска соответствующего фрагмента.

Для сокращения вычислительных затрат применяется адаптивный алгоритм

формирования области поиска.

Предполагается, что сдвиг между соседними кадрами не может превы-

шать Δx_thr, Δy_thr. После каждого очередного определения координат сдвига

к полученным абсолютным значениям сдвига (2) добавляются указанные по-

роговые значения, при этом получаем допустимые границы области поиска

по обеим координатам:

(3)

Δx_bord = Δx(k) + Δx_thr,

(4)

Δy_bord = Δy(k) + Δy_thr.

Эти значения сравниваются с размерами Δx_bord(k - 1), Δy_bord(k - 1) обла-

сти поиска на предыдущем (k-1)-м шаге определения относительных сдвигов

128

предшествующих кадров и осуществляется корректировка границ по прави-

лам:

(5)

если Δx_bord > Δx_bord(k - 1), то Δx_bord(k) = Δx_bord

(k - 1) - 1,

(6)

если Δx_bord < Δx_bord(k - 1), то Δx_bord(k) = Δx_bord

(k - 1) + 1,

(7)

если Δy_bord > Δy_bord(k - 1), то Δy_bord(k) = Δy_bord

(k - 1) - 1,

(8)

если Δy_bord < Δy_bord(k - 1), то Δy_bord(k) = Δy_bord

(k - 1) + 1.

Получающаяся в результате прямоугольная область поиска оказывается

максимально приближенной к ожидаемым возможным сдвигам. Такой ме-

тод формирования области поиска, кроме прочего, придает дополнительную

устойчивость к единичным грубым сбоям оценивания сдвига, так как запре-

щает оценки сдвигов, которые не могут быть объяснены нормальной скоро-

стью движения аппарата.

4. Субпиксельное уточнение сдвигов методом оптического потока

В классической задаче вычисления оптического потока предполагается,

что пиксель с интенсивностью I (x, y, t) в точке (x, y, t) кадра переходит к

следующему кадру без изменений

(9)

I (x, y, t) =

I (x + Δx, y + Δy, t + Δt) .

Если сдвиги (Δx, Δy, Δt) между этими кадрами невелики, то соотношение (9)

с помощью ряда Тейлора можно записать как

∂I

(10)

I (x + Δx, y + Δy, t + Δt) = I (x, y, t) +

Δx +

Δy +

Δt + τ,

∂x

∂y

∂t

где τ - малое значение, связанное с исключением членов высшего порядка.

Из (10) с учетом (9) можно записать уравнение

(11)

I_xΔx + I_yΔy = -ΔI_t,

где ΔI_t =^∂I∂t = ∂I.

Уравнение (11) содержит два неизвестных. Особенность настоящей зада-

чи состоит в том, что при отсутствии помех и искажений на изображениях

все пиксели должны смещаться на одинаковое расстояние. Поэтому можно

записать переопределенную систему уравнений

(12)

I_x,yΔ = I_t,

где Δ = [Δx, Δy]^T, I_t - матрица-столбец размерности N × 1, I_x,y = [I_x, I_y] -

(N × 2)-матрица, а I_x, I_y, I_t - (N × 1)-матрицы, составленные в соответствии

129

Рис. 2. Пример разбиения на фрагменты.

с соотношениями

]_T

[∂I₁

∂I₂

∂I_N

I_x =

,...,

∂x

]_T

[∂I₁

∂I₂

∂I_N

(13)

I_y =

,...,

∂y

[

]_T

I_t =

- ∂I₁,-∂I₂,... ,-∂I_N

В действительности, изображения всегда содержат шумы и искажения.

Более того, характер и интенсивность искажений в разных частях изображе-

ний могут быть существенно различными вследствие колебаний аппарата во

время движения. Для повышения надежности и точности определения отно-

сительных сдвигов применяем мультифрагментную схему наблюдения. При-

мер представления изображения в виде 16 фрагментов приведен на рис. 2.

Идея состоит в следующем. На первом кадре, например k-й пары кадров,

зададим L фрагментов по всему полю изображения и определим относитель-

ные сдвиги Δx_k(l), Δy_k(l), l = 1, L, каждого l-го фрагмента на втором изоб-

ражении. Далее из полученного множества оценок отбирается подмножество

наиболее согласованных, для определенности обозначим это подмножество Θ.

Идея построения согласованных оценок была ранее реализована в ряде

задач [26, 27]. В данном случае согласованность оценок выступает в каче-

стве признака отсутствия ошибок. Если подмножество Θ существует, то име-

ем все основания полагать, что это подмножество содержит наиболее точные

решения. Нахождение согласованных оценок обычно связано с перебором раз-

личных вариантов подмножеств, что требует значительных вычислительных

затрат. В данном случае (имея в виду возможность реализации технологии

в реальном времени) строим упрощенный алгоритм. В частности, подсчиты-

ваем число оценок с разными знаками. Результаты, образующие небольшое

число оценок одного знака, исключаются. На оставшемся множестве оценок

130

ищется подмножество оценок, удовлетворяющее критерию минимума функ-

ции взаимной близости оценок [26]. Далее на этом подмножестве может быть

построена точечная оценка любым известным методом. Полученные субпик-

сельные смещения добавляются к найденным корреляционным методом на

первом этапе относительным смещениям.

5. Общая схема и алгоритм коррекции оценок координат

Основная проблема при определении текущих координат аппарата мето-

дами одометрии состоит в накоплении ошибок по мере увеличения длины

траектории. Общая ошибка определения траектории включает ошибки оце-

нивания межкадровых сдвигов, а также ошибки, связанные с тем, что пара-

метры движения аппарата могут отличаться от тех, на которых осуществля-

лась калибровка камеры. Вариации параметров движения могут иметь место

вследствие невозможности обеспечить точное значение заданной скорости в

горизонтальной плоскости и точное расстояние от камеры до опорной плоско-

сти. В частности, при колебаниях камеры в направлении оси Oz (см. рис. 1)

нарушение калибровки воспринимается как кажущееся изменение горизон-

тальной скорости. Реальные (или кажущиеся) вариации параметров движе-

ния аппарата в окрестности заданного (среднего) калибровочного значения

обычно носят кратковременный характер, тем не менее накопление этих оши-

бок происходит достаточно быстро.

В данной статье предлагается схема коррекции траектории в процессе фор-

мирования текущих оценок координат. Идея состоит в построении локальных

оценок параметров движения аппарата на коротких отрезках траектории и

эпизодическом внесении поправок в текущие оценки координат при их за-

метном отклонении от калибровочных значений. Здесь и далее полагаем, что

длительность малого отрезка траектории T = m · Δt, где m - заданное чис-

ло кадров, по которым определяется текущая корректирующая поправка, а

Δt - временной интервал между кадрами. Предлагаемая схема коррекции

приведена на рис. 3.

Входной информацией в схеме оценки координат траектории с эпизодиче-

ской коррекцией являются последовательность видеокадров (блок 1) и ожи-

даемая средняя скорость, вычисленная по результатам предварительной ка-

либровки камеры. Для простоты полагаем, что интервалы T одинаковы на

всей траектории.

В приведенной схеме предлагаемая технология реализуется следующим

образом. В блоке 1 с некоторого момента t на каждом такте из видеопоследо-

вательности выбирается два очередных кадра. Далее для каждого дискрет-

ного t = k · Δt определяются межкадровые сдвиги Δx_Korr(t), Δŷ_Korr(t) кор-

реляционным методом по формуле (2). В блоке 2 осуществляется совмещение

кадров путем сдвига второго кадра на найденное число пикселей. Ясно, что

при отсутствии грубых ошибок корреляционного метода после совмещения

кадров остающийся относительный сдвиг не превышает одного пикселя по

любой координате.

131

Рис. 3. Схема коррекции оценок координат.

В блоке 3 относительный сдвиг кадров уточняется в пределах одного пик-

селя методом оптического потока. Найденные по формуле (12) субпиксель-

ные сдвиги Δx_Flow(t), Δŷ_Flow(t) суммируются со сдвигами, найденными ранее

корреляционным методом. В блоке 4 суммарные сдвиги, полученные на те-

кущем такте корреляционным методом и из уравнений оптического потока,

суммируются с оценками координат траектории, полученными на предыду-

щем такте. Таким образом, формируется последовательность отсчетов оценок

координат траектории:

(14)

x(t) = x(t - 1) + Δx_Korr(t) + Δx_Flow

(t),

(15)

ŷ(t) = ŷ(t - 1) + Δŷ_Korr(t) + Δŷ_Flow

(t).

Блоки 5 и 6 образуют контур коррекции траектории. В блоке 5 из после-

довательности межкадровых сдвигов Δx(t) = Δx_Korr(t) + Δx_Flow(t), Δŷ(t) =

= Δŷ_Korr(t) + Δŷ_Flow(t) формируются сдвиги x(T), ŷ(T) на заданном вре-

менном интервале T и с использованием информации о частоте кадров осу-

ществляется оценка текущих локальных скоросте

V_x(T)

V_y(T):

(

)

∑

(16)

V_x(T) = x(T)/T =

Δx(i)

/T,

i=t

(

)

∑

(17)

V_y(T) = ŷ(T)/T =

Δŷ(i)

/T.

i=t

132

Далее определяются отклонения оценок текущей скорости на малом отрезке

траектории от заданной средней скорости движения:

(18)

ΔV_x(T)

V_x(T) - V_cp,

(19)

ΔV_y(T)

V_y(T) - V_cp.

С использованием полученных отклонений в блоке 6 в дискретные момен-

ты времени t = NT , N = 1, 2, . . . , формируются поправки координат траек-

тории, которые затем суммируются с координатами, формируемыми на вы-

ходе блока 4. Соотношения, реализуемые блоком 6 и следующим за ним сум-

матором, с учетом (18), (19) можно представить в виде:

(20)

x_final(NT) = x(NT) + w_x · ΔV_x

(NT ),

(21)

ŷfinal(NT ) = ŷ(NT ) + wy · ΔVy

(NT ),

где w_x, w_y - весовые коэффициенты, учитывающие выбор системы отсче-

та, вероятность случайной составляющей ошибок, связанных с нарушениями

калибровочных характеристик, диапазоны абсолютных значений отклонений

скоростей ТС от среднего значения по осям Ox, Oy и др. Они уточняются

на этапе предварительной калибровки.

6. Результаты экспериментальных исследований

Для экспериментов использовался набор данных Blackbird Dataset [28] для

беспилотных летательных аппаратов (БПЛА), перемещающихся в помеще-

ниях, на основе специально созданной квадрокоптерной платформы. Набор

Blackbird Dataset содержит данные 168 полетов, в каждом из которых ре-

гистрируются данные стереокамеры и обращенной вниз фотореалистичной

виртуальной камеры с частотой 100 Гц. Известны также наблюдения эталон-

ной траектории с частотой 360 Гц. В настоящей статье используется набор

данных полета по траектории “Oval”, включающий 700 последовательных ви-

деокадров. На рис. 4 приведена тестовая траектория в прямоугольной системе

координат, построенная по эталонным точкам.

Для простоты полагаем, что все расстояния измеряются в пикселях, а

интервал съемки между кадрами Δt = 1. Поскольку относительные сдвиги

определяются по паре кадров, финальная оценка координат определена при

t_fin = 699. Начальные значения координат задавались в соответствии с эта-

лонными данными: Δx(1) = -1,412, Δŷ(1) = -0,325.

Цель экспериментов состояла в сравнительном исследовании точности

корреляционного метода, субпиксельного уточнения оценок методом опти-

ческого потока и эпизодической корректировки текущих оценок координат

траектории по оценкам отклонений параметров движения аппарата от калиб-

ровочных значений на малых отрезках траектории. Поскольку все указанные

выше методы являются этапами сквозной технологии, результаты различных

методов просто “выводились” на соответствующих промежуточных этапах ее

реализации.

133

0,5

-3,0

-2,5

-2,0

-1,5

-1,0

-0,5

-1,0

-1,5

-2,0

-2,5

-3,0

Рис. 4. Эталонная траектория.

На первом этапе определялась точность оценок траектории с использо-

ванием корреляционного метода. В этом эксперименте сдвиг второго кадра

относительно первого определялся с использованием фрагментов в центре

кадра размером 51×51. Решение принималось по максимальному значению

нормированного коэффициента корреляции (1). Область поиска на втором

кадре задавалась на каждом шаге в соответствии с соотношениями (5)-(8).

Графики зависимости ошибок оценивания координат X и Y корреляционным

методом (символом о) приведены на рис. 5 и 6 соответственно.

Второй этап - субпиксельное уточнение оценок координат методом опти-

ческого потока. Для реализации второго этапа второй кадр очередной пары

кадров сдвигался “назад” на целое число пикселей, которые предваритель-

но были определены корреляционным методом на первом этапе. Искомые

векторы оценок сдвига Δ = [Δx, Δy]^T определялись как решения переопре-

деленной системы уравнений (12). Для каждой пары кадров формировалось

16 уравнений (12) для фрагментов с размерами 50×50, расположенными по

полю изображений так, как показано на рис. 2. Далее для каждой коорди-

наты из 16 полученных оценок строилась точечная оценка в виде среднего

значения множества наиболее согласованных между собой оценок.

С использованием найденных на обоих этапах оценок сдвигов Δx_Korr,

Δx_Flow, полученных корреляционным методом и по уравнениям оптическо-

го потока соответственно, определялись оценки координат в каждой точ-

ке траектории по соотношениям (14), (15). Начальные значения координат

задавались в соответствии с тестовыми данными: Δx(1) = -1,412, Δŷ(1) =

134

Ошибки оценивания координат траектории

СКО на всей

Финальные

траектории

ошибки

№

Этапы получения оценок траектории

п/п

Коорди- Коорди- Коорди- Коорди-

ната X ната Y ната X ната Y

Метод корреляции (первый этап)

0,2229

0,5564

0,5658

1,2069

Субпиксельные оценки (второй этап)

0,2148

0,5572

0,5952

1,2461

Результаты после коррекции оценок

0,0975

0,1981

0,3130

0,2516

= -0,325. Графики зависимости ошибок оценивания координат X и Y после

второго этапа субпиксельного уточнения (символом ×) приведены на рис. 5

и 6 соответственно.

На завершающем этапе технологии проверялась эффективность предло-

женной схемы эпизодической коррекции траектории по локальным оценкам

параметров движения аппарата на малых отрезках траектории. Для этого

осуществили предварительную калибровку средней “цены” одного пикселя

фотоприемного устройства (камеры). С использованием точных данных о

текущих координатах на тестовом Dataset-е “Овал” подсчитали точный путь

на всей траектории

∑(

)_1/2

S_sampl =

x²(k) + y²(k)

= 8,8635 метров.

k=1

Затем построили оценки текущих координат траектории путем реализации

описанной в настоящей статье двухэтапной технологии и подсчитали оценен-

ный путь

∑(

)_1/2

S_fact =

Δx²(k) + Δŷ²(k)

= 5509,0 пикселей.

k=1

Вычислили калибровочное значение цены пикселя

ΔS_cost = S_sampl/S_fact = 8,8635/5509 = 0,0016

и средней скорости

V_cp = S_sampl/t_fin = 8,8635/699 = 0,0126.

Для выработки корректирующих сигналов на каждом интервале T по

текущим оценкам сдвигов суммировались межкадровые сдвиги на m = 20

тактах. Оценки скорости на этих 20-ти тактах определялись по формулам

(18), (19). Затем для каждой координаты формировались корректирующие

оценки, которые в соответствии с формулами (20), (21) добавлялись к оцен-

кам траектории, полученным до коррекции. При этом задавались весовые

коэффициенты w_x = 10,0, w_y = 15,0.

136

Графики ошибок оценивания координат X и Y траектории с эпизодиче-

ской коррекцией (символом *) приведены тоже на рис. 5 и 6 соответственно.

В таблице приведены данные о величине среднеквадратических ошибок

(СКО) по всей длине траектории, полученные в ходе реализации всех этапов

предложенной технологии.

7. Заключение

Реализована сквозная трехэтапная технология, включающая этапы оценки

межкадровых сдвигов корреляционным методом, субпиксельное уточнение

сдвигов методом оптического потока и коррекцию траектории по текущей

информации об отклонениях сдвигов на локальных участках траектории от

заданного среднего значения.

Как и следовало ожидать, субпиксельная поправка на втором этапе неве-

лика. Связано это с тем, что после первого этапа совмещаются соседние кад-

ры с точностью до пикселя и поправки не могут быть больше величины пик-

селя. В то же время фактический полный межкадровый сдвиг в данном при-

мере на некоторых участках достигал около 20 пикселей.

Интересно, что среднеквадратическое отклонение в направлении оси Oy

оказалось даже несколько выше (0,5572), чем было на первом этапе (0,5564),

хотя визуально из графика на рис. 5 видно, что на большей части траек-

тории ошибка после субпиксельного уточнения все-таки была меньше. Сбой

оптического потока произошел на двух последних участках траектории, где

действительно кадры оказались “смазанными”.

После завершающего этапа - коррекции оценок траектории - наблюдается

существенное увеличение точности оценок координат траектории. Повыше-

ние точности носит устойчивый регулярный характер по всей длине траек-

тории. Таким образом, показана эффективность предложенной схемы эпизо-

дической коррекции траектории по текущим оценкам вариаций параметров

движения на малых отрезках траекторий в окрестности заданного среднего

значения, определяемого предварительной калибровкой камеры.

СПИСОК ЛИТЕРАТУРЫ

1. Nister D., Naroditsky O., Bergen J. Visual Odometry for Ground Vehicle Applica-

tions // J. of Field Robotics. 2006. V. 23. No. 1. P. 3-20.

2. Fraundorfer F., Scaramuzza D. Visual Odometry: Part i: The First 30 Years and

Fundamentals // IEEE Robotics and Automation Magazine. 2011. V. 18. No. 4.

P. 80-92.

3. Fraundorfer F., Scaramuzza D. Visual Odometry: Part ii: Matching, Robustness,

Optimization, and Applications // IEEE Robotics & Automation Magazine. 2012.

V. 19. No. 2. P. 78-90.

4. Min Z., Yang Y., Dunn E. VOLDOR: Visual Odometry From Log-Logistic Dense

Optical Flow Residuals // Proc. IEEE/CVF Conf. on Computer Vision and Pattern

Recognition. 2020. P. 4898-4909.

137

Moravec H.P. Obstacle Avoidance and Navigation in the Real World by a Seeing

Robot Rover. Ph.D. dissertation, Stanford, CA, USA. 1980.

Matthies L., Shafer S. Error Modeling in Stereo Navigation // IEEE J. Robot. Au-

tom. 1987. V. 3. No. 3. P. 239-248.

Kitt B., Geiger A. Lategahn H. Visual Odometry based on Stereo Image Sequences

with Ransac based Outlier Rejection Scheme // 2010 IEEE Intelligent Vehicles Sym-

pos. 2010. P. 486-492.

Pire T., Fischer T., Civera J., Cristoforis P., Berlles J. Stereo Parallel Tracking and

Mapping for Robot Localization // 2015 IEEE/RSJ Int. Conf. on Intelligent Robots

and Systems (IROS). 2015. P. 1373-1378.

Mur-Artal R., Tardos J.D. Orb-slam2: An open-source slam system for monocular,

stereo, and RGB-D cameras // IEEE Trans. Robotics. 2017. V. 33. No. 5. P.1255-

1262.

10.

Newcombe R.A., Lovegrove S.J., Davison A.J. DTAM: Dense tracking and mapping

in real-time // 2011 Int. Conf. on Computer Vision. 2011. P. 2320-2327.

11.

Engel J., Schops T., Cremers D. LSD-SLAM: Large-scale Direct Monocular SLAM //

Eur. Conf. on Computer Vision. 2014. P. 834-849.

12.

Kerl C., Sturm J., Cremers D. Dense Visual SLAM for RGB-D Cameras // 2013

IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. 2013. P. 2100-2106.

13.

Mohamed S.A., Haghbayan M.H., Westerlund T., Heikkonen J., Tenhunen H.,

Plosila J. A Survey on Odometry for Autonomous Navigation Systems // IEEE

Access. 2019. No. 7. P. 97466-97486.

14.

Nourani-Vatani N., Borges P.V.K. Correlation-based Visual Odometry for Ground

Vehicles // J. Field Robotics. 2011. V. 28. No. 5. P. 742-768.

15.

Harris C.G., Pike J.M. 3D positional Integration from Image Sequences // Proc.

Alvey Vis. Conf., Cambridge, U.K. 1987. P. 1-4.

16.

Lowe D.G. Object Recognition from Local Scale-invariant Features // Proc. Int.

Conf. Comput. Vis. (ICCV), Washington, DC, USA. 1999. V. 2. P. 1150-1157.

17.

Bay H., Ess A., Tuytelaars T., Van Gool L. Speeded-up Robust Features (SURF) //

Comput. Vis. Image Understand. 2008. V. 110. No. 3. P. 346-359.

18.

Rosten E., Drummond T. Machine Learning for High-speed Corner Detection //

Proc. 9th Eur. Conf. Comput. Vis. (ECCV). Berlin, Germany: Springer-Verlag. 2006.

P. 430-443.

19.

Rublee E., Rabaud V., Konolige K., Bradski G. Orb: An Efficient Alternative to

SIFT or SURF // Proc. Int. Conf. Comput. Vis. 2011. P. 2564-2571.

20.

Миллер Б.М., Степанян К.В., Попов А.К., Миллер А.Б. Навигация БПЛА на

основе последовательностей изображений, регистрируемых бортовой видеокаме-

рой // АиТ. 2017. № 12. С. 141-154.

Miller B.M., Stepanyan K.V., Popov A.K., Miller A.B. UAV Navigation based on

Videosequences Captured by the Onboard Video Camera // Autom. Remote Control.

2017. V. 78. No. 12. P. 2211-2221.

21.

Goppert J., Yantek S., Hwang I. Invariant Kalman Filter Application to Optical

Flow based Visual Odometry for UAVs // 2017 Ninth Int. Conf. on Ubiquitous and

Future Networks (ICUFN). 2017. P. 99-104.

22.

Muller P., Savakis A. Flowdometry: An Optical Flow and Deep Learning based Ap-

proach to Visual Odometry // 2017 IEEE Winter Conf. on Applications of Computer

Vision (WACV). 2017. P. 624-631.

138

23. Gonzalez R., Rituerto A., Guerrero J.J. Improving Robot Mobility by Combining

Downward-looking and Frontal Cameras // Robotics. 2016. V. 5. No. 4. P. 25.

24. Charrett T.O., Waugh L., Tatam R.P. Speckle Velocimetry for High Accuracy Odom-

etry for a Mars Exploration Rover // Measurement Science and Technology. 2009.

V. 21. No. 2. P. 025301.

25. Мясников В.В., Дмитриев Е.А. Исследование зависимости точности одновре-

менной реконструкции сцены и позиционирования камеры от погрешностей, вно-

симых датчиками мобильного устройства // Компьютерная оптика. 2019. Т. 43.

№ 3. С. 492-503.

26. Fursov V.A., Kotov A.P., Goshin Y.V. Solution of Overdetermined Systems of Equa-

tions Using the Conforming Subsystem Selection // J. of Physics: Conference Series.

2019. V. 1368. Iss. 5. P. 821-828.

27. Fursov V.A., Gavrilov A.V., Goshin Y.V. Conforming Identification of the Funda-

mental Matrix in the Image Matching Problem // Computer Optics. 2017. V. 41.

No. 4. P. 559-563.

28. Antonini A., Guerra W., Murali V., Sayre-McCord T., Karaman S. The Blackbird

Dataset: A Large-scale Dataset for UAV Perception in Aggressive Flight // Int.

Sympos. on Experimental Robotics. 2018. P. 130-139.

Статья представлена к публикации членом редколлегии А.А. Лазаревым.

Поступила в редакцию 20.01.2021

После доработки 26.03.2021

Принята к публикации 30.06.2021

139