Известия РАН. Теория и системы управления, 2020, № 3, стр. 111-125

Введение. Автоматическое детектирование объектов на изображениях и видео – одна из основных задач интеллектуального компьютерного зрения. Цель детектирования состоит в определении наличия и расположения искомого объекта на изображении.

Люди на изображениях являются одним из самых интересных типов объекта для распознавания как с точки зрения сложности решаемой задачи, так и с точки зрения практической значимости. Задача локализации человека на изображениях широко востребована в таких областях, как мониторинг и анализ дорожных ситуаций, обнаружение дорожно-транспортных происшествий, контроль за соблюдением правил дорожного движения, системы безопасности и следящие системы, беспилотные автомобили, робототехника, системы помощи водителю. Сложность распознавания человека на изображении обусловлена несколькими причинами: изменение структуры изображения вследствие движения объекта, неравномерная освещенность сцены, большая вариабельность изображений человека из-за разных ракурсов (поз, размеров, углов поворота), частичные перекрытия фигуры человека другими объектами.

Как правило, множество признаков, которые используются для распознавания объекта, определяются его характерной структурой на изображении. Изображение человека может быть представлено как совокупность силуэтов частей тела, которые являются контурными признаками и представляются на изображении как перепады значений яркости [1]. Однако контуры на изображении могут иметь достаточно сложную и разнообразную структуру, для описания которой необходимо учитывать совокупность контурных признаков – локальных дескрипторов изображения объекта в целом [2–4].

Важнейшим фактором, влияющим на качество детектирования, его устойчивость, является выбранное множество признаков. Чем лучше признаки обладают разделительной способностью, тем проще устроено признаковое пространство. В настоящее время эффективным подходом, в котором структура признаков для детектирования объектов формируется автоматически, стало использование многослойных сверточных нейронных сетей глубокого обучения (CNN) [5–8]. В CNN процедура выделения признаков осуществляется в начальных слоях, являющихся частью классификатора, структура признаков формируется в процессе ее обучения и определяется моделью и архитектурой сети. CNN можно рассматривать как обобщенный подход построения признаковой модели объекта, формирующейся на основе только той информации, которая содержится в обучающей выборке. Чем больше “простых” признаков необходимо задействовать для характеристики целевых объектов, тем больше параметров используется для задания CNN, тем она вычислительно сложнее и требовательней к ресурсам и объему обучающей выборки.

Применение небольшого количества специализированных наиболее информативных дескрипторов, получаемых небольшим количеством операций, значительно уменьшает вычислительную сложность системы детектирования, требования к аппаратной платформе и объему обучающей выборки по сравнению с использованием CNN с большой композицией обобщенных “простых” признаков. В работах [9, 10] строится каскад бинарных классификаторов, где признаки, напоминающие базисные вейвлеты Хаара, вычисляются по локальным прямоугольным областям изображения. Однако детекторы, основанные на данном методе, являются неустойчивыми по отношению к таким факторам, как неравномерное изменение освещения и вариабельность изображения объекта. Эффективная схема построения интегрального вектора признаков для задачи детектирования человека на основе локальных контурных дескрипторов – гистограмм ориентаций градиентов в локальных областях изображения используется в методе HOG (histogram of oriented gradients) [11] и подходах, которые его развивают [12–15]. Так, в [12, 13] для построения модели объекта применяется композиция дескрипторов всего объекта на изображении с низким разрешением и дескрпиторов частей объекта (руки, ноги, голова) на изображении с высоким разрешением. Такой подход позволяет значительно улучшить качество детектирования, однако с существенным увеличением вычислительной сложности метода. В подходе [15] вместо гистограмм ориентаций градиентов в каждой точке предлагается строить двумерные гистограммы ориентаций градиентов пар точек – гистограммы совстречаемости ориентированных градиентов (CoHOG). Такой метод показывает существенный прирост качества описания объектов для детектирования, но при этом сильно увеличивается размерность вектора признаков и количество вычислительных операций.

HOG-дескриптор обладает рядом преимуществ – он устойчив к неравномерному освещению и вычислительно эффективен, однако он недостаточно полно описывает локальные контурные особенности объекта, используя лишь информацию об ориентации, вследствие чего детектор на его основе имеет неудовлетворительный для многих реальных приложений процент ложных срабатываний при принятом уровне пропуска.

Гистограммы ориентаций градиентов можно рассматривать как аппроксимацию проекций модуля градиента на основные направления. В [16, 17] предлагаются методы на основе преобразования Радона для детектирования сложных фигур на изображении. Предлагаемые дескрипторы строятся как проекции в пространстве преобразования Радона бинарных изображений, являются инвариантными относительно поворота, переноса и масштабирования и показывают хорошие результаты, однако для полутоновых изображений результатов получено не было.

В данной работе предлагается подход построения нового семейства локальных дескрипторов объекта на изображении – гистограмм аккумуляторного пространства Хафа (Hough accumulator histograms, HAH) на основе оконного преобразования Хафа. Аккумуляторное пространство получается методом лучевого преобразования Радона градиентного поля изображения. Предложенный подход обобщает HOG-дескриптор, который является частным представителем рассматриваемого семейства. Преобразование Хафа помогает выделять контуры и их пространственные особенности для объектов на изображении, поэтому его применение для построения локальных дескрипторов позволяет учитывать не только локальное распределение ориентаций контурных признаков, но также и их положение. В работе показывается, что задействование дополнительной информации о положении локальных контурных особенностей объекта на изображении позволяет превзойти HOG-дескриптор по качеству. Также, предложенные дескрипторы демонстрируют преимущество по скорости работы на процессорах общего назначения в сравнении с системами на сверточных нейронных сетях, не уступая им по точности.

1. Метод проекций для построения дескриптора в пространстве Радона. Перепады яркости характеризуют контурные границы областей, из которых состоит объект на изображении. Положение, ориентацию и контрастность сегментов границ можно описать в аккумуляторном пространстве Хафа [18]. Совокупность локальных распределений контрастности границ по всем направлениям и положениям будем рассматривать как интегральный дескриптор изображения. Для его построения получим выражение для локального преобразования Хафа путем обобщения лучевого преобразования Радона градиентного поля изображения.

1.1. Преобразование Радона градиентного поля. Будем полагать, что изображение задано некоторой функцией $f(\vec {x}) \in {{L}_{2}}$ с компактным носителем в ${{\mathbb{R}}^{2}}$, где $\vec {x} = (x,y)$ – точка изображения. Рассмотрим преобразование Радона функции $f(\vec {x})$ вдоль прямой $L:\vec {x} = \rho \vec {n} + t\vec {a}$, которое определяется выражением [19]

где t – свободный параметр прямой $L$, $\vec {n} = (cos\alpha ,sin\alpha )$ и $\vec {a} = ( - sin\alpha ,cos\alpha )$ – нормаль и направляющий вектор прямой соответственно, угол $\alpha $ задает ориентацию вектора нормали $\vec {n}$, параметр $\rho = x\,{\text{cos}}\,\alpha + ysin\alpha $ – расстояние прямой $L$ до начала системы координат.

Преобразование Радона (1.1) аккумулирует значения функции  f  вдоль всех прямых $L$, покрывающих носитель функции  f, и характеризует пространственное распределение значений функций по направлениям $\alpha $ на расстояниях $\rho $ от начала системы координат. Таким образом, параметры $\alpha $ и $\rho $ прямых $L$ задают пространство Радона ${{\mathcal{R}}_{{\alpha ,\rho }}}$. Преобразование (1.1) обладает свойством обратимости [19], и, таким образом, вся информация о функции  f сохраняется.

Пространственные особенности контурных признаков на изображении описываются распределением максимальных изменений функции $f(\vec {x})$, задаваемых ее градиентом $\nabla f(\vec {x})$ [20]. Для описания такого распределения определим лучевое поперечное преобразование Радона поля градиентов функции $f(\vec {x})$ на основе преобразования (1.1) (рис. 1):

где $\left\langle { \cdot , \cdot } \right\rangle $ – скалярное произведение, $\nabla f(\vec {x})$ – вектор градиента в точке $\vec {x} = (x,y)$.

Лучевое поперечное преобразование Радона (1.2) для каждой пары параметров $\alpha $ и $\rho $ прямой $L$ аккумулирует значения проекций градиентов функции  f  на нормаль $\vec {n}$ вдоль соответствующей прямой.

Под знаком интеграла (1.2) стоит производная функции f по направлению $\vec {n}$ в точке $\vec {x}$. Действительно, полный дифференциал функции f определяется выражением

где приращение $d\vec {x}$ производится вдоль некоторой прямой $\vec {x} = l\vec {n} + r\vec {a}$ с направляющим вектором $\vec {n}$, нормалью $\vec {a}$, расстоянием до центра системы координат r и свободным параметром вдоль прямой l. Подставляя приращение $d\vec {x} = \vec {n}dl$ в формулу (1.3), получаем выражение для производной по направлению вектора $\vec {n}$:

Таким образом, для каждой точки $(\alpha ,\rho )$ в пространстве Радона (1.2) производится интегрирование вдоль прямой $L$ производных функции $f(\vec {x})$ по направлению $\alpha $ на расстоянии $\rho $ от центра системы координат. Такая интерпретация позволяет расширить применение (1.2) с учетом (1.4) на реальные изображения, которые могут быть не достаточно гладкими в окрестности $\vec {x}$. Наибольшее значение ${{\mathcal{R}}_{{\alpha ,\rho }}}\nabla f$ будет соответствовать такому направлению $\alpha $, вдоль которого преобладают градиенты $\nabla f(\vec {x})$. Таким образом, локальные максимумы в пространстве Радона характеризуют преимущественные направления и локализацию изменений функции f, контурные особенности изображения. На рис. 2 представлено преобразование Радона градиентного поля прямоугольника (изображение инвертировано). В пространстве Радона видны характерные локальные экстремумы, которые являются следствием наибольшего вклада градиента $\nabla f(\vec {x})$ на границах прямоугольника.

Определив угол ориентации вектора градиента $\nabla f$ выражением (рис. 1)

где ${{f}_{x}} = \partial f{\text{/}}\partial x$, ${{f}_{y}} = \partial f{\text{/}}\partial y$, перепишем формулу (1.2) в виде: где $q(\alpha ,\beta (\vec {x}))$ – функция, определяющая вклад модуля градиента в точке $\vec {x}$ в направление α, в частном случае равная $q(\alpha ,\beta (\vec {x})) = cos(\alpha - \beta (\vec {x}))$. Выражение (1.6) обобщает лучевое преобразование Радона (1.2) для произвольной функции вклада и, как будет показано далее, позволяет строить различные модели, аппроксимирующие функцию $cos(\alpha - \beta (\vec {x}))$ и дающие возможность уменьшить количество вычислительных операций.

1.2. Преобразование Хафа градиентного поля изображения. В дискретном случае пространство Радона, полученное с помощью выражения (1.6), можно рассматривать как аккумуляторное пространство Хафа [18]. Для этого зададим разбиение осей пространства Радона {α_n} и {ρ_m}, где $n = \overline {1,N} $ – индексы разбиения по оси $\alpha $, $m = \overline {1,M} $ – индексы разбиения по оси $\rho $. Множество {α_n} задает основные направления для учета вклада градиента изображения на множестве {ρ_m} расстояний от центра системы координат. Таким образом, аккумуляторное пространство Хафа состоит из N × M ячеек-аккумуляторов c центрами $({{\alpha }_{n}},{{\rho }_{m}})$. Для построения аккумуляторного пространства в выражении (1.6) изменим порядок интегрирования. Для каждой ячейки с центром в $({{\alpha }_{n}},{{\rho }_{m}})$ будем суммировать значения подынтегральной функции не вдоль всех прямых, а накапливать результат в них по мере обхода каждой точки $\vec {x} = (x,y)$ градиентного изображения $\nabla f(\vec {x})$ и подсчета вклада градиента в них по всем направлениям разбиения $\{ {{\alpha }_{n}}\} $. Таким образом, аккумуляторное пространство Хафа получим из выражения (1.6):

где $p({{\rho }_{m}},{{r}_{n}}(\vec {x}))$ – интерполяционная функция, определяющая вклад модуля градиента в точке $\vec {x}$ в ячейки по оси $\rho $ и с помощью функции ${{r}_{n}}(\vec {x})$ связывающая точку $\vec {x}$ с ячейкой-аккумулятором $({{\alpha }_{n}},{{\rho }_{m}})$, в которую следует занести результат суммирования. В простейшем случае, функция $p({{\rho }_{m}},{{r}_{n}}(\vec {x}))$ интерполирует вклад модуля градиента в смежные ячейки по оси $\rho $ и имеет вид

Построение аккумуляторного пространства (1.7) отличается от классического подхода [18] тем, что модуль градиента для каждой ячейки учитывается с весом, равным его вкладу на данное направление.

Аккумуляторное пространство Хафа для градиентного поля ∇f (1.7) можно рассматривать в качестве пространства, характеризующего контурные признаки изображения, и строить на его основе дескрипторы.

1.3. Оконное преобразование Хафа. Для учета локальных особенностей изображения объекта определим локальное преобразование Хафа с помощью схемы разбиения изображения на ячейки, предложенной в работе [11]. Изображение объекта $f(x,y)$, где x, $y$ – координаты точки изображения размером $X \times Y$, разбивается на смежные квадратные ячейки размером $K \times K$ точек, $I = X{\text{/}}K$ ячеек по горизонтали и $J = Y{\text{/}}K$ ячеек по вертикали. Четыре смежные ячейки объединяются в пересекающиеся квадратные блоки $\{ Bloc{{k}_{{i,j}}}\} $, где i, j – индексы блока по вертикали и горизонтали соответственно. Таким образом, каждый блок $Bloc{{k}_{{i,j}}}$ содержит $2K \times 2K$ точек и имеет общие ячейки с соседними блоками. На основе формулы (1.7) определим оконное преобразование Хафа для ячейки с индексом k, где $k = \overline {1,4} $, внутри блока $Bloc{{k}_{{i,j}}}$ следующим выражением:

где ${{g}_{k}}(\vec {x},{{\vec {c}}_{{i,j}}})$ – оконная функция, определяющая вес преобразования для каждой точки $\vec {x}$ внутри ячейки k блока $Bloc{{k}_{{i,j}}}$, ${{\vec {c}}_{{i,j}}}$ – координаты центра блока, функция ${{o}_{{i,j}}}(\vec {x})$ задает координату левого нижнего угла ячейки, содержащей точку $\vec {x}$, и определяет центр локальной системы координат, относительно которой вычисляется значение ${{r}_{n}}(\vec {x})$ при проходе по блоку $Bloc{{k}_{{i,j}}}$.

В качестве функции окна будем использовать композицию функции Гаусса с эффективной шириной 2K точек и функции билинейной интерполяции между точками четырех смежных ячеек в виде

где $\sigma $ – среднеквадратичное отклонение функции Гаусса, $BL{{I}_{k}}\left( {\vec {x} - {{{\vec {c}}}_{{i,j}}}} \right)$ – функция билинейной интерполяции между ячейками блока (i, j) для ячейки с индексом k, описанная в работе [11]. Данная оконная функция позволяет строить преобразование Хафа для последовательности пересекающихся блоков изображения методом скользящего окна.

1.4. Интегральный дескриптор объекта на изображении. Построим интегральный дескриптор изображения объектов путем объединения множества локальных дескрипторов. Определим локальный дескриптор блока вектором ${{\vec {b}}_{{i,j}}} = \{ {{\vec {u}}_{{i,j,k}}}\} _{{k = 1}}^{4}$, где ${{\vec {u}}_{{i,j,k}}}$ – дескрипторы ячеек в пределах блока.

Используем оконное преобразование Хафа (1.9) для построения локального дескриптора. Для этого уменьшим размерность аккумуляторного пространства путем построения его проекции в пространство одного из параметров (рис. 3). Именно такие проекции называются гистограммами аккумуляторного пространства Хафа (HAH) и используются далее в качестве дескрипторов ячейки ${{\vec {u}}_{{i,j,k}}}$ [21].

Определение 1. Вектор $\vec {u}_{{i,j,k}}^{{HAH - A}}$ является HAH-A-дескриптором ячейки и определяется проекцией $\mathcal{H}_{{{{\alpha }_{n}},{{\rho }_{m}}}}^{{i,j,k}}$ (1.9) на подпространство параметра $\alpha $. Вектор $\vec {b}_{{i,j}}^{{HAH - A}}$ – HAH-A-дескриптор блока, объединяющий векторы $\vec {u}_{{i,j,k}}^{{HAH - A}}$:

Определение 2. Вектор $\vec {u}_{{i,j,k}}^{{HAH - R}}$ является HAH-R-дескриптором ячейки и определяется проекцией $\mathcal{H}_{{{{\alpha }_{n}},{{\rho }_{m}}}}^{{i,j,k}}$ (1.9) на подпространство параметра $\rho $. Вектор $\vec {b}_{{i,j}}^{{HAH - R}}$ – HAH-R-дескриптор блока, объединяющий векторы  $\mathop {\vec {u}}\nolimits_{i,j,k}^{HAH - R} $:

Определение 3. Вектор $\vec {u}_{{i,j,k}}^{{HAH - AR}}$ является HAH-AR-дескриптором ячейки и объединяет ее HAH-A- и HAH-R-дескрипторы. Вектор $\vec {b}_{{i,j,k}}^{{HAH - AR}}$ – HAH-AR-дескриптор блока, объединяющий векторы $\vec {u}_{{i,j,k}}^{{HAH - AR}}$:

HAH-A-дескриптор использует данные только о распределении ориентаций градиентов по локальной области, HAH-R-дескриптор – только о распределении положений значимых градиентов по расстоянию от края локальной области, HAH-AR-дескриптор сочетает данные обоих типов и, как показали эксперименты, обладает большей информативностью.

HAH-R- и HAH-А-дескрипторы блока нормируются с помощью одной из двух норм, $L2$-нормы –

либо $(L2 - hys)$-нормы – где минимум берется по каждой паре компонент векторов, h – пороговое значение, которое введено с целью фильтрации шумовых выбросов в компонентах дескриптора и равное $h = 0.2$, $\vec {1}$ – вектор, каждая компонента которого равна единице [11]. Нормированный HAH-AR-дескриптор блока строится путем объединения нормированных HAH-R- и HAH-А-дескрипторов:

Интегральный дескриптор изображения объединяет все нормированные дескрипторы блоков (1.16):

1.5. Аппроксимация функции вклада. Функция $q({{\alpha }_{n}},\beta (\vec {x}))$, определяющая вклад модуля градиента в каждое направление, позволяет обобщить преобразование Хафа (1.9). Для одинакового учета вкладов противоположно направленных градиентов в аккумуляторном пространстве предлагается брать модуль косинуса разности между компонентами α_n и направлением градиента [21] (рис. 4, а):

Такая функция вклада определена для всех компонент разбиения $\{ {{\alpha }_{n}}\} $. Аккумулирование всех проекций градиента по полному набору компонент $\{ {{\alpha }_{n}}\} $ в преобразовании (1.9), как будет показано далее, требует больше вычислительных операций по сравнению с методом HOG [11, 21]. Более того, определение в каждой точке $\vec {x}$ всех компонент $\{ {{\alpha }_{n}}\} $ в формуле (1.9) может оказаться избыточным, так как, во-первых, маленькие по модулю проекции градиента не дают существенный вклад в соответствующую ячейку-аккумулятор, во-вторых, использование только основных, наибольших проекций градиента, может быть достаточным для репрезентативного описания окрестности каждой точки, так как изображения могут быть достаточно гладкими функциями. Уменьшив количество компонент $\{ {{\alpha }_{n}}\} $ в каждой точке $\vec {x}$, можно снизить количество вычислительных операций, сохранив приемлемую точность построения дескрипторов (1.11)–(1.13).

Построим несколько альтернативных моделей функции вклада, аппроксимирующих исходную функцию, но использующих не все компоненты разбиения $\{ {{\alpha }_{n}}\} $. Их количество будем ограничивать параметром l. Определим функции вклада ${{q}_{{cos}}}$ (рис. 4, а), ${{q}_{{triang}}}$ (рис. 4, б) и ${{q}_{{rect}}}$ (рис. 4, в) для всех $n = \overline {1,N} $ с помощью выражений:

Как видно из рис. 4, параметр $l$ определяет эффективную ширину модельной функции. Модельная функция ${{q}_{{cos}}}({{\alpha }_{n}},\beta (\vec {x}),l)$ (1.18) при l = N совпадает с функцией вклада (1.17).

Заметим, что HAH-A-дескриптор с функцией вклада ${{q}_{{triang}}}({{\alpha }_{n}},\beta (\vec {x}),l)$ при l = 2 эквивалентен HOG-дескриптору [11, 21]. За счет малой ширины функции и, соответственно, использования всего двух компонент в разбиении {α_n} для аккумулирования модуля градиента подсчет HOG-дескриптора производится быстрее по сравнению с альтернативными дескрипторами. Таким образом, оконное преобразование Хафа градиентного поля изображения (1.9) является общим подходом для описания целого семейства HOG-подобных дескрипторов.

Рассматриваемые функции вклада и соответствующие значения параметра l будем кодировать в названии модельной функции следующим образом: 〈название функции аппроксимации〉 {значение l}. В табл. 1 приведены используемые названия модельных функций для разных значений параметра l.

1.6. Детектор объекта в пространстве признаков на основе обучения. Построение детектора объекта включает две подзадачи: построение дескриптора области изображения в пространстве признаков (1.16) и его использование для бинарной классификации, отнесения к классу изображений целевого объекта или к классу фона (рис. 5). Как и в работе [11], будем использовать линейный классификатор и обучать его методом опорных векторов (support vector machine, SVM) с линейным ядром.

Веса классификатора, определяющие разделяющую гиперплоскость в пространстве признаков (1.16), находятся из процедуры обучения по обучающей выборке из базы изображений, содержащий два подмножества изображений: с положительными примерами, содержащими пешеходов, и отрицательными примерами, содержащими фон.

Как и в [11], процесс обучения будем проводить в два этапа. На первом этапе обучение производится на выборке, составленной из положительных примеров (пешеходов) и случайной выборки областей из изображений фона (отрицательные примеры). После первого этапа обученный классификатор используется для сбора “сложных” областей фона, где детектор ошибается и ложно срабатывает. Эти примеры добавляются в обучающую выборку в качестве отрицательных. На втором этапе классификатор заново обучается по расширенной выборке.

2. Вычислительный эксперимент. Для обучения и тестирования детекторов на основе разработанных методов использовались базы изображений пешеходов INRIA [22] и СityPersons [23, 24].

Обучающая база INRIA содержит 2478 цветных изображений пешеходов размером 160 на 96 точек. Для обучения из каждого изображения выбиралось центральное окно размером 128 на 64 точки. Обучающая выборка содержит 1218 изображений фона. Для обучения в качестве отрицательных примеров выбираются 12 180 окон размером 128 на 64 точки (по 10 случайных окон с каждого изображения). Тестовая база изображений INRIA содержит 1132 изображения пешеходов размером 134 на 70 точки. Для теста из 453 изображений фона с помощью скользящего окна с шагом 4 точки по горизонтали и вертикали выбирались 3 526 548 окон размером 128 на 64 точки.

Обучающая база CityPersons содержит 2975 и 500 цветных изображений дорожных сцен в обучающей и тестовых выборках соответственно. При этом на обучающей размечено 19 654, а на тестовой 3938 пешеходов. Так как в работе ставилась задача разработать дескриптор объекта и не исследовались способы модификации классификатора с целью детектирования загороженных пешеходов, для обучения и тестирования на изображениях выбирались области, содержащие пешеходов, в которых площадь перекрытия другими объектами составляет не более 20% от площади самого пешехода. Таким образом, вырезанных областей, содержащих пешеходов, получилось 10 170 и 1069 в обучающей и тестовой выборках соответственно. Как и для изображений из базы INRIA, вырезанные области имеют размер 160 на 96 точек для обучающей и 134 на 70 точек для тестовой выборок. Отрицательные примеры выбирались из базы INRIA, при этом для обучения выбирались по 20 случайных окон размером 128 на 64 точки из каждого изображения фона.

Для оконного преобразования Хафа (1.9) цветного изображения градиент изображения  $\nabla f(\vec {x})$ выбирается из трех градиентов цветовых каналов; берется градиент с максимальным модулем:

где ${{f}_{c}}(\vec {x})$ – монохромное изображение, соответствующее цветовому каналу $c$ изображения $f(\vec {x})$. Для получения градиентов цветовых каналов частные производные (1.3) рассчитывались с помощью простой разности смежных точек в вертикальном и горизонтальном направлениях.

Для измерения точности обучаемых детекторов строились DET-кривые (detection error tradeoff) на тестовой выборке изображений. В логарифмическом масштабе по оси абсцисс откладывалась доля ложных обнаружений объекта (FalsePositive) на негативных примерах (TotalNegative), FPPW (false positive per window), по оси ординат откладывалась доля неверно отвергнутых примеров (FalseNegative) на положительной выборке (TotalPositive), MissRate, которые определяются выражениями:

При построении кривой на тестовых примерах, содержащих пешехода, выбиралось окно с наибольшим откликом классификатора среди всех окон в окрестности радиусом два пиксела относительно центрального окна.

Все вычислительные эксперименты и замеры времени работы алгоритмов проводились на компьютере с процессором Intel(R) Core^(TM) i7-950 3.07 ГГц c 9 ГБ оперативной памяти, графическим ускорителем Nvidia GTX 1080 1607 MГц в системе Ubuntu 16.04. Замеры времени работы на CPU производились при запуске алгоритмов в однопоточном режиме. Детекторы на основе дескрипторов HAH и HOG тестировались только на CPU.

2.1. Выбор оптимальных параметров для HAH-дескрипторов. Для выбора оптимальных параметров предложенных HAH-дескрипторов детектор пешехода (рис. 5) обучался и тестировался на изображениях из базы INRIA по описанной методике.

Проведенные эксперименты подтвердили результаты работы [11], что для оконного преобразования Хафа (1.9) изображения с размером $X = 64$ и $Y = 128$ и размером ячейки K = 8 оптимальное количество компонент N разбиения углов $\{ {{\alpha }_{n}}\} $ равно 9. Этот параметр был зафиксирован во всех дальнейших экспериментах.

Для выбора наилучшей модели функции вклада (1.18)–(1.20) и значения параметра l классификатор SVM обучался для каждого дескриптора (1.11)–(1.13) c различными типами нормализации (1.14)–(1.15). Значения параметра l выбирались из множества $\{ 2,5,9\} $.

На рис. 6–8 приведены DET-кривые детекторов на основе HAH-A-, HAH-R-, HAH-AR-дескрипторов соответственно, обученных с различными моделями функции вклада. Для каждой функции вклада были отобраны детекторы с наилучшим значением параметра l. На рис. 6, г, 7, г, 8, г даны кривые для отобранных детекторов, показатели точности которых приведены в табл. 2.

Из этих результатов видно, что для каждого дескриптора, оптимального по l, влияние функции вклада на точность мало. Лучший результат для всех дескрипторов получается при минимальной эффективной ширине модели l = 2. Для HAH-AR-дескриптора точность детектора для l = 2 и для l = 5 не отличается, при этом время работы детектора с l = 2 в 2 раза меньше, чем с l = 5. Таким образом, использование только основных, наибольших проекций градиента в оконном преобразовании Хафа (1.9) достаточно для точности работы детектора и позволяет сократить количество вычислительных операций, уменьшив время работы детектора более чем в 2 раза (табл. 3).

Из табл. 2 видно, что детектор на HAH-AR-дескрипторе обладает наибольшей точностью (рис. 9). Он показывает почти в 2 раза меньшую ошибку, чем детектор на HAH-R-дескрипторе, и в 1.4 раза меньшую ошибку, чем детектор на HAH-A-дескрипторе. Таким образом, использование информации не только о локальных распределениях ориентаций градиентов изображения, но и информацию о распределении их положений позволяет значительно улучшить качество детектирования объектов.

Были проведены эксперименты для выбора оптимального значения количества компонент M разбиения $\{ {{\rho }_{m}}\} $ аккумуляторного пространства Хафа для детектора на HAH-AR-дескрипторе. Значения для параметра M выбирались из множества $\{ 4,8,12,16,20\} $. На рис. 10 приведены DET-кривые детекторов, обученных с выбранными моделями функции вклада и различными значениями параметра M. Для каждой функции вклада были отобраны детекторы с наилучшим значением параметра M. На рис. 10, г показаны кривые, отобранных детекторов, показатели точности и времени работы которых приведены в табл. 3.

Из табл. 3 видно, что использование моделей функций вклада с минимальной характерной шириной $l$ позволяет получить точность детектора не хуже, чем с исходной функцией вклада (1.17) для всех $N$ компонент разбиения $\{ {{\alpha }_{n}}\} $, при этом достигается сокращение времени детектирования более чем в 2 раза. По результатам экспериментов наиболее эффективными дескрипторами являются HAH-AR с функциями вклада cos2 и rect2.

2.2. Сравнение с существующими методами. Предлагаемые в работе детекторы сравнивались с детектором на основе HOG-дескриптора [11], а также с детекторами на основе сверточных нейронных сетей архитектур ResNext [25] и Mobilenet [26]. Для сравнения с нейросетевыми детекторами для обучения и тестирования использовалась база CityPersons, так как нейросети для обучения требуют более объемной базы, чем INRIA. Детектор на основе дескрипторов обучался по описанной методике в два этапа. Детектор на основе сверточных нейронных сетей обучался в один этап.

На рис. 11 представлены DET-кривые для сравниваемых детекторов, полученных для базы CityPersons. В табл. 4 приведены показатели точности и времени работы детекторов.

Результаты экспериментов показывают, что использование HAH-AR-дескриптора позволяет получить детектор с ошибкой в 2 раза меньшей, чем детектор на HOG-дескрипторе, уступая по времени работы в 2 раза. Детектор на HAH-AR-дескрипторе близок к точности нейросетевого детектора архитектуры ResNext-18, при этом обгоняет его по времени более чем в 2.5 раза.

Заключение. Предложен новый подход построения дескриптора изображения объектов для задачи обнаружения пешеходов, обобщающий метод HOG. На основе лучевого поперечного преобразования Радона градиентного поля изображения предложено оконное преобразование Хафа градиентного изображения для построения локального аккумуляторного пространства, в котором модули градиента накапливаются с учетом их вклада в различные направления. Проекции в этом пространстве позволяют построить дескрипторы областей изображения. Предложенный подход обосновывает HOG-дескриптор, который является частным случаем построенного HAH-AR-дескриптора с узкой моделью функцией вклада градиента. Использование только наибольших проекций градиента не ухудшает точность построенного на дескрипторе детектора и при этом значительно сокращает количество вычислительных операций. Сравнение детектора HAH-AR с другими детекторами показывает его преимущество по скорости работы на процессоре общего назначения при конкурентной точности.