1. На главную
  2. Электронные версии
  3. Программирование
  4. № 3, 2020

Программирование, 2020, № 3, стр. 3-15

СЕГМЕНТАЦИЯ НА ОСНОВЕ РАСПРОСТРАНЕНИЯ ДИНАМИЧЕСКИ ИЗМЕНЯЕМЫХ СУПЕРПИКСЕЛЕЙ

В. В. Данилов a, *, О. М. Гергет a, b, **, И. П. Скирневский a, Р. А. Манаков a, Д. Ю. Колпащиков a

a Томский политехнический университет, Лаборатория дизайна медицинских изделий
634050 Томск, проспект Ленина, д. 2, стр. 33, Россия

b Сибирский государственный медицинский университет
634050 Томск, Московский тракт, д. 2, Россия

* E-mail: viacheslav.v.danilov@gmail.com
** E-mail: olgagerget@mail.ru

Поступила в редакцию 19.12.2019
После доработки 20.01.2020
Принята к публикации 20.01.2020

Полный текст (PDF)

Аннотация

Представленная работа посвящена новому методу сегментации медицинских данных на основе распространения суперпикселей. Предлагаемый метод является модификацией классического алгоритма сегментации на основе выращивания регионов и отчасти наследует концепцию октодеревьев. Основным отличием данного подхода является переход в домен суперпикселей, а также более гибкие условия объединения суперпикселей в регион. В ходе выполнения алгоритма для объединения суперпикселей выполняются проверки на соответствие критериям однородности. Во-первых, средняя интенсивность суперпикселя сравнивается с интенсивностью полученного региона. Во-вторых, каждый пиксель, лежащий на ребрах и диагоналях суперпикселя, сравнивается с пороговым значением. Важной особенностью предлагаемого метода является динамически изменяемый (плавающий) размер суперпикселей. Формирование итогового региона осуществляется посредством построения сплайна по точкам пересечения внешних, по отношению к региону, суперпикселей. В качестве данных для оценки точности метода использовались МРТ изображения левого желудочка сердца, полученные в Университете Йорка, и опухоли головного мозга, полученные в Южном медицинском университете. С целью демонстрации быстродействия метода дополнительно создан набор синтетических изображений высокого разрешения. В качестве метрики оценки точности использован коэффициент подобия Дайса. Его значения для предлагаемого метода соответствуют 0.93 ± 0.03 и 0.89 ± 0.07 при сегментации левого желудочка и опухоли соответственно. На основе приведенного в статье примера показано, что поэтапное уменьшение размера суперпикселя позволяет значительно увеличить скорость работы метода без потери точности.

1. ВВЕДЕНИЕ

Одной из основных задач при работе с медицинскими изображениями является точное выделение области интереса. Данная задача может быть решена методами сегментации [1–3]. Однако, для получения результатов, удовлетворяющих заданной точности, требуется проведение предобработки исходных данных. Следует отметить, что полуавтоматические методы сегментации все еще остаются популярными, поскольку не предъявляют высоких требований к вычислительным ресурсам и являются относительно простыми в реализации. В настоящее время хорошо зарекомендовали себя в области обработки медицинских данных методы машинного обучения, так как позволяют получить высокую точность распознавания образов и устойчивость к различного рода шумам и артефактам [4–6]. Машинное обучение активно применяется для решения задач выделения новообразований, в частности, с целью сегментации опухолей головного мозга [7]. Активное внедрение нейронных сетей наблюдается не только для сегментации изображений. Спектр применения методов этого класса достаточно широк: классификации, кластеризация, поиск объектов, шумоподавление и другое [8, 9].

Несмотря на то, что методы на основе нейронных сетей позволяют выполнять сегментацию трехмерных объектов, популярными остаются подходы, при которых трехмерные данные раскладываются на массивы двумерных проекций так называемых слайсов. Каждый слайс обрабатывается отдельно, а затем происходит процесс восстановления 3D объекта [10, 11]. Разложение трехмерных данных на двумерные составляющие является эффективным инструментом и активно используется в медицине, поскольку в большинстве случаев не требуется проведения анализа всего анатомического объекта. Подобные упрощения играют важную роль в развитии классических методов сегментации, к числу которых относятся методы активных контуров (AC, сокр. от Active Contours), методы выращивания регионов (RG, сокр. от Region Growing), водоразделов (от англ. Watershed). Следует также отметить, что во многих программных продуктах, используемых для разметки и подготовки данных, применяются встроенные полуавтоматические методы сегментации, которые позволяют оператору значительно упростить процесс разметки.

В данной работе продемонстрирован метод двухмерной сегментации медицинских данных на основе распространения суперпикселей с динамически изменяющимся размером. Концепция данного метода базируется на работах Dana Ballard и Richard Adams [12, 13]. Ключевая особенность метода при делении суперпикселей была унаследована от октодеревьев.

2. СВЯЗАННЫЕ ИССЛЕДОВАНИЯ

Метод сегментации на основе выращивания регионов был впервые представлен более десяти лет назад, и постоянно ведутся исследования с целью его улучшения. В работе [14] Jun Tang предлагает выполнять сегментацию цветных изображений на основе комбинации методов выращивания регионов и водоразделов. Несмотря на то, что совместная реализация двух методов дала прирост в точности распознавания, сами методы по-прежнему остаются трудоемкими.

Одна из известных модификаций метода выращивания регионов представлена в работе Joung Park и Chulhee Lee [15]. В данной работе применение морфологических алгоритмов позволило избежать ручной установки начальной точки, которая является обязательным шагом в классическом варианте метода. На основе морфологической маски автоматически осуществлялся поиск начальной точки области интереса и заднего фона. Подобные улучшения применялись и другими авторами, позволяя перейти из домена полуавтоматической сегментации к автоматическим методам. Однако такие известные проблемы этих методов как пересегментация и чувствительность к шуму не были устранены до сих пор [16, 17].

С целью автоматического вычисления начальной точки для метода выращивания регионов были предложены различные подходы, которые позволяли с разной точностью определить пиксели, связанные с областью интереса без участия оператора. В работе [18] Nor Ashidi Mat Isa предлагает целую серию изменений метода RG, связанных с определением порогового значения, модернизацией процесса присоединения пикселей к региону интереса и инициализацией алгоритма. В частности, в статье описывается использование метода кластеризации k-средних для определения области интереса и заднего фона. Все описанные улучшения значительно увеличивают точность метода, однако обладают высокой вычислительной сложностью, что сильно сказывается на времени сегментации.

В процессе исследований также были предприняты попытки комбинирования метода RG и нечеткой логики. В работе [19] авторы применяют так называемый нечетко связанный метод выращивания регионов (Fuzzy Connectivity Region Growing) совместно с классическим методом выращивания регионов.

Другим направлением в исследованиях по сегментации изображений является переход в так называемый домен суперпикселей [20–23]. Одно из самых ранних упоминаний понятия суперпикселя с подробным описанием сути метода встречается в работе Xiaofeng Ren и Jitendra Malik [24]. Под суперпикселем понимается группа пикселей, объеденных по общему признаку или группе признаков. Основным преимуществом суперпикселей является переход от элементарных составляющих изображений к группам пикселей с дальнейшим рассмотрением группы, как целого объекта. При этом ключевым недостатком большинства методов, основанных на суперпикселях, является обработка каждого пикселя в рамках группы при формировании суперпикселя. Такое ограничение не позволяет получить значительных улучшений в производительности и точности метода. Самым распространенным методом группировки пикселей является линейная кластеризация (Simple Linear Iterative Clustering) [7, 20, 22]. Детальное описание перехода в домен суперпикселей представлено в работе Radhakrishna Achanta [25]. Автор проводит сегментацию на основе суперпикселей с использованием метода k-средних и пятимерного пространства признаков. Подход на основе суперпикселей нашел свое применение и в сегментации изображений с высоким разрешением. В работе [21] Ovidiu Csillik демонстрирует метод сегментации изображений с высоким разрешением на основании суперпикселей, полученных линейной кластеризацией. Время, затраченное на сегментацию изображений разрешением 1347 × 1042 и 3701 × 3301 пикселей, составило соответственно 2 и 26 секунд.

Несмотря на то, что двухмерная сегментация на основании суперпикселей достаточно широко распространена в литературе, в большинстве статей авторы не решают проблем, связанных с высокой сложностью алгоритмов, и, как следствие, длительным временем выполнения сегментации. В данной работе представлен метод, который при сохранении точности позволяет значительно снизить скорость обработки изображений за счет использования суперпикселей с динамически изменяемым размером. При этом формирование суперпикселей происходит без прохода по каждому пикселю изображения.

3. ДАННЫЕ И МЕТОДЫ

3.1. Исходные данные

Для исследования и оценки точности алгоритмов были использованы данные, полученные в Университете Йорка (Йорк, Великобритания) [26] и Южном медицинском университете (Гуанчжоу, Китай) [27, 28]. Эти данные находятся в открытом доступе и могут использоваться для проведения исследований при указании ссылки на источник.

Первый набор данных содержит данные МРТ сердца для 33 пациентов. Данные на одного пациента представляют собой 20 фреймов, каждый из которых состоит из 8–15 слайсов. Общее количество данных составляет 7980 двухмерных изображений с разрешением 256 × 256 пикселей. Второй набор данных содержит трехмерные данные МРТ головного мозга 233 пациентов (в том числе с диагностируемыми менингиомой, глиомой, опухолью гипофиза и состоит из 3064 изображений с разрешением 512 × 512 пикселей. Разметка данных проводилась вручную и была продублирована двумя опытными врачами. На изображениях сердца были получены контуры эпикарда и эндокарда левого желудочка. На данных головного мозга выполнена сегментация новообразований. Примеры изображений приведены на рисунке 1. Все изображения обрабатывались на компьютере, оснащенным Intel Core i7-4820K 3.7 GHz CPU и NVIDIA GeForce GTХ 960 с использованием MATLAB.

Рис. 1.

Примеры входных данных для оценки предлагаемого метода сегментации.

3.2. Сегментация на основе выращивания регионов

Метод выращивания регионов построен по принципу присоединения соседних пикселей к начальной точке области интереса. Присоединение происходит исходя из условия однородности. В классической реализации алгоритма условием однородности является отклонение по яркости между соседними пикселями. При этом связанными считаются пиксели, которые удовлетворяют критериям 4-связности или 8-связности.

В классической версии алгоритма существует две реализации: с начальной точкой, которая устанавливается вручную внутри области интереса; без начальной точки, в которой установка первого пикселя происходит случайным образом. Упрощенно работу алгоритма сегментации на основе выращивания регионов можно разделить на следующие шаги:

1. Выбор начальной точки.

2. Сравнение начальной точки с соседними пикселями по условию однородности.

3. Остановка алгоритма, если все пиксели пройдены.

Функция однородности соседних пикселей описана в работе [13] и представлена ниже:

(3.1)
$P\left( {x,r} \right) = \left| {\mathop {f\left( x \right) - \mu }\nolimits_r } \right| < T,$
где $f(x)$ – яркость текущего пикселя, ${{\mu }_{r}}$ – средняя яркость региона, T – пороговое значение.

3.3. Распространение суперпикселей

Как было отмечено ранее, представленный в статье метод сегментации на основании распространения суперпикселей (SPPS, сокр. от SuperPixel Propagation Segmentation) имеет схожий с методом RG принцип работы. Однако, все вычисления переводятся в домен суперпикселей, что позволяет значительно снизить сложность алгоритма и сократить время работы. В статье используется стандартное определение суперпикселя. Для двухмерного случая суперпикселем считается группа связанных пикселей квадратной формы, объединенных некоторым условием однородности. Пиксели считаются связанными, если удовлетворяют критериям 4-связности. Соединение соседних суперпикселей в общий регион происходит на основании нескольких критериев, описанных в пункте 3.4. Итоговый контур формируется посредством сплайна Эрмита. Предложенный алгоритм сегментации SPPS приведен на рисунке 2.

Рис. 2.

Алгоритм сегментации на основании распространения суперпикселей.

В отличии от подходов, описанных в работах [22, 29], алгоритм SPPS не анализирует каждый пиксель в составе суперпикселя. Так, при переходе в домен суперпикселей размерностью 10 × 10 пикселей, в стандартных реализациях будут обработаны все 100 пикселей, что соответствует вычислительной сложности равной $O({{n}^{2}})$. При размере суперпикселя 10 × 10 пикселей для каждого суперпикселя будет обработано от 30 до 60 пикселей без потери точности сегментации (количество может меняться в зависимости от расположения суперпикселя). Формирование и анализ суперпикселей описаны в пункте 3.4. Концепция распространения суперпикселей с изменяемым размером представлена на рисунке 3.

Рис. 3.

Концепция распространения суперпикселей внутри области интереса с последующим изменением их размера.

Аналогично методу выращивания регионов, процесс объединения происходит до тех пор, пока есть хотя бы один суперпиксель, который может быть включен в итоговый регион. Включение суперпикселя происходит только в том случае, если его стороны не пересекают границу области интереса (см. пункт 3.4). Если на ребрах или диагоналях суперпикселя имеется хотя бы одно пересечение, то он не включается в регион, и алгоритм переходит к следующему суперпикселю.

Первый шаг алгоритма заключается в определении центральной точки начального суперпикселя. Выбор точки происходит вручную, таким образом, метод SPPS относится к классу полуавтоматических. После того как выбрана точка, вокруг нее формируется суперпиксель заданного размера. Затем диагонали и ребра суперпикселя проверяются на предмет пересечения с границей области интереса. Если суперпиксель не пересекает границу области интереса, шаг алгоритма считается успешно завершенным. В противном случае алгоритм может продолжить работу только в том случае, если размер исходного суперпикселя будет уменьшен без изменения позиции центральной точки.

3.4. Поиск граничных суперпикселей

В предложенном алгоритме для определения границы области интереса осуществляется обязательная проверка двух условий. Для первого условия, представленного ниже, яркость пикселей, лежащих на ребрах и диагоналях суперпикселя, сравнивается со средней яркостью центральных пикселей уже объединенных суперпикселей. Пороговый параметр является настраиваемым параметром метода.

(3.2)
$\Delta I = \left| {{{p}_{i}} - \frac{{\sum\limits_{j = 1}^k {{{p}_{{{{c}_{j}}}}}} }}{k}} \right| \geqslant T,$
где ${{p}_{i}}$ – яркость текущего пикселя, ${{p}_{{{{c}_{j}}}}}$ – интенсивность центрального пикселя, присоединенного суперпикселя, k – число присоединенных суперпикселей, $T$ – пороговое значение яркости.

Следующее условие, проверяемое параллельно, является аппроксимацией яркостей прямой. Аппроксимация производится методом наименьших квадратов по 5 точкам. Коэффициент, являющийся тангенсом угла наклона прямой, вычисляется согласно следующей формуле:

(3.3)
${\text{tan}}\left( \varphi \right) = \left| {\frac{{n\sum\limits_{i = 1}^n {{{x}_{i}}} {{y}_{i}} - \sum\limits_{i = 1}^n {{{x}_{i}}} \sum\limits_{i = 1}^n {{{y}_{i}}} }}{{n\sum\limits_{i = 1}^n {x_{i}^{2}} - \mathop {\left( {\sum\limits_{i = 1}^n {{{x}_{i}}} } \right)}\nolimits^2 }}} \right| \geqslant Slope,$
где $x$ – точки, расположенные на ребрах и диагоналях суперпикселя (в данном случае от 1 до 5), $y$ – значение яркости, $n$ – позиция точки на ребре. При построении вектора x следует учитывать, что расстояние между пикселями является Евклидовым.

Для текущего пикселя аппроксимация производится с использованием двух пикселей слева и двух справа. Если пиксели являются граничными для данного суперпикселя, то используются дополнительные пиксели, близлежащие к границе суперпикселя. Проверка модуля тангенса угла наклона на превышение некоторого порогового значения позволяет точно детектировать границы и быть устойчивым к шумам.

Проверка на наличие границы производится на ребрах и диагоналях квадрата. Если граница обнаружена на основании выполнения хотя бы одного из условий, то решение о принадлежности суперпикселя к региону отклоняется. Таким образом достигается повышение надежности метода.

Как показано на рисунке 4, каждый суперпиксель имеет шесть сегментов (AB, BC, CD, AD, AC и BD). Каждый отрезок формируется массивом пикселей. Таким образом, решение сводится к поиску точки пересечения с границей области интереса на отрезке. Такой подход значительно сокращает время выполнения алгоритма. Еще одним преимуществом предлагаемого решения является возможность применения любого набора методов для поиска пересечения. Стоит отметить, что, если хотя бы один сегмент пересек границу исследуемой области, алгоритм не обрабатывает остальные отрезки, что позволяет значительно увеличить производительность без потери в точности.

Рис. 4.

Суперпиксель (красный блок), пересекающий границу области интереса в трех точках (зеленые точки).

Суперпиксели расставляются на изображении до тех пор, пока существует хотя бы один суперпиксель, который можно присоединить к итоговому региону без пересечения границ области интереса. Если нет ни одного суперпикселя с заданным размером, которые можно добавить, размер блока уменьшается вдвое, и процесс распространения продолжается. Важно отметить, что суперпиксели меньшего размера расставляются только в свободные области.

Если блоки достигли минимального размера и больше нет ни одной группы пикселей, которую можно присоединить к региону без пересечения границы области интереса, то происходит формирование контура из суперпикселей. Суперпиксель принадлежит контуру только в том случае, если он имеет минимальный размер и одна из его сторон или диагоналей пересекает границу области интереса. Пример расстановки суперпикселей разных размеров и поиска внешних суперпикселей показан на рисунке 5. Зеленые точки указывают на пересечение суперпикселей с границей области интереса.

Рис. 5.

Пример внешних суперпикселей, которые формируют контур области интереса (желтые блоки). Зеленые точки демонстрируют пересечения суперпикселей с границей объекта.

Процедура уменьшения размера суперпикселя может повторяться несколько раз, до тех пор, пока не будет достигнут минимальный размер суперпикселя. Минимальный размер суперпикселя является одним из параметров метода SPPS. Как можно заметить на рисунке 5, последним этапом алгоритма является объединение суперпикселей региона с наименьшим размером (фиолетовые блоки). Они расположены достаточно близко к границе сегментируемой области, но не пересекают ее.

3.5. Формирование контура региона

Как было описано выше, с целью формирования контура области интереса осуществляется обход внешних суперпикселей, которые не были прикреплены к региону. Набор внешних суперпикселей образует контур в соответствии с обязательным условием, описанным в пункте 3.4. При определении контура обход происходит по часовой стрелке. Точки пересечения суперпикселя и границы области интереса сохраняются, создавая массив узловых пограничных точек. Аналогичная процедура выполняется для обхода внутренних границ региона, если таковые существуют.

Имея список узловых точек, строится кубический сплайн Эрмита, который описывает внутренний и внешний контуры сегментируемой области (см. рисунок 6). Итоговая маска сегментируемой области показана фиолетовым цветом на рисунке 7.

Рис. 6.

Кубический сплайн Эрмита (синяя линия), проходящий через узловые точки (зеленые точки).

Рис. 7.

Итоговая сегментация области интереса. Синим цветом выделена граница области, полученная с использованием сплайна, фиолетовым – итоговая маска области интереса.

Точкой пересечения является пиксель, который лежит на ребрах или диагонали суперпикселя и находится в точке пересечения с границей исследуемой области. Алгоритм определения пересечения с границей области интереса описан в пункте 3.4. После того, как все точки пересечения получены существует несколько вариантов формирования итогового контура. Наиболее примитивный – соединение каждой точки отрезками. Однако, такой подход значительно снижает итоговую точность сегментации. Оптимальный подход с точки зрения скорости и точности – построение регрессии полученных точек контура. Проведя исследование и анализ разных подходов, было принято решение отказаться от использования линейного сплайна, поскольку он дает значительную ошибку при построении границ контура. $B$-сплайн также снижает точность сегментации, так как не проходит через точки экстремума. Эмпирически было показано, что применение кубического эрмитова сплайна дает наиболее точный результат сегментации, что достигается за счет возможности прохода через узловые точки и подбора достаточной кривизны на выпуклых и вогнутых участках изображения.

Таким образом, результатом метода сегментации является кубический сплайн, описывающий контур исследуемой области. Такое аналитическое представление может быть более предпочтительным, чем представление сегментированной области в форме маски.

3.6. Определение размеров суперпикселей

Методы сегментации на основании выращивания регионов обладают свойством “вытекания” через нечеткие и размытые границы. Некоторые модификации метода позволяют избежать этот эффект, однако, такие методы имеют высокую вычислительную сложность [24]. Предлагаемый метод SPPS позволяет избежать эффекта “вытекания” путем увеличения минимального размера суперпикселя. Однако, стоит отметить, что размер минимального блока влияет на сглаженность итогового контура. Таким образом, чем больше сторона суперпикселя, тем более сглаженный и менее детализированный контур формируется на выходе. Обратная ситуация происходит при уменьшении размера суперпикселя, а именно, возрастает детализация границы, однако вероятность появления нежелательного эффекта разрыва границы увеличивается.

Начальный размер суперпикселя оказывает большое влияние на скорость работы алгоритма и напрямую зависит как от сегментируемой области, так и от разрешения изображения. Начальный размер суперпикселя $K$ в предложенном алгоритме был рассчитан на основании работы [22]. Формула его рассчета представлена ниже:

(3.4)
$K = \frac{N}{{SF}},$
где $N$ – число пикселей изображения, $SF$ – размер наименьшего сегментируемого объекта.

3.7. Сложность алгоритма

В стандартной реализации алгоритма выращивания регионов требуется по меньшей мере N2 операций для того, чтобы обработать изображение размером N × N пикселей, что соответствует сложности алгоритма $O({{n}^{2}})$. В свою очередь, в предлагаемом алгоритме, для обработки изображения размером N × N пикселей, требуется от 3 × N до 5 × N операций, в зависимости от параметров алгоритма. Единственным исключением является первый суперпиксель, для которого необходимо обработать 6 × N пикселей, то есть все диагонали и ребра суперпикселя. Таким образом, асимптотическая сложность алгоритма SPPS равна $O(n)$. Как будет показано ниже, прирост в скорости вычислений при подобных переходах особенно заметен на изображениях с высоким разрешением.

4. РЕЗУЛЬТАТЫ

В данном разделе приведены результаты оценки точности и скорости предлагаемого метода в зависимости от выбора его параметров. В качестве способа определения точности сегментации был использован коэффициент подобия Дайса (DSC, сокр. от Dice similarity coefficient).

4.1. Сегментация левого желудочка

Сегментация левого желудочка, выполненная предлагаемым методом SPPS, методом выращивания регионов RG, методом активных контуров AC и эталонной сегментации GT, представлена на рисунке 8. Как видно из рисунка 8, для пациентов 2 и 3 метод выращивания регионов сильно выходит за границы региона интереса, что не позволяет выполнить точную сегментацию. Аналогичная картина наблюдается для метода активных контуров. Несмотря на то, что подобные утечки могут быть нивелированы различного рода улучшениями, для работы с разрывами границ потребуются дополнительные вычислительные ресурсы. В свою очередь, метод SPPS позволяет избежать проблемы протекания в местах с низкой интенсивностью на границе за счет управления размером суперпикселей.

Рис. 8.

Сегментация левого желудочка в сравнении с эталонной сегментацией (зеленый контур).

С целью оценки точности сегментации и времени обработки левого желудочка был использован набор данных, состоящий из 156 двухмерных изображений. Точность сегментации левого желудочка для метода SPPS с различными параметрами размеров суперпикселей показана на рисунке 9 и в таблице 1.

Рис. 9.

Точность сегментации левого желудочка для рассматриваемых алгоритмов.

Таблица 1.

Точность сегментации левого желудочка для рассматриваемых алгоритмов

SPPS 20-10-5 SPPS 16-8-4 SPPS 12-6-3
0.93 $ \pm $ 0.03 0.91 $ \pm $ 0.07 0.89 $ \pm $ 0.10
SPPS 8-4-2 RG AC
0.86 $ \pm $ 0.11 0.88 $ \pm $ 0.09 0.71 $ \pm $ 0.17

Кроме того, проведен анализ случаев “протекания” методов через границу области интереса. Такой анализ построен на основе оценки резкого снижения коэффициента Дайса (более 50%). Результаты данного анализа приведены на рисунке 10.

Рис. 10.

Количество случаев ошибочной сегментации левого желудочка.

Как показано на рисунке 9 и в таблице 1, значения коэффициента Дайса для предлагаемого метода SPPS с размерами суперпикселей 8–4–2, 12–6–3 и метода выращивания регионов существенно не отличаются. Однако, интерквартильный размах значительно меньше у предлагаемого метода SPPS для параметров 20–10–5 и 16–8–4, чем у остальных методов. На исследуемом наборе данных метод активных контуров показал себя ненадежным, что подтверждается большим размахом коэффициента Дайса. Следует отметить, что средняя точность метода SPPS выше в связи с тем, что подход к сегментации на основе суперпикселей позволяет избежать “протекания” через разрывы границ.

Более высокая эффективность предложенного метода косвенно подтверждается его надёжностью при сегментации регионов с разрывами. Последнее подтверждается низким уровнем утечек (см. рисунок 10). В 21% исследованных случаев, контур, полученный посредством метода выращивания регионов, выходит за пределы области интереса. Последнее обусловлено размытыми границами или разрывами, что подтверждает низкий уровень надежности данного метода. Схожая картина наблюдается для метода сегментации на основании активных контуров, где процент протекания составил почти 24%. В свою очередь, подбор оптимального размера суперпикселя в предлагаемом методе SPPS позволяет снизить протекание.

4.2. Сегментация опухоли мозга

Сегментация опухоли головного мозга, выполненная представленным методом SPPS, методом выращивания регионов RG, методом активных контуров AC и эталонной сегментации GT, представлены на рисунке 11. При исследованиях сегментации опухоли было выявлено, что алгоритм выращивания регионов RG сохраняет негативную тенденцию протекания через разрывы или размытия границ. Как показано на рисунке 11, костная ткань ошибочно сегментирована для трех представленных пациентов. С другой стороны, метод активных контуров AC выполняет сегментацию эффективнее на данных мозга, чем на данных сердца. В свою очередь, метод SPPS позволяет настраивать размер суперпикселей таким образом, что разрывы границ не оказывали негативного влияния на итоговую точность сегментации.

Рис. 11.

Сегментация опухоли мозга в сравнении с эталонной сегментацией (зеленый контур).

С целью оценки точности сегментации и расчета времени обработки опухоли головного мозга был использован набор данных, состоящий из 300 двухмерных изображений. Точность сегментации опухоли головного мозга для метода SPPS с различными параметрами размеров суперпикселей показана на рисунке 12 и в таблице 2. Кроме того, общее число случаев с низкой точностью, показано на рисунке 13.

Рис. 12.

Точность сегментации опухоли головного мозга для рассматриваемых алгоритмов.

Таблица 2.

Точность сегментации опухоли головного мозга для рассматриваемых алгоритмов

SPPS 20-10-5 SPPS 16-8-4 SPPS 12-6-3
0.89 $ \pm $ 0.07 0.88 $ \pm $ 0.08 0.88 $ \pm $ 0.08
SPPS 8-4-2 RG AC
0.87 $ \pm $ 0.09 0.86 $ \pm $ 0.10 0.83 $ \pm $ 0.13
Рис. 13.

Количество случаев ошибочной сегментации опухоли головного мозга.

Как видно из таблицы 2, существует корреляция между размерами суперпикселей и точностью. Чем меньше размер начального суперпикселя, тем ниже общая точность сегментации. Подобный эффект связан с тем, что в ряде изображений интенсивность пикселей опухоли не отличается от интенсивности костных тканей. Таким образом, при уменьшении размера суперпикселя увеличивается шанс попасть в область слияния региона интереса и заднего фона.

4.3. Время выполнения алгоритма

Для того, чтобы более наглядно продемонстрировать разницу во времени выполнения предлагаемого метода SPPS с методом выращивания регионов RG и методом активных контуров AC были созданы синтетические изображения различного размера. Синтетическое изображение состоит из белого круга в центре и заднего фона черного цвета. Очевидно, точность сегментации таких данных близка к 100%. Однако подобный подход позволяет продемонстрировать быстродействие методов. Как было указано выше, синтетическое изображение было сгенерировано в разных размерах. В результате тестирования методов получено время сегментации изображений разного размера. Данные результаты представлены на рисунке 14.

Рис. 14.

Среднее время сегментации в зависимости от размера изображения.

Для сравнения предлагаемого метода SPPS с методами RG и AC были использованы следующие параметры: размер начального суперпикселя – 16 пикселей, последующие размеры суперпикселей 8 и 4 пикселей. Для методов выращивания регионов и активных контуров выбраны настройки по умолчанию. Видно, что на относительно малых изображениях время сегментации методов RG и AC приемлемое. Однако для изображений с разрешением более 1000 × 1000 время сегментации этих методов становится сравнительно большим. При увеличении разрешения разрыв во времени выполнения только увеличивается. Таким образом, предлагаемый метод SPPS в силу своей низкой вычислительной сложности, показывает возможность эффективного решения задач сегментации изображений высокого разрешения.

5. ЗАКЛЮЧЕНИЕ

Предложенный в работе метод показывает высокую точность и производительность при сегментации изображений с высоким разрешением, медицинских данных с дефектами границы области интереса или изображений с низкой контрастностью. Кроме того, метод может применяться для разметки данных в полуавтоматическом режиме. Наиболее значимым параметром алгоритма, влияющим на быстродействие, является максимальный и минимальный размеры суперпикселей. Увеличение размера наибольшего суперпикселя ускоряет обработку изображения, но снижает детализацию контура. Другой важной особенностью предложенного метода является масштабируемость. Обуславливается это тем, что комбинации различных методов могут быть использованы для обнаружения пересечения с границей исследуемой области, что потенциально повысит надежность процесса сегментации. В качестве дополнительного алгоритма для обнаружения границ могут применяться методы машинного обучения, например, одномерные нейронные сети. Следует также отметить, что данный метод может быть модифицирован для выполнения трехмерной сегментации.

Список литературы

  1. Huang X., Tsechpenakis G. Medical Image Segmentation // Adeanced Materials Research. 2009. № i. P. 1–35.

  2. Rogowska J. Oeereiew and Fundamentals of Medical Image Segmentation // Handbook of Medical Imaging, Elseeier. 2000. P. 69–85.

  3. Pham D.L., Xu C., Prince J.L. Current Methods in Medical Image Segmentation // Annual Reeiew of Biomedical Engineering. 2000. V. 2. № 1. P. 315–337.

  4. Kang H.C., Lee J., Shin J. Automatic Four-Chamber Segmentation Using Leeel-Set Method and Split Energy Function // Healthcare Informatics Research. 2016. V. 22. № 4. P. 285.

  5. Soliman A. et al. Accurate Lungs Segmentation on CT Chest Images by Adaptiee Appearance-Guided Shape Modeling // IEEE Transactions on Medical Imaging. 2017. V. 36. № 1. P. 263–276.

  6. Oktay O. et al. Anatomically Constrained Neural Networks (ACNNs): Application to Cardiac Image Enhancement and Segmentation // IEEE Transactions on Medical Imaging. 2018. V. 37. № 2. P. 384–395.

  7. Pereira S. et al. Brain Tumor Segmentation Using Coneolutional Neural Networks in MRI Images // IEEE Transactions on Medical Imaging. 2016. V. 35. № 5. P. 1240–1251.

  8. Kamnitsas K. et al. Efficient Multi-Scale 3D CNN with Fully Connected CRF for Accurate Brain Lesion Segmentation // Medical Image Analysis. 2016. V. 36. P. 61–78.

  9. Litjens G. et al. A Sureey on Deep Learning in Medical Image Analysis // Medical Image Analysis. 2017. V. 42. P. 60–88.

  10. Daniloe E.E. et al. Catheter detection and segmentation in eolumetric ultrasound using SEM and GLCM // IEEE SciEis Contest. 2018. V. 10. № 4. P. 30–39.

  11. Daniloe E.E. et al. Segmentation Algorithm Based on Square Blocks Propagation // Proceedings of the 29th International Conference on Computer Graphics and Eision / ed. Galaktionoe E. et al. Aachen: CEUR Workshop Proceedings. 2019. P. 148–154.

  12. Ballard D.H., Brown C.M. Computer Eision, Prentice Hall, 1982. 523 p.

  13. Adams R., Bischof L. Seeded Region Growing // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1994. V. 16. № 6. P. 641–647.

  14. Tang J. A color image segmentation algorithm based on region growing // 2nd International Conference on Computer Engineering and Technology, IEEE. 2010. V. 6. P. 634–637.

  15. Park J.G., Lee C. Skull stripping based on region growing for magnetic resonance brain images // Neuroimage. 2009. V. 47. № 4. P. 1394–1407.

  16. Chieerton J. et al. Statistical morphological skull stripping of adult and infant MRI data // Computers in Biology and Medicine. 2007. V. 37. № 3. P. 342–357.

  17. Roy S., Maji P. A simple skull stripping algorithm for brain MRI // 2015 Eighth International Conference on Adeances in Pattern Recognition (ICAPR). IEEE. 2015. P. 1–6.

  18. Isa N.A.M. et al. Automatic Detection of Breast Tumours from Ultrasound Images Using the Modified Seed Based Region Growing Technique // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2005. V. 3682 LNAI. P. 138–144.

  19. Dehmeshki J. et al. Segmentation of Pulmonary Nodules in Thoracic CT Scans: A Region Growing Approach // IEEE Transactions on Medical Imaging. 2008. V. 27. № 4. P. 467–480.

  20. Crommelinck S. et al. SLIC superpixels for object delineation UAE data // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2017. V. 4. № 2W3. P. 9–16.

  21. Csillik O. Fast Segmentation and Classification of Eery High Resolution Remote Sensing Data Using SLIC Superpixels // Remote Sensing. 2017. V. 9. № 3. P. 243.

  22. Duong T.H., Hoberock L.L. DUHO image segmentation based on unseeded region growing on superpixels // 2018 IEEE 8th Annual Computing and Communication Workshop and Conference (CCWC). IEEE. 2018. P. 558–563.

  23. Saxen F., Al-Hamadi A. Superpixels for Skin Segmentation // Workshop Farbbildeerarbeitung. 2014. P. 153–159.

  24. Ren X., Malik J. Learning a classification model for segmentation // Proceedings of the Ninth IEEE International Conference on Computer Eision. 2003. V. 2. P. 10.

  25. Achanta R. et al. SLIC Superpixels Compared to State-of-the-Art Superpixel Methods // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. V. 34. № 11. P. 2274–2282.

  26. Andreopoulos A., Tsotsos J.K. Efficient and generalizable statistical models of shape and appearance for analysis of cardiac MRI // Medical Image Analysis. 2008. V. 12. № 3. P. 335–357.

  27. Cheng J. et al. Enhanced Performance of Brain Tumor Classification eia Tumor Region Augmentation and Partition // Public Library of Science One / ed. Zhang D. 2015. V. 10. № 10.

  28. Cheng J. et al. Retrieeal of Brain Tumors by Adaptiee Spatial Pooling and Fisher Eector Representation // Public Library of Science One. 2016. V. 11. № 6.

  29. Wang L. et al. Left Eentricle: Fully Automated Segmentation Based on Spatiotemporal Continuity and Myocardium Information in Cine Cardiac Magnetic Resonance Imaging (LE-FAST) // BioMed Research International. 2015. V. 2015. P. 1–9.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска содержание выпуска

Программирование

Архивы выпусков Информация о журнале Отправить рукопись в журнал