Программирование, 2021, № 4, стр. 56-62

4.1. Общие метрики

В качестве метрик используются IoU и среднее AP по исследованиям.

Полнота определяется как количество верно определенных положительных пикселей, деленное на общее количество положительных пикселей. Точность определяется как количество верно определенных положительных пикселей деленное на общее количество пикселей, отмеченных, как положительные. AP вычисляется как площадь под графиком точность–полнота, где каждая точка графика показывает значение точности и полноты при различных порогах, по которым отсекаются пиксели, определенные моделью как положительные.

IoU показывает, насколько сильно пересекается маска в разметке и полученная моделью:

Стоит также заметить, что при выбранных метриках ошибка в малом количестве пикселей может приводить к различному падению метрик в зависимости от того, сколько истинных пикселей было в размеченной маске. Сложная ситуация возникает с исследованиями, на которых нет пикселей определенного класса. По ним нельзя вычислить mAP. Если пикселей этого класса не нашлось моделью, то не вычисляется и IoU (или его можно принять 1). Если же нашелся хотя бы один, то IoU становится 0, что плохо отражает качество работы модели. Также небольшие ошибки в ответах будут ухудшать метрики на исследованиях с маленьким количеством истинно положительных пикселей гораздо сильнее, чем с большим.

Поэтому было принято решение считать общие метрики по 3 группам исследований: на исследованиях с отсутствующим классом считать среднее количество ложноположительных пикселей на исследование. На исследованиях, где пиксели класса есть, но их меньше 10 000 на все исследование и на остальных считать mAP и IoU раздельно.

4.2. Метрики областей

В результате диалога с радиологами оказалось, что даже при наличии улучшения модели по общим метрикам, врачи иногда не только не замечали этого улучшения, но еще и считали, что модель работает менее точно. Одной из причин этого является то, что модель находила участки легких и патологий вне легких, например, выделяла области кишечника. Для этого для каждого класса выделялись связанные компоненты и для каждой считалось, пересекается ли она с выделенными радиологами участками легких. Если не пересекается, то считаем, что компонента была определена вне легких. В качестве метрики будем использовать количество компонент вне легких разного размера: маленьких (до 100 пикселей), средних (от 100 до 500) и больших (более 500). Больше внимания стоит уделять именно большим компонентам, поскольку они заметны радиологам больше всего.

5.1. Предварительная сегментация легких

Одним из подходов является предварительная сегментация участков легких, а затем поиск патологий в маскированных легких. Плюсом такого подхода будет то, что при корректной сегментации легких компоненты вне них не найдутся. Также сегментацию легких можно проводить на изображениях меньшего масштаба, что повысит точность сегментации, поскольку легкие занимают достаточно большую часть среза, в отличие от патологий. Минусами такого подхода является то, что в таком случае плевральный выпот будет маскирован, поскольку он не является частью легкого, а также то, что возрастут вычислительные и временные расходы на сегментацию легких.

Отдельным вопросом стоит то, какой константой следует заполнять маскированную область. С одной стороны ее можно заполнить значением, которое соответствует воздуху, а с другой стороны ткани, которая окружает легкие. Было опробовано оба варианта, пример можно видеть на рис. 3.

5.2. Введение модуля “RCCA”

Этот модуль был описан в статье CCNet: Criss-Cross Attention for Semantic Segmentation [8]. Основная идея внедрения этого модуля заключается в том, чтобы в какой-то момент информация перераспределялась со всего изображения, чтобы сеть смогла более корректно отличать патологии и легкие от похожих на них структур по информации из контекста со всего изображения. В этой работе модуль помещен между энкодером и декодером сети U-Net, как показано на рис. 4.

5.3. Введение стабилизирующей функции потерь

Также было предожено вставить дополнительную голову сети после энкодера или после модуля RCCA (при наличии) и вычислять грубую сегментацию в маленьком размере для того, чтобы сеть научилась не выделять большие компоненты в неправильных местах. Предложено предсказывать два варианта сегментаций и сравнить их между собой. Можно предсказывать ту же самую карту, что и после декодера, но в меньшем разрешении и использовать ту же функцию потерь, а можно предсказывать вероятность того, что пиксель принадлежит к интересующим нас классам и использовать бинарную кросс-энтропию.

6.1. Исследование влияния предварительной сегментации легких

Исследования проводились для моделей, которые предсказывали класс “патология” на предварительно маскированных легких.

Как видно из табл. 1, сегментация ухудшает ситуацию и на тех срезах, где патологий нет, поскольку начинает выдавать больше ложноположительных результатов, и на срезах, где патологии присутствовали.

Отдельно стоит отметить, что на результат может сильно влиять выбранная константа для заполнения маскированных регионов, поэтому стоит заострять на этом внимание, если используется подобная техника.

6.2. Исследование влияния модуля “RCCA” и стабилизирующей функции потерь

Исследования проводились для моделей, которые предсказывали классы “легкое”, “патология”, “плевральный выпот”.

Для начала проанализируем то, как повлияло включение модуля на нахождение участков классов вне легких. Результаты представлены в табл. 2.

А также проанализируем влияние на общие метрики качества сегментации для классов “патология” (табл. 3) и “плевральный выпот” (табл. 4).

Сравнивая значения метрик, получаем, что применение стабилизирующих функций потерь уменьшает количество участков, найденных вне легких. При этом она чуть понижает значения метрик, которые были получены на изображениях с малым количеством патологий, зато увеличивает значения метрик, которые были получены на изображениях с большим количеством патологий. Также видно, что модуль RCCA сам по себе ухудшает значения метрик, но если поставить на его выходы стабилизирующую функцию потерь, то по общим метрикам он выигрывает на изображениях с большим количеством патологий и не сильно проигрывает на изображениях с малым количеством патологий, а также уменьшает количество ложных участков вне легких.

Примеры работы модели можно увидеть на рис. 7. В левой верхней строке слева разметка радиологов, справа результат работы модели, в нижней строке оригинальный срез с разными настройками просмотра.