Сенсорные системы, 2020, T. 34, № 1, стр. 25-31

ВВЕДЕНИЕ

Современные дисплеи состоят из большого количества отдельных элементов, вместе формирующих изображение. В силу несовершенства технологий производства существует некоторая вариативность характеристик элементов одного дисплея, которая приводит к тому, что при подаче на элементы идентичного сигнала их отклик различается. Кроме того, в процессе эксплуатации дисплея все его элементы стареют с разной скоростью, что также приводит к различию между ними (Arnold, Cok, 2006; Harris, 2007). Если подаваемый на дисплей сигнал не учитывает этих различий, то качество формируемого дисплеем изображения деградирует.

Для компенсации таких искажений проводят калибровку дисплея. Задачу калибровки можно сформулировать для различных типов дисплеев: фотоэмиссионных (состоят из самосветящихся элементов с индивидуально управляемой яркостью; различные виды светодиодных дисплеев), трансмиссионных (элементами которого являются управляемые светофильтры, пропускающие излучение общей однородной подсветки; различные виды ЖК-дисплеев), рефлективных (у которых управляется коэффициент отражения внешнего света; электронная бумага и ЖК-дисплеи без подсветки) и трансфлективных (могут функционировать как трансмиссионные или рефлективные, включая подсветку в зависимости от внешнего освещения) дисплеев, для каждого из которых характерен свой тип искажений (Harris, 2007; Uttwani et al., 2012).

В данной работе будет рассмотрена калибровка фотоэмиссионных дисплеев. Такие дисплеи не обладают неравномерностью подсветки, которая встречается среди ЖК-дисплеев, но для них актуальна проблема неоднородности, связанная с вариацией светимости отдельных пикселей за счет разброса параметров при производстве либо неравномерности деградации в процессе использования.

Цель калибровки – найти такое преобразование подаваемого на вход дисплею сигнала, чтобы формируемое на неоднородном дисплее изображение получалось максимально близко к изображению, которое отобразил бы такой же, но идеально однородный дисплей. Поскольку изображение, формируемое дисплеем, предназначено для восприятия человеком, то и близость изображений должна измеряться в смысле сходства восприятия зрительной системой человека, а не, например, измерений спектрофотометра.

Нами предлагается подход к индивидуальной калибровке отдельных самосветящихся элементов дисплея, который с учетом особенностей пространственного цветовосприятия зрительной системы человека минимизирует выраженность дефектов. Данный подход применим для любого типа фотоэмиссионных дисплеев, однако он наиболее актуален для широкоформатных светодиодных панелей, в которых размеры одного пикселя исчисляются в миллиметрах, поскольку такие дисплеи используются вне помещений и соответственно наиболее подвержены деградации со временем.

Далее будет рассмотрена модель дисплея, учитывающая возможность дефектов пикселей, на которой и будет базироваться предлагаемая калибровка. После чего будет поставлена и решена задача минимизации воспринимаемой неоднородности дисплея для поиска параметров калибровки каждого элемента.

МОДЕЛЬ ДИСПЛЕЯ

Пусть производитель спроектировал дисплей размером W на H пикселей, каждый из которых содержит три самосветящихся элемента (субпикселя) трех разных фиксированных цветностей: красный, синий и зеленый. Субпиксель обладает управляемой входным сигналом яркостью свечения от нуля до некоторого максимального значения. Обозначим цвета этих элементов (при максимальной яркости) в стандартном цветовом пространстве CIE XYZ (Smith, Guild, 1931) как ${{e}_{1}}$, ${{e}_{2}}$ и ${{e}_{3}}$. Будем называть их базисными векторами пикселя (каждый из которых соответствует одному из субпикселей). Подаваемый на пиксель управляющий сигнал обозначим коэффициентами ${{J}_{k}} \in [0,1]$, $k = 1,2,3$, задающими долю яркости свечения элементов от максимальной. Тогда цвет, отображаемый пикселем, может быть записан как $\sum\nolimits_{k = 1}^3 {{{e}_{k}}{{J}_{k}}} $.

У однородного дисплея базисные вектора всех пикселей совпадают. Однако вследствие несовершенства процедуры производства и особенностей условий эксплуатации некоторые субпиксели характеризуются меньшей максимальной яркостью, чем заявленная производителем.

Для моделирования дефектов в данной работе использовалась следующая вероятностная модель. Допустим, что все субпиксели дисплея являются независимыми. Каждый из них может быть дефектным с вероятностью $p < 0.01$. Если субпиксель оказался дефектным, то соответствующий ему базисный вектор может быть записан как ${{e}_{k}} = {{e}_{k}}{{d}_{k}}$, где ${{d}_{k}}$ – коэффициент в диапазоне [0, 1), задающий, во сколько раз его максимальная яркость меньше максимальной яркости идеального субпикселя. Для недефектного пикселя ${{e}_{k}} = {{e}_{k}}$, т.е. ${{d}_{k}} = 1$. Таким образом, в описанной модели дефектов направления троек базисных векторов всех пикселей совпадают (лишь за исключением субпикселей, для которых максимально достижимое значение – (0, 0, 0)).

В дальнейшем нам будет удобно оперировать с диагональной матрицей дефектности пикселя $D = \left[ {\begin{array}{*{20}{c}} {{{d}_{1}}}&0&0 \\ 0&{{{d}_{2}}}&0 \\ 0&0&{{{d}_{3}}} \end{array}} \right]$.

МОДЕЛЬ КАЛИБРОВКИ ДИСПЛЕЯ

Перед вычислением калибровки необходимо получить базисные вектора всех пикселей дисплея. Для этого можно, например, подать на вход всех пикселей дисплея управляющий сигнал (1, 0, 0). Тогда на фотографии экрана колориметрически откалиброванной камерой с достаточным разрешением для каждого пикселя получим координаты его базисного вектора ${{e}_{1}}$ в пространстве CIE XYZ. Аналогично получаются базисные вектора ${{e}_{2}}$ и ${{e}_{3}}$. В соответствии с моделью дисплея полученные базисные вектора всех пикселей сонаправлены (с точностью до шума), поэтому вычислив отношения их длин к максимальной длине, построим диагональную матрицу дефектов каждого пикселя.

Дефектность изолированных пикселей дисплея оказывает наибольшее влияние на однородные области изображения, где эти пиксели сильно отличаются от окружения, наличие же дефектных пикселей на текстурированных областях изображения может быть вовсе незаметно. Поэтому при калибровке наиболее важная задача – обеспечить отображение входных сигналов, формирующих однородные изображения на дисплее.

Найденные в литературе методы калибровки дисплеев (Stone, 2001; Bern, Eppstein, 2003) позволяют сводить неоднородность изображения, отображаемого на дисплее, к нулю, однако уменьшают цветовой охват дисплея и его максимальную яркость, вычисляя набор калибровочных параметров, общий для всех пикселей, не учитывая пространственное расположение потенциальных дефектов. Предлагаемый в данной работе подход может не сводить неоднородность изображения к нулю, но уменьшает воспринимаемую неоднородность изображения (заметность дефектов) при сохранении номинальной яркости и цветового охвата дисплея.

Предлагаемый в данной работе подход к калибровке основан на следующей идее: если цвета пикселей, лежащих в окрестности дефектного пикселя, слегка скорректировать линейным образом, умножив на матрицу калибровки так, чтобы в среднем значение дефектного пикселя и его соседей было ближе к желаемому, то за счет малого размера каждого отдельного пикселя зрительная система человека воспримет их вместе так же, как если бы дефектный пиксель был полностью функционирующим, а соседние пиксели никак не корректировались. Результатом калибровки является индивидуальная калибровочная матрица 3 × 3 для каждого пикселя.

МЕТРИКА БЛИЗОСТИ ДВУХ ИЗОБРАЖЕНИЙ

В основе предлагаемой калибровки лежит модель пространственного цветовосприятия зрительной системы человека, при помощи которой можно смоделировать воспринимаемое человеком изображение.

Зрительная система человека менее чувствительна к цветностным и яркостным различиям в мелких деталях по сравнению с крупными (или, что эквивалентно, при отдалении от изображения в определенный момент мелкие детали на нем перестанут разрешаться, т.е. сольются и станут однородными). Аналогично при недостаточном разрешении периодический паттерн некоторой пространственной частоты будет восприниматься визуально однородным. Важно заметить, что при понижении контрастности исходно разрешимого изображения визуальная однородность наступает еще при ненулевом контрасте. Поэтому для численного описания разрешения зрительной системы человека для паттернов всевозможных пространственных частот используют функцию контрастной чувствительности (contrast sensitivity function) (Wuerger et al., 2002). Она описывает зависимость минимального контраста, при котором стимул еще разрешается (т.е. контрастной чувствительности) от пространственной частоты стимула. Пример функции контрастной чувствительности приведен на рис. 1.

Известно, что форма функции контрастной чувствительности зависит от направления цветового вектора контраста стимула (Wuerger et al., 2002). Большинство исследований рассматривают функции контрастной чувствительности в трех направлениях, считающихся независимыми: по оси яркости, в красно-зеленом и сине-желтом направлениях. Предполагается, что, зная чувствительность в этих цветовых направлениях, можно предсказать контрастную чувствительность для любой пары цветов.

В работе (Zhang, Wandell, 1996) была предложена метрика различий изображений S-CIELAB в цветовом пространстве CIELAB (CIE, 1997), в которое добавили учет пространственных свойств зрительной системы человека. S-CIELAB позволяет на основе информации о расстоянии наблюдения (т.е. расстоянии от глаз наблюдателя до дисплея) и разрешения изображений (dpi) по двум изображениям оценить, насколько они будут близки с точки зрения восприятия человеком.

Вычисление S-CIELAB состоит из двух этапов: пространственной фильтрации изображений и попиксельного применения цветоразностной метрики к двум изображениям. На первом этапе моделируется зависимость чувствительности зрительной системы человека от пространственной частоты и цветности стимула с применением функции контрастной чувствительности к изображениям. Функция контрастной чувствительности аппроксимируется при помощи взвешенной суммы нескольких гауссовых фильтров (каждый со своим весом w и параметром силы размытия σ, который масштабируется с учетом информации о расстоянии наблюдения и разрешении изображения). Для более точного применения функции контрастной чувствительности изображение рассматривается не в координатах CIELAB, а в оппонентных цветовых координатах, построенных по трем базисным направлениям: яркостному, красно-зеленому и сине-желтому. Таким образом, строится изображение, избавленное от части артефактов и деталей, которые были незаметны человеку в силу разрешающей способности зрительной системы. На втором этапе S-CIELAB для двух изображений, сформированных на первом этапе вычислений и представленных в цветовых координатах CIELAB, попиксельно вычисляется евклидова метрика, чтобы создать карту ошибок, которая потом с использованием усреднения преобразуется в одно число – значение метрики различий изображений S-CIELAB.

В основу разработанного алгоритма калибровки была положена именно метрика S-CIELAB. Для нее известна величина порога различия JND (just noticeable difference): как и для CIELAB, она равна 2.3 единицы (Mokrzycki et al., 2011). Будем считать, что калибровка дисплея может считаться успешной, если в каждом пикселе значение карты ошибок не превышает этой величины. Использование цветовых координат CIELAB в данной работе не принципиально, и идея пространственной фильтрации S-CIELAB может быть применена к другим цветовым координатам и цветоразностным метрикам, таким как (Luo et al., 2001; Konovalenko et al., 2019).

ПРЕДЛАГАЕМЫЙ АЛГОРИТМ

На вход алгоритму подается набор матриц дефектов пикселей D. Цель алгоритма – построить набор из $H \cdot W$ калибровочных матриц C размера 3 × 3.

Введем необходимые обозначения. Пусть $J(x,y)$ – поступающий на вход дисплею сигнал, заданный в линейных цветовых координатах (для каждого x, y, J – трехмерный вектор-столбец, соответствующий входному сигналу, подаваемому на пиксель). Тогда идеальный дисплей отобразит его как изображение $I = E \cdot J$, где $E = \left( {{{e}_{1}},{{e}_{2}},e{}_{3}} \right)$ – базисные вектора пикселей.

Обозначим за $O(I)$ функцию моделирования воспринимаемого изображения методом, предложенным в S-CIELAB.

Функция $M(J,C) = D \cdot E \cdot \max (0,\min (1,C \cdot J))$ моделирует скорректированный набором матриц $C$ входной сигнал J, отображенный дисплеем с дефектными элементами (иллюстрация для входного однородного серого изображения приведена на рис. 2). Функции взятия максимума и минимума не позволяют результирующим значениям пикселей выходить за границы допустимых состояний.

Задача состоит в минимизации оценки воспринимаемого расстояния между целевым изображением $O(I) = O(E \cdot J)$ и наблюдаемым изображением $O(I{\text{*}}) = O(M(J,C))$. Оценку воспринимаемого расстояния будем проводить с применением метрики S-CIELAB.

Поскольку, как было сказано ранее, наиболее важным является корректность отображения однородных входных сигналов, решение оптимизационной задачи будем искать на однородных изображениях четырех цветов: трех базовых (соответствующих базисным векторам недефектных пикселей) и их суммы – белого цвета.

Задача была сформулирована как минимизация оценки воспринимаемой неоднородности, вычисляемой следующим образом:

где J – входной сигнал, соответствующий однородному изображению одного цвета (красного, зеленого, синего или белого).

ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ

Предложенный алгоритм был реализован на языке программирования Python и экспериментально исследован. Минимизацию целевой функции проводили при помощи алгоритма Adam (Kingma, Ba, 2014). Оптимизацию реализовали с использованием библиотеки Tensorflow и запускали на графическом ускорителе NVIDIA GeForce GTX 1080 Ti.

В данной работе для наглядности моделирования (чтобы даже на небольшом участке изображения или дисплея можно было бы наблюдать различные дефектные пиксели) вероятность дефектности пикселя p была выбрана равной 0.005, что на порядки больше, чем официальные допускаемые производителем значения, которые описаны в работе (LG, 2017). Рисунок 2 в увеличенном масштабе демонстрирует воздействие сформированных калибровочных матриц на однородно серое входное изображение.

Для ускорения сходимости оптимизацию проводили в два этапа с разными параметрами. На первом этапе использовали модель S-CIELAB с меньшим окном размытия (ее параметры приведены в табл. 1), а на втором – S-CIELAB с оригинальными параметрами. Приведенные в таблице значения $\sigma $ масштабировали с учетом информации о расстоянии наблюдения и dpi дисплея.

Переход от первого ко второму этапу происходил, если среднее значение неоднородности ${{L}_{{vis}}}$ уменьшилось в заданное число раз относительно начального значения. Второй этап заканчивался, когда среднее значение неоднородности ${{L}_{{vis}}}$ достигало рекомендуемого порогового значения точности. На случай, если характеристики дисплея не соответствуют критериям переключения и остановки, было установлено максимальное количество итераций оптимизации, равное 5000 как для первой, так и для второй стадии. Кривые обучения для обоих этапов приведены на рис. 3.

Оценку результативности предложенного подхода к калибровке осуществляли путем сравнения изображений с использованием колориметрически откалиброванного дисплея. Выполненная 20 испытуемыми качественная оценка подтвердила наличие эффекта компенсации неоднородности для изолированных дефектных пикселей.

В целях оптимизации скорости выполнения алгоритма, если количество дефектных пикселей на дисплее мало, можно вычислять калибровку не для всего дисплея, а лишь в окрестности дефектных пикселей. Характеристики скорости выполнения оптимизационного алгоритма приведены в табл. 2.

ЗАКЛЮЧЕНИЕ

В данной работе был предложен подход к калибровке отдельных самосветящихся элементов дисплея, максимизирующий воспринимаемую однородность изображения, отображаемого на дисплее, за счет учета особенностей пространственного цветовосприятия зрительной системы человека. Применение данного метода перспективно для использования в широкоформатных светодиодных дисплеях.

Предложенный алгоритм нахождения калибровочных матриц обладает большой вычислительной сложностью из-за применения свертки с пространственно большими ядрами, но не требует частого применения (если элементы не подвержены деградации со временем, то он требуется только при изготовлении дисплея).

В то же время применение калибровки не является вычислительно сложным и может применяться на уровне драйвера дисплея либо быть встроено в непосредственно в контроллер дисплея, если предусмотреть соответствующее запоминающее устройство для калибровочных матриц.

Предлагаемый алгоритм был протестирован на синтетических данных. Оптимизационный алгоритм позволил снизить неоднородность изображения, вычисляемую по полной формуле S-CIELAB на однородных изображениях одного цвета в среднем на 14% (с 0.83 до 0.71 единиц CIELAB).

Развитием работы может служить более строгое моделирование дисперсии характеристик пикселов (в том числе с учетом различий спектральных характеристик), а также использование более точной, чем S-CIELAB, модели пространственного цветовосприятия человеком.