Корреляционно-энергетический критерий качества изображения, кодированного по стандарту MPEG-2

Константин Гласман, Алексей Логунов, Александр Бабаян

Предисловие

Переход телевизионного вещания на цифровые стандарты происходит во всем мире. В течение ближайших десяти лет на цифровое наземное вещание по стандарту DVB-T перейдет и Россия. Этот стандарт предусматривает способ кодирования и сжатия изображения и звука по стандарту MPEG-2. Компрессия приводит к появлению искажений, что требует постоянного инструментального контроля качества изображения. В статье описывается алгоритм оценки качества изображений, компрессированных по стандарту MPEG-2, на основе использования D-изображения как опорного на шкале качества.

Введение

Появление новых цифровых систем передачи телевизионного сигнала поставило перед специалистами, работающими в сфере телевизионных измерений, новые задачи [1]. Возникновение систем сжатия, основанных на устранении информационной и психофизической избыточности, потребовало разработки для оценки качества изображения в таких системах новых методов, учитывающих особенности зрительного восприятия.

Подобно тому, как в большинстве методов проведения субъективных испытаний для фиксации верхней отметки шкалы используется эталонное изображение, большинство разработанных методов объективной оценки качества предполагает наличие в точке тракта, где производится измерение, опорного изображения или его препарата. Расчет степени мешающего воздействия искажений и потерь, обусловленных системой видеокомпрессии, производится путем анализа пространственной и временной структуры, спектральных и статистических характеристик разности между каждым кадром оригинальной последовательности и соответствующим кадром принятой последовательности или между их контурными препаратами.

Необходимость передавать опорные последовательности в точку измерения ограничивает применение этих методов сферой разработки, оптимизации, выбора и компоновки новых систем сжатия.

Однако экономические соображения ставят перед вещателями задачу определения количества и качества телевизионных программ, фактически доставляемых потребителю. Разработчиками предлагаются следующие компромиссные решения проблемы текущего автоматического контроля [2-7]:

— сокращение скорости цифрового потока, несущего информацию об опорном изображении, за счет уменьшения разрядности представления контурного препарата (иногда такой способ называют стратегия «в полосе частот»);

— сокращение скорости цифрового потока, несущего информацию об опорном изображении, за счет отказа от передачи опорной информации без специального запроса (стратегия — «вне полосы частот»);

— наличие в точке измерения набора оригинальных тестовых последовательностей.

Такие решения обладают рядом недостатков.

Рис 1. Исходное и D-изображения

Последнее решение, строго говоря, вообще не годится для решения задачи текущего контроля качества изображения, а лишь помогает проводить плановый регулярный контроль состояния канала передачи; кроме того, эта стратегия предполагает существование общепринятого набора тестовых сюжетов — аналога универсальной электронной испытательной таблицы, передаваемой в перерывах вещания (существование последних на коммерческих каналах с абонентской платой сделает такие измерения качества причиной прямых убытков). При реализации стратегии «в полосе частот» необходимо организовать дополнительный канал для передачи опорной информации, а стратегия «вне полосы частот» предполагает еще и наличие канала обратной связи для выдачи запросов.

Таким образом, к методам измерения качества изображения в цифровых системах предъявляются следующие требования:

высокая точность результатов измерений в области порога допустимых ухудшений изображения;

возможность проведения измерений без перерыва в сетке вещания;

простота аппаратной реализации.

Авторами данной статьи предложен оригинальный подход, заключающийся в использовании D-изображения в качестве опорного. Оно представляет собой «предельно сжатое» изображение, составленное из одних постоянных составляющих блоков дискретного косинусного преобразования (ДКП), используемого в системах сжатия JPEG и MPEG-2 для устранения пространственной избыточности (рис. 1).

D-изображение характеризуется самым низким уровнем качества в рамках данной системы компрессии [10]. Использование «предельно сжатого» D-изображения в качестве опорного подкрепляется следующими соображениями:

— задача текущего автоматического контроля качества заключается в регистрации моментов снижения качества изображения ниже некоторого допустимого уровня. Иными словами, задача состоит в том, чтобы регистрировать плохое, недопустимое качество, поэтому вполне логично использовать для этого вместо меры удаления от эталонного изображения меру близости к «предельно сжатому»;

— D-изображения, получаемые из одного сюжета с разной степенью сжатия и разным уровнем ухудшений, практически не будут отличаться друг от друга вследствие того, что системы сжатия на основе ДКП точно (большим количеством бит на отсчет) передают постоянную составляющую блоков; таким образом, D-изображение обладает необходимым для опорного изображения свойством устойчивости;

— D-изображение может быть извлечено на приемной стороне.

Легко видеть, что описываемый подход свободен от упомянутых ранее недостатков, а последнее — третье — соображение указывает на несомненное его преимущество, заключающееся в отсутствии необходимости в каких бы то ни было дополнительных каналах и любых ограничений на время и место приема, продолжительность и сюжетное наполнение программ, качество доставки которых вещатель сочтет нужным контролировать.

Заметность артефактов видеокомпрессии и алгоритм объективной оценки

Многообразие проявлений артефактов (их называется более десятка) [2-7] обусловлено только локальными характеристиками участка изображения, на котором они возникают, в то время как причин возникновения артефактов гораздо меньше — всего четыре (см. табл.). Это блочное разбиение изображения, квантование коэффициентов ДКП, флуктуация фактора квантования от кадра к кадру и несовершенство алгоритмов оценки движения. Поэтому можно сгруппировать артефакты по причине возникновения, выделив в каждой группе представительный артефакт. При этом необходимо учесть, что при классификации искажений по их проявлениям в ряде случаев допущена некоторая избыточность. Например, артефакты типа «шумов-москитов» (комаров) на контурах объектов возникают по причине квантования коэффициентов ДКП, представляют собой шум базовых функций и сопровождаются разрушением границ. Целью перегруппировки является выделение представительных артефактов, не являющихся частным случаем или комбинацией группы других. В результате анализа были выделены следующие представительные артефакты: блочная структура, размытие изображения, шум базовых функций, разрушение границ.

Классификация артефактов видеокомпрессии MPEG-2
Тип искажений	Характеристики	Причина появления
Блочная структура	Разбиение изображения на прямоугольные блоки с четкими границами — скачками яркости и цветности на границе блока	Квантование коэффициентов ДКП в I-изображениях в сочетании с блочным разбиением изображения
Мозаичная структура	Разбиение изображения на квадратные блоки с размытыми границами и заметными различиями яркости и цветности	Квантование коэффициентов ДКП в I-, P-, B-изображениях в сочетании с блочным разбиением изображения
Размытие изображения	Снижение резкости и детальности изображения, размытие или полное исчезновение мелких деталей	Квантование коэффициентов ДКП в I, P, B-изображениях
Окантовки на границах	Окантовки на перепадах яркости и цветности, колебания яркости вблизи резких переходов	Квантование коэффициентов ДКП в I, P, B-изображениях
Разрушение границ (ступенчатость)	Разрывы контуров объектов, локальные изменения угла наклона контура, ступенчатая форма контурного перепада	Квантование коэффициентов ДКП в I-, P-, B-изображениях в сочетании с блочным разбиением изображения
Шум базовых функций ДКП	Структуры, имеющие распределения яркости и цветности, соответствующие базовым функциям ДКП	Квантование коэффициентов ДКП в I-, P-, B-изображениях, флуктуации Q-фактора от кадра к кадру
Ложные границы	Появление границ, отсутствующих в кодируемом изображении	Квантование коэффициентов ДКП в I, P, B-изображениях в сочетании с блочным разбиением изображения
Шумы-москиты	Флуктуации яркости и цветности на границе между движущимся объектом и фоном	Квантование коэффициентов ДКП в I-, P-, B-изображениях, флуктуации Q-фактора от кадра к кадру, несовершенство алгоритма оценки движения
Зернистый шум	Дрожащие шумы низкой интенсивности в неподвижных и медленно движущихся областях	Квантование коэффициентов ДКП в I-, P-, B-изображениях, флуктуации Q-фактора от кадра к кадру, несовершенство алгоритма оценки движения
Ложные цвета	Заметное несоответствие цветов в макроблоке цветам в кодируемом изображении	Несовершенство алгоритмов оценки движения
Прерывистось движения	Нарушение естественности цветов в макроблоке цветам в кодируемом изображении	Несовершенство алгоритмов оценки движения

Рис. 2. Структурная схема алгоритма объективной оценки искажений при кодировании по стандарту MPEG-2

Между представительными артефактами существует высокая корреляция. Поэтому оценка качества компрессированного изображения может производиться по одному из этих видов артефактов. Многими исследованиями субъективного восприятия артефактов систем компрессии на базе ДКП показано, что одним из наиболее заметных артефактов, вносимых этими системами, является блочная структура [3, 7]. Причина в том, что блок представляет собой простую геометрическую фигуру, которая легко распознается на изображении. Поэтому одним из основных показателей качества изображения в вышеупомянутых системах может стать объективный параметр, связанный с наличием в изображении прямоугольных структур, соответствующих по параметрам блоку ДКП, и их относительной энергией. Зная особенности зрительного восприятия, можно предположить, что восприятие искажений зависит от характера сюжетного наполнения, детальности изображения. Поэтому одной из важных особенностей предлагаемой модели является сегментация изображения на три основные составляющие, каждая из которых играет свою роль в процессе воссоздания наблюдателем зрительного образа: плоские (гомогенные) участки с плавно меняющимися яркостью и цветностью контура, текстуры.

Кроме того, заметность и мешающее воздействие любого артефакта определяется не только его частотными и энергетическими характеристиками, но и маскирующим действием структуры изображения на данном его участке, что также необходимо учесть при разработке модели.

С учетом этих соображений предлагается следующий алгоритм расчета объективного показателя для предсказания субъективного качества изображения в системах сжатия на базе ДКП (рис. 2).

Принятое изображение обрабатывается с целью получения D-изображения. Далее оба изображения подвергаются линейному преобразованию RGB — LUV в равноконтрастное цветовое пространство — пространство, где приращение стимула вызывает пропорциональное приращение ощущения. Это позволяет отказаться от параллельного анализа искажений яркости и цветности и оперировать для каждого отсчета одним числом. Затем оба изображения подвергаются нелинейной фильтрации для получения контурного препарата — карты градиентов:

Gi,j = √ΔX² + ΔY² (1)

где

ΔX = √(Li,j - Li,j-1)² + (Ui,j - Ui,j-1)² + (Vi,j - Vi,j-1)²

ΔY = √(Li,j - Li,j-1)² + (Ui,j - Ui,j-1)² + (Vi,j - Vi,j-1)²

Карта градиентов используется далее в процессе сегментации и для вычисления опорной точки блочного разбиения, необходимой для получения D- изображения.

В результате сегментации каждый блок ДКП получает атрибут, указывающий на то, к какому сегменту он принадлежит: контуру, текстуре, плоскому участку. Алгоритм сегментации является адаптивным и опирается на статистику изображения — гистограмму градиентов. Блоки, содержащие значения градиента, не превышающие порогового значения, относятся к плоским участкам. Остальные блоки относятся к текстурам или контурам, в зависимости от атрибутов соседних блоков. Пороговое значение выбирается равным значению, ограничивающему 75% площади под кривой гистограммы.

Далее для каждого блока рассчитывается корреляционно-энергетическое отношение:

Ek,l = (E1xr)/(E2 + E1) (2)

где

E1 — энергия контурного препарата на границах данного блока,

E2 — энергия контурного препарата внутри блока,

r — коэффициент корреляции контурного препарата данного блока и идеального блока.

Рис. 3. Стадии анализа изображения: а — оцениваемое изображение; b — D-изображение; c — карта градиентов оцениваемого изображения; d — карта градиентов D-изображения; e — карта корреляционно-энергетических отношений(карта заметности блочной структуры)

Коэффициент корреляции является мерой похожести обнаруженной прямоугольной структуры на блок ДКП, а энергетическое отношение оценивает его заметность, так как оно прямо пропорционально величине контурной энергии блока и обратно пропорционально маскирующему воздействию деталей изображения.

Корреляционно-энергетическое отношение усредняется по каждому из сегментов, после чего для каждого сегмента рассчитывается показатель

PR[s] = 1 - (E[s]/E[s]d) (3)

где

E[s] — корреляционно-энергетическое отношение, усредненное по сегменту S оцениваемого изображения,

E[s]d — корреляционно-энергетическое отношение, усредненное по сегменту S соответствующего D-изображения.

За оценку качества последовательности декодированных изображений принимается минимальное значение корреляционно-энергетического критерия в пределах десятисекундного интервала (скользящий минимум).

На рис. 3 показаны стадии анализа изображения на предмет обнаружения блочной структуры и оценки ее заметности.

Нетрудно видеть, что для D-изображения PR обращается в 0, а для эталонного изображения — в единицу.

Субъективные испытания

Для проверки предложенного алгоритма предсказания оценки, полученные с его помощью, сопоставлялись с оценками, полученными при субъективных измерениях.

Целью проведения экспериментального исследования являлось сопоставление субъективных оценок с результатами объективных измерений, достигнутых при помощи предложенного алгоритма.

Для проведения эксперимента была изготовлена видеокомпьютерная установка и разработано программное обеспечение. Экран установки был окружен световым полем, определяющим уровень адаптации зрительного анализатора, в соответствии с рекомендацией ITU-R BT.500 [11].

Программное обеспечение предназначалось для подготовки тестового материала и его предъявления в соответствии с планом эксперимента. Тестовый материал представляет собой 10 тестовых сюжетов по 16 изображений с различной степенью компрессии. В качестве тестовых роликов эксперту предъявлялись сюжеты с разной степенью критичности. Скорость цифрового потока составляла: 2; 2,5; 3; 3,5; 4; 5; 6; 8; 10 Мбит/с.

Эксперимент проводился по процедуре с двумя стимулами и шкалой ухудшений. Эксперту предъявлялся оригинал изображения, а затем тестовое изображение, компрессированное кодеком на базе ДКП — MPEG-2 MP@ML, с разной скоростью сжатия цифрового потока. Каждая пара предъявлялась в рамках серии парных сравнений два раза. При этом соседние тестовые изображения в парах отличались по скорости потока не менее чем на 2 Мбит/с. Временные параметры предъявления соответствовали рекомендациям ITU-R BT.500. Оценки эксперта фиксировались на специальном бланке с надписями, соответствующими категориям шкалы ухудшений («незаметно» — 5 баллов, «заметно, но не мешает» — 4, «немного мешает» — 3, «мешает, раздражает» — 2, «сильно мешает» — 1).

Эксперимент проводился на ЖК-мониторе диагональю 21" при максимальной яркости экрана 100 Кд/м2 и на расстоянии наблюдения 4H, где H — высота экрана.

К экспертизам были привлечены 25 экспертов — студенты Санкт-Петербургского государственного университета кино и телевидения. Программное обеспечение позволяло производить вычисления с изображениями формата BMP. Корреляционно-энергетический критерий рассчитывался для каждого опорного кадра сюжета и для каждой скорости потока. Зависимость экспертных оценок качества от значений PR была аппроксимирована трехпараметрическим логарифмическим трендом, построенным по методу наименьших квадратов:

PQR=Ln(PR-0,55)+6. (4)

Этот тренд использовался для дальнейших расчетов в качестве модели для предсказания экспертных оценок PQR по значениям PR (рис. 4).

Рис. 4. Взаимосвязь субъективных оценок с предсказанными

Для численной характеристики предсказательной способности разработанного алгоритма в данной работе использовались критерии, предложенные группой экспертов по качеству изображения (VQEG). Эти критерии разделены на три группы: критерии оценки точности, монотонности и совместности предсказания. К критериям точности предсказания относятся среднеквадратическая ошибка предсказания и коэффициент корреляции. К критериям монотонности относится коэффициент ранговой корреляции Спирмена. Критерием совместности является отношение несовместности, учитывающее долю оценок, для которых модуль ошибки предсказания превышает удвоенную стандартную ошибку предсказания.

Значение коэффициента корреляции Пирсона составило 0,93, коэффициента корреляции Спирмена — 0,96, стандартной ошибки предсказания — 0,33 балла, отношения несовместности — 0,05.

Высокая линейность полученной зависимости говорит о применимости выбранной модели восприятия артефактов. Кроме того, полученные результаты прямо подтверждают предположение о существовании сильной корреляционной взаимосвязи между проявлениями блочного и других артефактов компрессии на базе ДКП. Эта взаимосвязь наблюдается в большом диапазоне степеней компрессии и в разных по сюжетному наполнению изображениях. Полученные значения показывают, что корреляционно-энергетический критерий применим для оценки качества изображения, кодированного по стандарту MPEG-2 MP@ML, в диапазоне скоростей цифрового потока 2…10 Мбит/с.

Выводы

Разработанный метод оценки заметности артефактов видеокомпрессии MPEG-2 позволяет:

— осуществлять непрерывный контроль качества изображения в реальном времени без перерывов в сетке вещания;

— использовать его при управлении качеством изображений, кодируемых по стандарту MPEG-2, поскольку разработан с учетом особенностей зрительного восприятия искажений компрессии и обладает высокой чувствительностью;

— оценивать степень искажений, внесенных компрессией MPEG-2, по проявлениям только одного представительного артефакта — блочной структуры, следствием чего является простота аппаратной реализации метода, что, в свою очередь, обеспечивает условие его эффективного внедрения в практику телевизионных измерений.

Литература

1. Кривошеев  М. И., Мкртумов  А. С., Федунин  В. Г. Качество изображения и измерения в цифровом телевидении// 625. 1999. №  1. С.72-75.

2. Antonio  C. Franca Pessoa. Video Quality Assessment Using Objective Parameters Based on Image Segmentation. ITU-T, SG12, doc 12-39, 1997.

3. Fibush  D. Practical application of objective picture quality measurements. Proceedings of 1998 International Broadcasting Convention.

4. Lubin, J. A human vision system model for objective picture quality measurements. Proceedings of 1997 International Broadcasting Convention. Pp 498 to 503.

5. Baroncini  V. A. Automatic Visual Quality Control in Digital TV Services. Proceedings of 1998 International Broadcasting Convention. Pp 425 to 430.

6. Hamada  T., Satoshi  H., Matsumoto  S. Picture Quality assessment by three-layered bottom-up noise weighting considering human visual perception. SMPTE, January,1999.

7. Fechter  F. Objective Beurteilung der Qualitaet komprimierter Bildfolgen: Ein heuristisch optimiertes Modell. Fernseh- und Kino-Technik, 1998, N7,s.417-421.

8. Артюшин  Л. Ф. Основы воспроизведения цвета в фотографии, кино и полиграфии. М.: Искусство, 1970.

9. Гласман  К. Ф., Логунов  А. Н., Букина  А. В., Покопцева  М. Н., Шурбелев  П. А. Оценка качества изображения при видеокомпрессии// Техника кино и телевидения. 1999. №  8. С.48-51.

10. Glasman  C. F., Logunov  A. N., Peregoudov  A. F., Lichakov  V. N. Video Compression Artefacts: Predicting the Perceptual Ratings. Proceedings of 1999 Internationl Bradcasting Convention,1999.

11. ITU-R BT.500-7. Methodology for the subjective assessment of the quality of television picture, 1995.