Роль субъективных оценок при тестировании различных видов изображений

Елена Настерова

Не для кого не секрет, что результаты российских конструкторско-технологических и производственных процессов киновидеоиндустрии, в основном, перестали удовлетворять потребителей. Отечественная продукция оказалась неконкурентоспособной по отношению к зарубежным аналогам, к изделиям аудиовизуальной техники, выпускаемым известными во всем мире фирмами- производителями. Очевидно, что в таких условиях внимание специалистов следует обратить на вопросы технической эксплуатации, сервисного обслуживания, параметрической надежности аудиовизуальной техники.

Но даже из такой, на первый взгляд, проигрышной ситуации, можно извлечь пользу. которая заключается, с одной стороны, в том, что российский рынок настолько объемен, что сам в состоянии диктовать требования к импортируемой аудиовизуальной, а в настоящее время — мультимедийной технике. С другой стороны, необходимость формулировки требований позволяет управлять этим рынком, оценивать качество продукции, тем самым убирать недобросовестных изготовителей, демонстрируя потребителям, что высокий спрос не всегда связан с высоким качеством [1]. Таким образом, получается, что фирмы-изготовители оказываются в зависимости от решений российских потребителей (предприятий, организаций, частных покупателей) по поводу целесообразности приобретения техники конкретной фирмы и конкретной марки. Всем понятно, что на начальном этапе формирования российского рынка эти вопросы решались с учетом обоюдной личной заинтересованности, бонусов и тому подобных методов, но по мере заполнения рынка такая практика в любом случае оказывается бесперспективной и недальновидной.

В то же время системный и обоснованный подход к формированию функциональных требований к продукции и услугам может быть основан на решении целого комплекса проблем стандартизации, метрологии, контроля (в частности, тестирования), экспертной квалиметрии, сертификации. Для фирм-производителей вопросы квалиметрических оценок и сертификации никогда не стояли на первом плане, они всегда решались третьей, независимой стороной. Для крупных российских потребителей, таких как студии, мультимедийные комплексы, многозальные кинотеатры и т.п., когда они поставлены перед необходимостью инноваций и переоснащения, безошибочный выбор наиболее перспективных элементных, конструктивных, технологических и других решений - это единственная возможность выхода из кризиса.

Очевидно, что вопросы формирования функциональных требований к различным видам аудиовизуальной техники и интегральная оценка изделий в соответствии с разработанными функциональными моделями, учитывающими степень важности тех или иных функций и характеристик, могут быть решены только методами интеллектуальной (логической) экспертной квалиметрии. Степень достоверности и объективности полученных результатов повышается, в частности, в том случае, когда проводимые исследования позволяют сформулировать системный многофакторный перечень функциональных требований. В него, в частности, должны входить конструктивные требования, возможности расширения предоставляемых функций, удобство эксплуатации, параметрическая надежность, эксплуатационная технологичность и, конечно, уровень качества выходных характеристик. Такой анализ является начальным этапом для решения вопросов разработки методик рационального выбора, сравнительных оценок, методик классификации, ранжирования, присвоения градаций, категорий, определенного количества баллов (см. табл.).

Результаты сравнительного анализа функциональных возможностей телевизоров [12] по пятибалльной системе
Модель	Изображение	Звучание	Конструкция	Функции	Управление	Цена, $	Интегральная оценка
Horizont 29EF07	4	4	3	5	3	400	4
JVC AV-2954WE	4	3	4	4	4	550	4
Panasohic TX-29FG20T	5	5	4	3	5	590	4
Rolsen C29R100T	3	3	5	5	3	560	3
Samsung CS-29A11 SSQ	4	4	4	4	4	520	4
Sony KV-SW29M91	5	5	4	4	5	590	5
Thompson 29DM400KG	4	5	4	4	5	500	4
Toshiba 29CJZ5SRX	3	4	3	3	3	500	3

Если перечисленные выше задачи могут быть решены методами интеллектуальной экспертной квалиметрии, то оценить уровень качества выходных характеристик аудиовизуальной техники, то есть качество изображения и звука, обеспечиваемое ею, можно как приборными методами, так и субъективными методами психофизической экспертной квалиметрии. Проблему выбора наиболее целесообразных методов оценки качественных характеристик также необходимо решать, поскольку даже вопросы их стандартизации подразумевают не только формирование перечня и количественных значений, но и разработку соответствующих методов контроля и испытаний этих характеристик. Однако проблема слишком многогранна, чтобы рассматривать ее в рамках одной статьи. Попробуем проанализировать роль, место и целесообразность использования субъективных квалиметрических методов оценки качества только различных видов изображения, которое обеспечивается аудиовизуальными средствами. В примерный перечень изображений, качественные характеристики которых подлежат субъективной оценке, необходимо включить:

• экранное изображение (киноизображение), являющееся результатом аналоговой кинопроекции;
• экранное изображение в цифровом кинематографе;
• видеоизображение, полученное с помощью видеопроектора;
• телевизионное изображение;
• изображение на дисплее компьютера;
• изображение на мониторе видеокамеры;
• изображение на мониторе камеры слежения;
• изображение на экране Web-камеры;
• изображение на экране мобильного телефона;
• изображение, являющееся результатом визуализации при измерениях, контроле, диагностических исследованиях;
• фотоизображение, снятое аналоговым фотоаппаратом и распечатанное на фотобумаге;
• фотоизображение, снятое цифровым фотоаппаратом, на дисплее и распечатанное на фотобумаге;
• фотоизображение, снятое с помощью мобильного телефона;
• распечаток, полученный с помощью принтера и т.д.

Требования к техническим параметрам, определяющим качество кинопоказа для традиционного пленочного кинематографа, приведены в отраслевых стандартах [2]. Там же изложены и методы контроля этих параметров. К ним относятся разрешающая способность, неустойчивость изображения, яркость экрана, соответствие изображения размеру экрана, оцениваемые по тест-фильму и с помощью яркомера. В перечень контрольных мероприятий также включена процедура субъективной оценки качества изображения тест-фильма и эталонного фрагмента художественного фильма.

Формальный перечень технических параметров, определяющих качество видеоизображения [2], содержит такие характеристики, как разрешающая способность (ТВЛ), число градаций контраста, наличие «тянущихся» продолжений. Отдельным пунктом включено «субъективное качество изображения». Поскольку спектр видеопроекторов различных фирм и компаний достаточно широк, целесообразно рассмотреть практические методики сравнительного квалиметрического анализа, тестирования и оценки качества видеоизображения [3].

Рис. 1. Тестовые таблицы ANSI

Методика объективного тестирования включает:

• измерение светового потока по средней освещенности экрана при площади экрана § 0,5м2, причем среднее значение освещенности рассчитывается по десяти точкам таблицы ANSI (рис.1);
• измерение неравномерности освещенности экрана (1-ΔЕ_ср/Е_ср), где ΔЕ_ср=Е_i-Е_ср , Е_t — освещенности в четырех точках экрана проецируемой таблицы ANSI;
• измерение контрастности (с использованием тест-изображения ANSI в виде шахматной таблицы из восьми черных и восьми белых полей), определяемой отношением показателей средних освещенностей этих полей.

Субъективная оценка качества видеоизображения с использованием стандартных таблиц и шкал, включающая подбор экспертов, определение условий проведения измерений, выбор сюжетов для оценки качества изображения и метода обработки полученных результатов, соответствует рекомендациям по проведению субъективных оценок в телевидении, разработанным Международным союзом электросвязи (МСЭ) — International Telecommunication Union (ITU), в частности отделом ITU-T. Качество изображения оценивается по пятибалльной шкале. Итоговый балл определяется как среднее арифметическое оценок наблюдателей по данному параметру. Условия измерений: три стены помещения (боковые и задняя) светлые, передняя — темнее, расстояние до экрана - 4…5 высот экрана; низкий уровень подсветки помещения; изображение генерируется ПК от DVD-источника. Программа проведения измерений включает оценку геометрических искажений, разрешения, наличия муара, качества цветового сведения, изображения серопольной шкалы и цветных полос.

Совершенствование используемых методик тестирования различных моделей видеопроекторов [4] направлено на использование более удобных таблиц ANSI (в частности, для определения четкости используются цифровые элементы специальных испытательных таблиц). Улучшенные методики должны обеспечить в том числе одинаковые условия проведения экспертиз (оценка проводится при демонстрации видеофильмов в PAL c DVD-диска по компонентному входу и HDMI, а также при воспроизведении сигналов телевидения высокой четкости по интерфейсу HDMI). В качестве источника HDTV используется видеосервер, содержащий отрывки из видовых и игровых фильмов, оцифрованных в форматах 720р и 1080р с киноленты IMAX.

Объективные методики оценки качества видеосигналов являются математическими моделями, имитирующими субъективную оценку. Традиционные способы оценки качества цифровой обработки видеосигналов — это вычисление пикового отношения сигнал — шум (PSNR) между исходным значением и видеосигналом, прошедшим через анализируемую систему, и другие более сложные и точные способы, предполагающие вычисления с помощью компьютерных программ. Эти методы, как правило, используются после этапа кодирования, который сам по себе вносит искажения, поэтому современные исследования в данной области направлены на разработку способов оценки перед этапом кодирования. Основная задача объективных методов оценки — вычислить мнение пользователя о качестве видеосистемы. Однако это можно сделать и с использованием субъективных способов, многие из которых приведены в рекомендациях ITU-T под номером BT.500 [5].

Как показывает анализ имеющихся публикаций, методы объективного и субъективного контроля и оценки качества изображения в цифровом кинематографе еще не сложились в единую систему представлений, очевидно, вследствие чрезвычайно динамичного развития этого направления. Что касается субъективной оценки, необходимо иметь в виду, что ITU-T разрабатывает проект рекомендаций «Метод экспертных наблюдений для оценки качества систем цифрового воспроизведения в театрах LSDI (Large Screen Digital Image)» (Doc.6/396) и «Требования пользователя к применению LSDI для театрального окружения».

При определении качества телевизионного изображения обычно оценивают его подобие другим объективным параметрам, наблюдаемым зрителем [6] — изображениям входному оптическому или передаваемой сцены. К этим параметрам относят:

• формат изображения k=l/h , l — ширина, h — высота изображения;
• размер, определяемый при заданном формате высотой или диагональю;
• яркость, оцениваемая по максимальной яркости Lmax отдельных участков изображения;
• контраст K=L_max/L_min или K=(L_max/L_min)L_max;
• четкость, определяемая числом условных или реальных элементов изображения n=kZ² (где Z — число строк разложения) или n=n_xxn_y для дискретного изображения (реальную четкость принято измерять максимальным числом черных и белых линий, воспроизводимых в изображении на отрезке с заданным контрастом);
• отношение сигнал/шум, которое в итоге определяется числом воспроизводимых градаций яркости;
• характер воспроизведения градаций яркости в яркостном динамическом диапазоне;
• цветовоспроизведение, определяемое степенью отличия цвета в изображении от цвета соответствующих участков исходного изображения, выражается в колориметрических единицах;
• неравномерность воспроизведения уровней яркостей, соответствующих одинаковым яркостям в исходном изображении, по полю изображения;
• геометрические искажения, т.е. точность воспроизведения координат отдельных элементов исходного изображения.

Такие характеристики, как яркость, контраст, число воспроизводимых градаций яркости, диапазон воспроизводимых цветов, четкость, резкость, искажения, проявляющиеся в нарушении распределения яркостей и цветностей в изображении, называются световыми показателями. Размеры и формат кадра, нелинейные и геометрические искажения растра, приводящие к геометрическим искажениям, — это растровые показатели [7,8].

Поскольку совокупность перечисленных параметров не дает возможности полностью оценить качество телевизионного изображения, также используют субъективную интегральную оценку качества, как функцию от ощущений зрительной системы под влиянием перечисленных параметров. Субъективные экспертизы проводят в соответствии с методикой, которая определяет испытательные изображения, подбор экспертов, используемые шкалы, порядок проведения измерений и обработку полученных результатов.

Требования к качественным характеристикам и техническим параметрам телевизионных изображений приведены в нормативно- технической документации [9,10]. Формировались они, насколько это было возможно технически, в соответствии с характеристиками зрительного и слухового восприятия человека. Однако современные исследования показывают, что использование субъективных методов также позволяет найти решение таких неожиданных проблем (неизбежно появляющихся при разработке новых аудиовизуальных систем), как, например, снижение риска опасного негативного воздействия. Оно может возникнуть при определенном сочетании технических параметров изображения (так же, как и звука) [11].

Проблеме субъективной оценки качества телевизионного изображения посвящено огромное число публикаций известных ученых. Практические методики оценки [10] предполагают использование шкалы ухудшений с пятью реперными точками: ухудшение незаметно; ухудшение заметно, но не мешает; ухудшение несколько мешает; ухудшение мешает; ухудшение очень мешает. Эти точки могут быть преобразованы в значения балльной шкалы. Перечень параметров, по которым проводится субъективная оценка качества телевизионного изображения, включает: шумы, фон, муар, импульсные помехи, нарушение синхронизации, четкость, разрешающую способность, тянущиеся продолжения, повторы и окантовки, цветные окантовки, дифференциально- фазовые искажения, «факелы», качество и идентичность цветопередачи, «смаз» изображения, искажения, вызываемые перемещением объекта или фона.

Современные практические методики тестирования телевизоров предполагают оценку изображения с эфира (SEKAM) и видео (PAL, сигнал с DVD) [12]. Первым этапом тестирования является субъективная экспертная оценка на высококачественном тестовом видеоматериале, а вторым — лабораторные измерения основных параметров видеотракта (измерения оценки чувствительности ТВ-тюнера, качества проработки геометрии и сведения лучей кинескопа, цветовой и яркостной четкости с использованием цифровой записи на DVD, колориметрические измерения). Анализ результатов субъективных оценок показывает, с одной стороны, неоднозначность взаимосвязей между оцениваемыми параметрами, с другой — необходимость более детальной, однозначной и достоверной проработки терминологических аспектов. Примерами этому служат такие выводы, как: «естественность картинки можно немного улучшить, понижая насыщенность цветов, но при этом падает контрастность и пропадает ощущение глубины сцены», или «не очень высокая четкость делает изображение несколько смягченным, что, впрочем, многим нравится», или «появление шума на изображении при недостаточном уровне эфирного сигнала часто приводит к повышению зернистости» (хотя такой термин как зернистость не предусмотрен для телевизионного изображения) и т.д.

Проблема оценки качества фотографического изображения чрезвычайно многогранна и изучена как с теоретической, так и с практической точек зрения. Практические методики тестирования современных фотоаппаратов, используемые, в частности, для сравнения различных моделей, обеспечения комплекса определенных функциональных требований и т.п., предполагают субъективную экспертную оценку качества изображения [13,14]. Суть методик заключается в том, что с помощью фотоаппарата получают серию тестовых снимков и оценивают их качество. Серия тестовых снимков включает:

• натюрморт при ярком солнечном освещении, при рассеянном дневном свете, при постановочном искусственном освещении;
• цветовую таблицу, снятую при различном освещении;
• оценочную таблицу разрешения, также снятую при различных видах освещения.

При тестировании, по возможности, используют только автоматические режимы и установки, применяемые по умолчанию, за исключением тех случаев, где это необходимо.

Методики субъективной экспертной оценки качества изображения мониторов имеют, как показывает анализ, наиболее завершенный характер по сравнению с остальными. Авторы этих методик считают, что использование только объективных способов нецелесообразно, так как показания приборов не всегда соответствуют визуальной оценке качества изображения. Когда тестирование проводится для сравнительной оценки различных моделей, необходимо обеспечить одинаковые исходные условия: мониторы подключаются к одинаковым системным блокам с графическими адаптерами, имеющими цифровые (DVI) и аналоговые входы; в качестве программного обеспечения используются пакеты Monitor Matter CheckScreen и Adobe Photoshop [15,16,17]. Субъективные оценки проводятся с использованием 10-балльных шкал.

Программа испытаний включает тесты, объединенные в группы. Качество цветопередачи тест-изображения оценивается визуально и сравнивается с печатным оригиналом, причем предусматриваются различные углы обзора по горизонтали и вертикали.

Тесты Monitor Matter CheckScreen, Nokia Monitor и др. используются для оценки равномерности заполнения цветовых полей (тест Colour); наличия муара; правильности передачи цветовых переходов (программа CheckScreen); геометрических искажений, сведения лучей; для определения уровня контрастности, который необходим для нормальной работы пользователя; для оценки читаемости текста и т.д.

Каждому отдельному субъективному параметру присваивается весовой коэффициент. По итогам тестирования рассчитывается интегральная оценка, учитывающая не только качество изображения, но и другие функциональные возможности монитора.

Методики оценки качества изображения, получаемого с помощью принтера, также субъективны [18] и предполагают использование балльных (порядковых) шкал. Универсальные требования: использование бумаги одного типа, одинаковые настройки принтера, одинаковая конфигурация тестовой установки, калибровка картриджей и т.п.

Ввиду бурного развития рынка различных периферийных мультимедийных устройств, необходимы методики, позволяющие пользователям выбирать те модели, которые отвечают определенным функциональным требованиям, например, возможность проводить сравнительную оценку Web- камер, видео-, аудиорегистраторов, камер слежения и т.п.

Несмотря на то что получение высококачественного изображения с использованием Web- камер принципиально невозможно, именно этот показатель является основной характеристикой, позволяющей субъективно сравнивать камеры между собой. Для получения сопоставимых результатов методика тестирования предполагает использование определенной конфигурации тестового компьютера. Субъективные оценки качества изображения включают такие моменты, как определение функциональности программной настройки, оценка качества изображения при недостаточном искусственном освещении, качество цветопередачи, наличие геометрических искажений, цветные муары [19]. Очевидно, что совершенствование технологии изготовления светочувствительных сенсоров будет влиять на степень весомости той или иной характеристики, а также может привести к появлению каких-то новых требований, которые раньше невозможно было сформулировать.

Методики тестирования компьютерных видео- и аудиорегистраторов также включают объективные и субъективные методы. Субъективная оценка качества изображения статических и динамических картинок в сквозном канале и в записи производится при подаче на вход регистратора тест- фрагмента DVD-качества [20]. Используются такие же измерительные шкалы и такой же перечень оцениваемых параметров, как и для телевизионного изображения. Методика предполагает, что расстояние, на котором располагаются эксперты, составляет около шести высот экрана, а регуляторы яркости и контрастности установлены в положения, позволяющие различать максимальное число градаций яркости при отсутствии прямой засветки экрана внешними источниками света.

Как показывает анализ методик тестирования изображения в системах визуализации различных результатов физико-химических, метрологических, медицинских и др. исследований, в перечне параметров, определяющих качество получаемого изображения, на первом месте стоят объективные параметры. Они связаны с возможностью получения информации, определяющей цель существования самой системы (предел разрешающей способности, пороговый контраст, контрастная чувствительность, отношение квантовых эффективностей детектирования и т.п.). Однако и эти методики предполагают субъективную оценку качественных характеристик получаемого изображения.

Таким образом, при оценке качества различных видов изображений наряду с объективными методами используют и субъективные. Причем именно на субъективных методах оценки основываются подходы, связанные с классификацией, ранжированием, присвоением определенных градаций или определенного количества баллов. В качестве расчетных интегральных моделей, как правило, используются варианты средневзвешенных арифметических показателей. Коэффициенты весомости частных показателей назначаются в результате экспертных опросов, для определения значений частных показателей используются балльные (порядковые) шкалы с различным числом градаций.

Поскольку субъективная оценка качества изображения относится к области психофизических, иначе говоря, сенсорных измерений, в моделях, позволяющих получать комплексную, интегральную оценку, вместо коэффициентов весомости более целесообразно иметь коэффициенты чувствительности, экспериментальная методика определения которых приведена, например, в работе Е. Нестеровой [21]. Взаимосвязи между частными параметрами также могут быть количественно определены с использованием экспериментальных методик, основанных на корреляционном анализе [22]. Для получения значений субъективных оценок в шкалах отношений можно использовать преобразования шкал, и, конечно, наиболее интересным и важным является вопрос о выборе вида интегральной модели, которые в настоящее время достаточно широко представлены [23]. Обобщенная структура необходимого для проведения субъективных психофизических экспертиз технического и программного обеспечения приведена на рис.2.

Рис. 2. Обобщенная структура приборного и программного обеспечения субъективных квалиметрических экспертиз

Отказаться от субъективных методов оценок качества, очевидно, можно будет только после достоверного и полного исследования влияния различных технических параметров на субъективные характеристики с тем, чтобы определенные сочетания технических параметров гарантировали обеспечение определенного уровня субъективной визуальной оценки.

Литература

1. Шадрин А. Качество и стандартизация в условиях рынка// Стандарты и качество. 2006. № 11. С.18…23

2. ОСТ 19-238-01. Кинотеатры и видеозалы. Категории. Технические требования. Методы контроля и оценки.

3. Кинцис Ю. Современные мультимедийные проекторы. Тестирование и субъективная оценка качества изображения// Техника кино и телевидения. 2002. № 3.

4. Сравнительные тесты. Видеопроекторы Stereo & Video. Январь 2005. www.stereo.ru/test.php?article_id.

5. Качество видео. www/cgwiki.ru/index.php?title.

6. Быков Р. Основы телевидения и видеотехники: Учебник для вузов// М: Горячая линия. Телеком. 2006.

7. Кривошеев М. Основы телевизионных измерений. М.: Радио и связь.1989.

8. Певзнер Б. Качество цветных телевизионных изображений// М.:Радио и связь. 1988

9. ОСТ 58-3-01. Оборудование цифровое для формирования телепрограмм. Основные параметры. Методы измерений.

10. ГОСТ 26320-84. Оборудование телевизионное студийное и внестудийное. Методы субъективной оценки качества цветных телевизионных изображений.

11. Бритиков А., Мкртумов  А., Немцова  С., Цветков  О. Метрологические аспекты нормирования комплекса параметров изображения и звука в телевизионном вещании. www.groteck.ru.

12. Сравнительные тесты. TV от 24" по 29" — Stereo & Video. Октябрь 2005. www. stereo.ru/test.php?article_id.

13. Татарников О. Цифровые фотокамеры. — http://www.lib.csu.ru/dl/bases/prg/KOMPRESS/articles.

14. Потребитель. Фототехника и видеокамеры. Бюджетные цифровые фотокамеры. http://foto.potrebitel.ru/index.phtml?action=model.

15. Татарников О. Тестирование ЖК-мониторов с большим экраном. http://compress.ru/Archive/CP/2002/1/39.

16. Татарников О. Тестирование 15-дюймовых ЖК-мониторов. http://www.lib.csu.ru/dl/bases/prg/kompress/articles.

17. Бабенков М. Тестирование 17-дюймовых ЖК-мониторов. http://gct.ru/labs.php?s=monitorelt&f=index.html.

18. Тестирование струйных принтеров. http://goozeppe.boom.ru/pr.htm.

19. Пахомов С., Самохин  С. Web-камеры. http://zs2002.narod.ru/Test/200111web.

20. Кравчук В. Методика тестирования компьютерных видео- и аудиорегистраторов. http://articles.security-bridge.com/articles/10/11399.

21. Нестерова Е. Психофизические квалиметрические экспертизы: обобщенный алгоритм экспериментальной оценки коэффициентов чувствительности к частным характеристикам// Проблемы развития кинематографа и телевидения: Сб.научн. тр./ СПб.: СПбГУКиТ. 2007. Вып.20.

22. Коломенский Н., Кулаков  А., Нестерова  Е. Корреляция между квалиметрическими параметрами цифрового изображения// Проблемы развития техники и технологии кино и телевидения: Сб. научн. тр./ СПб.: СПбГУКиТ, 2003. Вып.16. С.10 -16.

23. Нестерова Е. Информационно-измерительные технологии на предприятиях кинематографии// Учебное пособие/ СПб.: СПбГУКиТ. 2006.