Все большее
число людей использует различные системы,
интегрирующее компьютерное и видеооборудование.
Для эффективной организации работы необходимо
понимание принципов функционирования этого
оборудования, реализованных в нем стандартов и
обусловленных данными стандартами технических
ограничений. В этом материале мы в сжатой форме
затронули эти вопросы.Телевизионные видеосигналы
Телевизионное изображение воспроизводится путем последовательного сканирования электронного луча по специальному экрану, покрытому электролюминисцирующим веществом. Сканирование происходит слева направо вдоль горизонтальных линий (строк) и сверху вниз по строкам. Луч пробегает строку за строкой до самого "дна" экрана, а затем возвращается назад, и опять - слева направо и сверху вниз. В точках, куда падает электронный луч наблюдаются видимые глазом вспышки света. За счет инерционности глаза, в процессе сканирования электронным лучом эти вспышки сливаются в линии и затем в полный растр. В результате телевизионный кадр представляет собой совокупность последовательно высвечиваемых линий, передающих пространственное распределение изображения. Установлено, что для восприятия человеческим глазом этой совокупности, как единого целого, она должна обновляться не реже 50 раз каждую секунду. В противном случае, глаз начнет замечать мерцание строк - так называемый фликкер-шум (flicker).
В телевидении был реализован чересстрочный режим развертки, при котором за каждый проход луч пробегает только половину линий - сначала 288 четных (нумерацию линий начинают с 0), а затем, вернувшись к началу, 288 нечетных. (Здесь речь идет об активных или видимых строках, прим. ред.) Таким образом, телевизионный кадр оказывается разделенным на два полукадра - в телевидении их называют полями. В результате, хотя мы и говорим о вертикальной частоте 50 Гц, кадровая частота оказывается в два раза меньшей - 25 Гц. Чересстрочная развертка может быть использована только для передачи изображений без мелких деталей. Действительно, при попытке передачи узкой горизонтальной линии, высота которой не превышает 1/576 высоты изображения, эта линия будет прорисовываться только при каждом втором проходе, т.е. 25 раз в секунду. В этом случае, глаз заметит ее мерцание - фликкер-шум.
Надо сказать, что на заре телевидения применялась прогрессивная развертка, когда строки прорисовывались одна за другой. Таким образом, полный кадр был представлен одним полем. В этом случае видимая четкость повышается вдвое, но, чтобы избежать фликкер-шума, надо повысить кадровую частоту не менее, чем в два раза. В тридцатые годы это было не возможно, и в результате восторжествовала чересстрочная система. На современном уровне эта проблема решаема, и сейчас появляются воспроизводящие телевизионные устройства и даже телевизионные системы (специального назначения) с прогрессивной разверткой, о чем следует помнить. Прогрессивная развертка применяется и в компьютерных дисплеях.
Известно, что человеческий глаз воспринимает как единое целое - красную (Red) часть спектра, зеленую (Green) и синий (Blue). Таким образом, цветовое восприятие человеческого глаза трехкомпонентное. Конечно, мы воспринимаем больше цветовых оттенков - считается, что 16 миллионов, - но для нас, в силу особенностей цветового восприятия, все они, с некоторыми оговорками, сведены к комбинациям этих трех "главных" цветов (в теории цвета их называют опорными). Исходя из этого, в телевизионных и компьютерных мониторах экран одновременно сканируют три электронных луча, вызывая световые вспышки красного, зеленого и синего цветов, т.е. формируя соответственно R-, G-, B- составляющие одного и того же изображения. Глаз же воспринимает только результирующее изображение во всем богатстве цветов реального мира.
В то же время для телепереноса цветного изображения через эфир эффективнее кодировать цвет иным образом. Глаз менее чувствителен к пространственным изменениям оттенков цвета по сравнению с чувствительностью к изменениям яркости, поэтому цветовая информация может передаваться с меньшей пространственной четкостью (разрешением). Уменьшение объема передаваемой информации позволяет строить более дешевые системы. В результате RGB-видеосигналы в телевидении перед передачей преобразуют в сигнал яркости Y и два цветоразностных сигнала U и V, а при приеме в телевизоре или ином приборе при воспроизведении изображения (иногда и с в связи с обработкой) восстанавливают R-, G-, B- составляющие. Цветоразностные сигналы U & V передаются с разрешением, в два раза меньшим, чем яркостный.
Y=0.299R+0.587G+0.114B;
U=R-Y; V=B-Y; R=U+Y;
G=Y-0.509U-0.194V; B = V+Y
Разделение сигнала цветного телевидения на яркостную и две цветоразностные составляющие возникло, чтобы удовлетворить жесткое требование двусторонней совместимости черно-белых и цветных приемников, работающих в одном стандарте разложения. Яркостный сигнал Y заимствован из ч/б системы. Черно-белые приемники воспринимают только его.
Цветоразностные U и V сигналы кодируются путем генерации специального гармонического сигнала (цветовой поднесущей) на частоте, превышающей основной частотный диапазон изменений Y. Модуляция поднесущей осуществляется по амплитуде и фазе согласно U- и V-значениям с последующим ее добавлением к Y-сигналу. При этом в начале каждого полукадра и в начале каждой телевизионной линии передаются специальные синхронизирующие импульсы, служащие для стабилизации кадра - точного задания положения горизонтальных линий по вертикали.
Композитный:
VHS, VHS-C, Video-8 Суммарный видеосигнал,
полученный путем сложения яркостного Y и
модулированных цветоразностных U и V сигналов, а
также синхроимпульсов. Для избежания эффектов
интерференции складываемых сигналов и
однозначного их разделения при декодировании
как яркостная, так и цветовые компоненты
ограничиваются по ширине полосы путем
предварительной фильтрации. Это уменьшает
четкость (разрешение) изображения.
S-Video: S-VHS,
S-VHS-C, Hi-8 Два независимых сигнала Y/C: Y несет
яркостную Y-компоненту и синхроимпульсы, С
(Сhrominance) - модулированные цветоразностные
компоненты. Поскольку фильтрации не требуется,
качество изображения очень хорошее.
YUV
Используются три независимых сигнала - Y для
яркости и синхроимпульсов, U & V - для
цветоразностей. Не требуется ни фильтрации, ни
цветового модулирования. Отличное качество
изображения, часто определяемое как
профессиональное.
RGB + Sync
Используются четыре независимых сигнала для
всех компонент. Иногда синхроимпульсы также
добавляются к G-компоненте. Реализовано в СКАРТ
(SCART) разъемах некоторых телевизоров. Отличное
качество изображения.
Компьютерные видеосигналы и их преобразование: PC (VGA) <-> TV
| Тип видеосигнала | SVGA PC | PAL/SECAM TV | NTSC TV |
| Метод представления | RGB | Композитный, Y/C, RGB | Композитный, Y/C, RGB |
| Горизонтальная частота развертки | 31.5 кГц | 15.625 кГц | 15.374 кГц |
| Вертикальная частота развертки | 45-72 Гц | 50 Гц | 59.94 Гц |
| Число видимых строк в кадре | 200 - 768 + | 576 | 480 |
| Чересстрочный режим развертки | Иногда | Всегда | Всегда |
При анализе этих данных становится понятным, что телевизор не может заменить собой компьютерный SVGA-монитор. Наиболее серьезное отличие связано с совершенно разными частотами горизонтальной развертки. Строки компьютерного изображения выдаются из SVGA-адаптера и прорисовываются на SVGA-мониторе по крайней мере в два раза быстрее, чем телевизор может их отобразить. Проблему усложняют отличия в частотах вертикальной развертки, в числе активных (видимых) строк в кадре, чересстрочный режим телевизионной развертки. Известны три основных метода преобразующее компьютерный видеосигнал в телевизионный
I. Программный (с минимальным использованием аппаратных средств).
Использует программную перестройку режима работы VGA адаптера с целью согласования его выхода по горизонтальной и вертикальной частотам сканирования с телевизионным стандартом. К сожалению, полностью решить эту задачу чисто программным способом не удается. Но при сравнительно низком качестве преобразования он оказывается самым дешевым и может быть оправдан для простейших приложений. Среди его основных недостатков: ограниченный набор поддерживаемых VGA-режимов; невозможность полного заполнения телевизионного экрана компьютерным изображением; полное искажение изображения на компьютерном мониторе.
II. Конвертер горизонтального сканирования ( с использованием программного драйвера).
В таких устройствах для преобразования частоты горизонтального сканирования используется буфер памяти для одновременной записи с компьютерной частотой и считывания с в два раза меньшей телевизионной частотой. Для стандартных VGA режимов вплоть до 640х480 такое преобразование оказывается достаточно точным. В режиме 800х600 компьютерный монитор работает на более высокой частоте сканирования, так что для преобразования в этом случае уже требуется программная перестройка частоты, что на практике обычно реализуется для ограниченного набора SVGA-адаптеров.
III. Конвертер полного преобразования (не использует программных драйверов).
В принципе это самый лучший и удобный метод, не создающий никаких проблем при эксплуатации. В нем осуществляется полное аппаратное преобразование частот.
Сохранение
геометрических пропорций (аспектное отношение).
Если на VGA-мониторе мы наблюдаем круг, то его же, а не вытянутый эллипс, желаем получить на телевизоре. При фиксированном числе активных телевизионных строк (576 для PAL/SECAM) на VGA-выходе число строк может меняться от 200 до 600 и далее. Первый и второй методы преобразования не могут произвольно изменить числа строк. В результате искажения типа трансформации круга в эллипс становятся неизбежными. Эти искажения наименее заметны при VGA-режиме 640х480 из-за близости геометрических характеристик компьютерных изображений к телевизионным. Однако и при этом все же наблюдается небольшой черная окантовка по краю изображения. Конвертеры полного преобразования обычно имеют специальную систему масштабирования для поддержания геометрического соответствия.
Overscan/Underscan
В телевизионном изображении, например, Windows-меню с расположением управляющих панелей на его границах для сохранения информации необходимо сжатое отображение с небольшим черным полем по краю экрана (режим underscan). При преобразовании, например, программно смоделированной сцены реального мира целесообразно переходить в режим overscan, когда изображение занимает весь экран. Таким образом, PC <-> TV конвертер должен уметь переключать режимы overscan/underscan. Растяжение/сжатие строки по горизонтали встречается во многих устройствах. Но переход underscan/ overscan по вертикали требует увеличения числа строк и может быть реализован только в конвертерах полного типа.
Подавление
фликкер-шумов.
Фликкер-шум - мерцание тонких линий и границ - особенно заметен при преобразовании текстов и меню. Его причина - чересстрочная телевизионная развертка, из-за которой горизонтальные компьютерные линии шириной в один пиксел отображаются через полукадр - 25 раз в секунду. В первом методе преобразования его подавление возможно только переключением VGA-адаптера в чересстрочный режим развертки с одновременным уменьшением в два раза вертикального разрешения. В остальных конвертерах используют фильтры для незначительного сглаживания изображения по вертикали.
Наложение
и синхронизация по внешнему сигналу (Overlay & Genlock)
Многие конвертеры осуществляют не только PC <-> TV преобразование, но и наложение (overlay) компьютерной графики на внешний видеосигнал, например, с целью титрования. При этом естественно необходима полная синхронизация преобразованного компьютерного сигнала по внешнему (genlock). При наложении формируется специальный силуэтный сигнал (key) одного из трех видов: lumakey (яркостный силуэтный), chromakey (цветной силуэтный), alfa-channel (альфа-канала). При lumakey наложение производится только там, где яркость Y превышает некоторый заданный уровень. При chromakey накладываемое изображение прозрачно только там, где его цвет совпадает с заданным. Alfa-channel основан на формировании специального сигнала с пространственным распределением, определяющим степень смешения видеоизображений в различных их точках. Это метод позволяет создавать наиболее интересные видеоэффекты, но он обычно реализуется только в профессиональном оборудовании.
Плавные
переходы и "шторки" (Cross-fading & Wipes)
Для плавного перехода одного видеосигнала в другой обычно используют cross-fading - постепенное во времени, но равномерное по всей площади изображения проявление одного изображения через другое. В wipe-переходах замена одного изображения другим производится неравномерно по площади - согласно некоторой заданной закономерности, например, в виде мозаики или просто слева направо.
Преобразование:
TV -> PC
Для многих задач необходим захват телевизионных кадров и сохранение их в РС. Эту задачу решает устройство, называемое фрейм-граббером (frame-grabber). Его принципиальная схема проста. Принимая аналоговый видеосигнал, он разделяет его на компоненты (YUV или RGB), которые направляет в АЦП - аналого-цифровой преобразователь, а затем полученное цифровое представление изображения записывает в буфер собственной памяти. Содержимое буфера постоянно обновляется с частотой смены кадров - т.е. каждые 40 мс. По специальной команде в нем фиксируется необходимое изображение, которое с заданным именем переписывается на винчестер. По завершению этой сравнительно медленной операции можно приступать к захвату следующего кадра.
Глубина
оцифровки
Точность АЦП характеризуется числом цифровых уровней между минимальным и максимальным значениями аналогового сигнала. Для типичных значений отношения сигнал/шум в телевизионных сигналах потери информации не происходит при 8 битах оцифровки (256 уровней). Для цветных изображений соответственно необходима оцифровка 3 составляющих (YUV или RGB), что соответствует заданию 16,78 млн. различных цветовых оттенков. При этом говорят о представлении в реальных цветах - true-color. Отметим, что понятие hi-color подразумевает RGB-представление в формате 5:5:5 (15 бит, 32768 цветов) или 5:6:5 (16 бит, 65.536 цветов).
Разрешение
Второй характеристикой АЦП является частота оцифровки видеосигнала, определяющая получаемое разрешение. Для систем PAL/SECAM приняты следующие стандарты:
| Стандарт оцифровки | Частота оцифровки | Размер изображения |
| CCIR 601 | 13.50 МГц | 720x576 |
| Квадратный пиксел | 14.75 МГц | 768x576 |
| CCIR 656 (вещательное качество) | 27.00 МГц | 1440x576 |
Здесь "Квадратный пиксел" означает, что ширина пиксела равна его высоте. Именно он гарантирует, что телевизионный круг останется кругом и в соответствующем цифровом изображении, а не трансформируется в эллипс. Как уже отмечалось, при YUV представлении видеосигнала цветоразностные компоненты U & V передаются с пространственным разрешением, в два раза меньшим разрешения по яркостному сигналу. Это позволяет осуществлять их выборку с частотой, в два раза меньшей частоты выборки яркостного сигнала без видимой потери качества. Обычно такую оцифровку описывают как 4:2:2 (Рекомендация 601 МККР). Нелишне напомнить, что здесь первая цифра - конкретно 4 - относится к яркостному сигналу, остальные две к цветоразностным.
В иерархии цифровых стандартов студийного кодирования за базовую частоту принята частота 3,375 МГц, частоты выборок составляющих определяются умножением базовой частоты на соответствующую цифру. Так, запись 4:1:1 означает, что частота выборки цветоразностных сигналов (1х3,375) в четыре раза меньше, чем яркостного (4х3,375). Это приводит к заметной потере цветового разрешения. В то же время стандарт 4:4:4 означает оцифровку всех составляющих с одной частотой выборки 13,5 МГц. Еще более высокое качество достигается при оцифровке по стандарту 8:8:8, которому соответствует частота выборок для всех составляющих 27 = 3,375х8 МГц.
Необходимо подчеркнуть, что все выше приведенные рассуждения имеют смысл при исходном высоком качестве сигнала. Учитывая, что уже при формировании композитного видеосигнала происходит его ограничение по разрешению, только использование S-Video сигнала позволяет получить полноценную 4:2:2 оцифровку. Аналогично при одновременном использовании RGB-входа и оцифровки 8:8:8 можно говорить о максимально возможном качестве захвата.
Смещение
полукадров
Телевизионный кадр содержит 576 видимых (активных) строк, но из-за чересстрочного режима развертки последовательно захватить все "сразу" не удается. Сначала доступными оказываются только 288 строк первого полукадра, а затем - второго. За 20 мс длительности полукадра изображение быстро движущегося объекта может заметно сместиться. В результате наблюдается эффект чересстрочного сдвига. Его можно устранить либо захватом только одного полукадра с соответствующим уменьшением разрешения по вертикали в два раза, либо программной корректировкой смещения.
Видео в
окне
Большинство современных фрейм-грабберов позволяют отображать в реальном времени на компьютерном мониторе в специальном масштабируемом окне "живое" видео - т.е. наблюдать подаваемый на вход видеосигнал как на телевизоре. Это свойство называется Video-Overlay (видео-оверлей) и обеспечивается путем связи с VGA-адаптером через специальный feature-коннектор с 26 контактами в виде иголок в верхней части VGA-адаптера. Это упрощает задачу контроля видеопроцесса. Кроме того, на его основе можно создавать новые интересные эффекты. Например, сочетая такие фрейм-грабберы с конвертерами вывода VGAЮTV, можно строить недорогие микшерские системы.
Захват
видеопоследовательностей
В ряде случаев необходимо сохранять на винчестере настоящий видеофильм - последовательный набор кадров длительностью от нескольких секунд до минут. Однако пропускной способности системы контроллер-винчестер не хватает для прямого выполнения этой задачи. У типичного винчестера с IDE-контроллером ISA-шины скорость передачи данных оценивается как 0,5-1,0 Мб/с. Путем перехода к улучшенному EIDE-контроллеру для VL-шины может поднять это значение до 2,5-3,0 Мб/с. И только используя особые быстрые винчестеры и устраняя передачу данных по шине или максимально ускоряя ее (SCSI-контроллеры для PCI- или EISA-шины) удается увеличить скорость передачи до 4 Мб/с. Но даже этого не хватает для записи 25 полных телевизионных кадров за каждую секунду. Единственный путь ее решения - использование компрессии изображений.
| Разрешение | Компрессия | Размер файла, МБ |
Поток
данных, МБ/сек |
Результирующее качество |
| 768х576 | нет | 1,266 | 31,641 | Эталонное |
| 768х576 | JPEG 4:1 | 0,316 | -ѕ | Профессиональное |
| 768х576 | M-JPEG 10:1 | 0,127 | 3,164 | Почти профессиональное |
| 384х288 | M-JPEG 10:1 | 0,032 | 0,791 | Почти S-Video |
| 352х288 | MPEG (1) | 0,009 | 0,220 | VHS |
| 704x576 | MPEG 2 | 0,02-0,04 | 0,5-1,0 | Профессиональное |
JPEG &
M-JPEG
Стандарт JPEG-компрессии основан на разбиении изображения на блоки по 8х8 элементов, их дискретного косинусного преобразования и высокочастотной фильтрации полученного спектра. Для восстановления производится обратное косинусное преобразование. Временные затраты на компрессию и восстановление эквивалентны. При коэффициентах сжатия менее 15 видимой потери качества не происходит. JPEG-компрессия предполагает сжатие отдельных кадров, преимущественно программными средствами. Но создание различных специальных микросхем компрессии, существенно ее ускоривших, позволило ввести понятие Motion-JPEG (M-JPEG) и использовать ее для сжатия последовательных кадров видеофильма. Отметим, что при этом каждый кадр обрабатывается независимо и далее может быть также независимо перенесен в другой фильм. Это свойство существенно отличает Motion-JPEG от MPEG-компрессии.
MPEG
MPEG-компрессия принципиально сориентирована на
сжатие последовательностей изображений и
предназначена для обеспечения возможности
проигрывания фильмов с CD-дисков с VHS-качеством.
Она использует изображения размером 352х288 (352х240
для NTSC) при их 24-битовом цветовом представлении и
обеспечивает в среднем 50-кратную компрессию с
результирующим качеством для отдельных
изображений существенно более высоким, чем JPEG
при том же коэффициенте компрессии. Ее основная
идея достаточно проста - в видеофильме
последовательные изображения отличаются друг от
друга незначительно. Поэтому информацию о
большинстве из них можно передавать в виде
разностей. Соответственно в MPEG используются три
типа изображений.
• Intra (опорные)
JPEG-компрессированные изображения, используемые
для восстановления остальных изображений по их
разностям. Задаются каждые 1/2 секунды с
минимальным сжатием (обычно 12:1).
• Predicted (предсказываемые)
Содержат только разность текущего изображения с
предыдущим (intra или predicted). Предполагают высокий
уровень компрессии.
• Bi-directional(двунаправленные)
Содержат разности текущего изображения с
предыдущим и последующим. При восстановлении
результат усредняется. Предполагают
максимальный уровень компрессии.
В отличие от JPEG и M-JPEG стандартов, MPEG-компрессия требует существенно больше времени, чем декомпрессия. Основная сложность задачи MPEG-кодера состоит в необходимости определения для каждого конкретного видеопотока оптимального соотношения между тремя видами изображений - результирующее качество MPEG-фильма существенно зависит от интеллектуальности кодера. И если в настоящее время уже предлагается множество различных недорогих аппаратно реализованных MPEG-проигрывателей, то цены качественных аппаратных MPEG-кодеров делают их элитарными устройствами. К счастью, MPEG-файлы можно формировать программным способом из имеющихся последовательностей кадров. При этом необходимо иметь ввиду, что подобное преобразование потребует значительных затрат вычислительного времени. В заключение отметим, что в настоящее время разработан стандарт MPEG 2, сориентированный на большую скорость передачи данных и обеспечивающий результирующее профессиональное качество воспроизведения.
Нелинейный
монтаж
После записи на винчестер отдельных кадров и полных видеопоследовательностей (фрагментов) различных видеофильмов мы получаем уникальную возможность их совместной обработки, в том числе монтажа на их основе нового фильма. При этом в каждый момент времени мы имеем доступ ко всем имеющимся кадрам - можем выбрать участок одного видеофрагмента и встроить его в другой, можем "склеить" несколько фрагментов с различными сложными эффектами перехода, можем наложить титры или встроить иную компьютерную графику в любое место. Такой подход в отличие от привычного линейного монтажа, требующего для перехода к заданному кадру последовательной перемотки видеоленты, получил название нелинейного монтажа. Но платой за удобство является необходимость использования дисков большой емкости. Безусловно, результаты зависят от сложности и характера видеосюжета, а также от качества оцифровки (степени компрессии). В таблице приведены типичные значения длительности сюжета, который может размещен на винчестере емкостью 1 ГБ.
| Видеокачество оцифровки | Профессиональное | S-Video | VHS |
| Длительность сюжета, мин. | 6 | 11 | 25 |
Таким образом, пока можно говорить о подготовке на компьютере только отдельных коротких сюжетов с последующей их записью на видеомагнитофон. При этом для точной "склейки" каждой записи с предыдущей необходимо обеспечивать позиционирование видеоленты с точностью до кадра. С этой целью на видеоленту прописывают специальный временной код, играющий роль реперного сигнала, в соответствии со стандартом VITC фирмы Panasonic или RCTC фирмы SONY. Первоначально такая возможность имелась только в профессиональном видеооборудовании. В настоящее время появились недорогие компьютерные устройства, позволяющие запись/считывание кода и кадровое позиционирование на доступных полупрофессиональных аппаратах типа Panasonic NV-HS1000. Их использование замыкает цикл процесса видеопроизводства.
