: архив : архив журнала "625" : 1999 : #1

Виртуальные студии
Андрей Ловунец

Краткая история вопроса

Еще совсем недавно, два-три года назад, разговор о виртуальных студиях (ВС) мог возникнуть только в среде профессионалов. Сегодня ВС уже стали реальностью и о них говорят все. Сейчас в мире инсталлировано более 50 систем и их число непрерывно растет. Все крупнейшие телекомпании либо имеют свои собственные студии, либо арендуют оборудование непосредственно у производителей ВС, используя его для освещения таких событий, как, например, выборы. В настоящий момент процесс внедрения ВС носит лавинообразный характер, причем эти системы применяются в различных областях телевизионного производства: от масштабных развлекательных шоу и детских программ, изготавливаемых в обычном режиме производства программ, до информационных и аналитических передач для прямого эфира. Такие компании, как ABC, CBC-NEWS, CBC-N.Y., BBC, WDR, Discovery Channel, TF1, TV Asahi, давно используют ВС в повседневной работе. Даже сверхконсервативная британская ITN применяла технологии ВС при освещении последних выборов в парламент (см.: Петрова Н. "Виртуальные студии на телевидении: глядя из Лондона", 625, 1997, №8, с. 46). Похоже, только в России, где пока преобладает традиционный подход к оформлению и подаче новостей, еще ведутся теоретические споры о целесообразности использования ВС в новостийном производстве.

Что же заставляет телекомпании обращаться к технологиям ВС? Прежде всего - возможность привнести в телевизионное изображение новые элементы. Технологии трехмерного моделирования позволяют создавать самые фантастические виртуальные декорации, расширять пространство реальной студии, увеличивать динамику подачи материала за счет разнообразной анимации в кадре (выдвигающиеся экраны, столбцы рейтинга, графики, диаграммы). Особого внимания заслуживает возможность привнесения в программы эффекта интерактивности (посредством автоматизации процессов сбора и визуализации информации, полученной от зрительской аудитории).

Вторая причина, побуждающая компании использовать ВС, - технологическая. При ограниченном количестве съемочных павильонов невозможно организовать производство большого числа программ без больших затрат времени на замену декораций. При продуманной технологии можно обеспечить гибкую работу одного комплекта оборудования ВС с несколькими студиями и аппаратными.

Третья причина - экономическая. Однажды потратив деньги на студию, компании избавляются от регулярных затрат на производство и установку дорогостоящих декораций. Процесс выбора изобразительного решения происходит быстро и безболезненно. Исключаются серьезные финансовые убытки при композиционных ошибках художников-декораторов (нередко случается, что запечатленный на бумаге проект студии оказывается после его реализации не соответствующим законам телевизионной перспективы). Использование ВС позволяет запускать в производство новые проекты в кратчайшие сроки, гибко реагируя на требования аудитории, при этом сокращается и общее время на производство программ.

Общие принципы построения ВС

Своим происхождением ВС во многом обязаны военным технологиям - задачи визуализации и определения координат объектов постоянно решаются в системах наведения и в тренажерах. Первые ВС появились четыре года назад, но только как системы для интерактивных и игровых шоу, ввиду отсутствия мощной технической базы, способной обеспечить виртуальное пространство с телевизионным качеством. Однако уже через два года, с появлением более мощных процессоров, ВС начали стремительно вторгаться на телевидение. Как же работает ВС?

Во всех представленных на рынке ВС применяется известная и широко используемая в телевидении технология рирпроекции, позволяющая отделить объекты переднего плана от голубого (или зеленого) задника, который затем замещается предварительно созданным или записанным видеоизображением. Однако для создания иллюзии трехмерного пространства недостаточно просто заместить голубой задник статической картинкой. Изображение, подчиняясь законам перспективы, должно также синхронно преобразовываться при перемещениях камеры. В процессе съемки изменяются и установки объектива (трансфокации и фокусировки). По способу формирования виртуального задника системы подразделяются на две группы.

В так называемых 2D-системах преобразование предварительно созданного и записанного изображения задника осуществляется или специализированным видеопроцессором, напоминающим широко используемые в телевидении DVE-устройства, или компьютером. При относительно невысокой цене и кажущейся простоте решения, эти устройства обладают, однако, целым рядом недостатков, ограничивающих их реальное применение для формирования виртуального пространства (ограничения при трансфокации и панорамах, отсутствие возможности перемещения камеры). Эти ограничения объясняются весьма небольшими допустимыми диапазонами преобразования предварительно записанного изображения задника в процессе съемки (замещающее задник изображение всегда имеет конечный размер, и манипулирование им ограничивается возникающими нежелательными эффектами растеризации и искажениями перспективы).

В более сложных 3D-комплексах виртуальные объекты задника создаются в специализированных программах трехмерного моделирования и обсчитываются в реальном времени с частотой 50 полей в секунду высокопроизводительными графическими компьютерами (как правило, используются компьютеры SGI Onyx). Эти комплексы не имеют ограничений, присущих 2D-системам, но могут в определенных режимах уступать последним в качестве изображения (для просчета сложных объектов в реальном времени приходится ухудшать параметры обсчета, снижая объем вычислений). Тем не менее, благодаря возможностям создания более реалистичных изображений в соответствии с законами пространственной перспективы, наибольшее распространение в мире в настоящее время получили 3D-системы.

Кроме деления на 2D- и 3D-системы ВС различаются механизмами получения и обработки информации о текущем состоянии камерной системы. Данные о состоянии камеры (пространственные координаты X, Y, Z, поворот и наклон камерной головки, фокусировка, положение трансфокатора) должны обрабатываться в цифровом процессоре или графической станции для преобразования или обсчета замещающего голубой задник изображения. В представленных на рынке системах, как правило, используется один из двух различных способов получения информации о положении камерной системы:

• непосредственно из снимаемого ею видеоизображения (так называемые системы оптического распознавания);
• от закрепленных на камерах датчиков (treker).

В данный момент на рынке реально присутствует только одна система, в которой в полной мере (а не в качестве опции, расширяющей возможности системы в специальных режимах съемки) используется принцип распознавания образов, - это ВС компании Orad. Положение камеры в пространстве и информация о состоянии оптической системы вычисляются специальным процессором (отдельное устройство) по изменяющемуся во время съемки изображению сетки (или иного геометрического рисунка), которая специальным образом наносится на голубой задник в студии. Сетка наносится голубым оттенком (отличным от цвета задника), обеспечивающим, с одной стороны, ее четкое распознавание, а с другой - надежную, без сбоев работу генератора рирпроекции.

Во втором случае информация, снимаемая непосредственно с закрепленных на камерах датчиков (механических, оптических, лазерных и др.), преобразуется в цифровую форму и по последовательному порту передается на специальную рабочую станцию, осуществляющую преобразование виртуального пространства.

Обе технологии имеют свои достоинства и недостатки. При оптическом распознавании не требуется проведение трудоемкого процесса калибровки датчиков объективов, можно использовать уже установленные стандартные камерные системы, в том числе и предназначенные для съемок с рук. При этом камеры можно свободно перемещать по студии, но с одним строгим ограничением: в снимаемых ими планах должен присутствовать хотя бы один элемент сетки. Для того, чтобы система могла отличить трансфокацию от обычного перемещения камеры, приходится прибегать к дополнительным ухищрениям: от наклона задника с нанесенной сеткой на 30О к фронтальной оси до использования инфракрасных датчиков для определения положения объектов (камер и дикторов) по глубине. Обусловленные самой технологией распознавания ограничения (объект съемки при крупных планах не должен перекрывать сетку, скорость перемещения камеры не должна быть слишком быстрой, снимаемый камерой план не должен выходить за границы сетки) не позволяют использовать данную систему для съемок масштабных и динамичных шоу. С другой стороны, невысокая стоимость инсталляции, простота в эксплуатации и возможность использования стандартного студийного и камерного оборудования способствовали выбору этой технологии многими телекомпаниями.

Системы с датчиками положения камеры теоретически отличаются большей стабильностью работы в режимах, критических для систем распознавания. Но для их установки необходима замена ранее установленного камерного оборудования (адаптация существующих пьедесталов, штативных головок и объективов практически невозможна). Кроме того, существует технологическое ограничение свободного перемещения камер. В идеале, камерные системы должны быть снабжены точнейшими датчиками перемещения. Однако обеспечить необходимую точность определения координат положения камеры при перемещениях в студийном пространстве без сложных рельсовых и роботизированных крановых систем пока не удалось ни одной компании. Кроме того, системы с датчиками перемещения требуют достаточно кропотливой и тонкой процедуры калибровки. Конечно, для съемок шоу и видеоклипов в больших студийных павильонах с применением сложных крановых и рельсовых конструкций предпочтительней использовать системы с датчиками положения камеры. Предварительно запрограммированные траектории движения крановой системы позволяют брать очень выразительные планы.

Наиболее интересные системы

В настоящее время ВС предлагает весьма ограниченный круг компаний: Accom, Discreet Logic, BrainStorm, RT-Set, Radamec, Orad. Компании предоставляют вполне законченные решения, и в своих дорогих версиях (за исключением решения компании Radamec) ВС являются полноценными 3D-системами. Рассмотрим три наиболее интересные, на наш взгляд, системы, демонстрирующие различные подходы к построению ВС.

Virtual Scenario - виртуальная студия компании Radamec, известного производителя роботизированных камерных головок. Система создавалась совместно с BBC (которая разрабатывала видеопроцессор) и является на сегодняшний день полноценной 2D-системой со всеми перечисленными выше достоинствами и недостатками. Разработки ее были начаты в 1994 году, когда еще не существовало высокопроизводительных графических станций, способных просчитывать в реальном времени и с приемлемым качеством трехмерные сцены.

Информация от датчиков по последовательному порту поступает на рабочую станцию (обычный PC), которая в соответствии с перемещениями камерной головки и объектива осуществляет по определенной программе управление специализированным цифровым процессором, преобразующим картинку предварительно созданного виртуального задника. Принцип работы системы очень напоминает DVE-устройства, широко используемые в телевидении для манипулирования видеоизображением. Все возможные преобразования задника сводятся к комбинации двух эффектов - увеличения изображения, соответствующего трансфокатору объектива (чтобы избежать нежелательных эффектов растеризации изображения и "пилы" на границах виртуальных объектов и для придания большей реалистичности композиционному изображению при больших увеличениях, разработчики используют эффект размывания задника D-Focus), и трапецеидальных искажений картинки с ее перемещением в горизонтальной и вертикальной плоскостях для создания иллюзии панорамирования и перспективы. Видеопроцессор состоит из трех полностью независимых функциональных блоков: первый блок преобразует аналоговый сигнал камеры в цифровой и обеспечивает его задержку на два кадра (именно столько времени требуется для преобразования задника); второй блок (собственно видеопроцессор) манипулирует изображением в соответствии с задаваемой программой; третий формирует специальные "маски" для создания правдоподобных эффектов перемещения актера среди виртуальных объектов. Еще одна особенность системы: на каждый канал требуется отдельный видеопроцессор со своим источником записанных изображений задника, которые должны соответствовать заранее заданному положению камеры в пространстве (как отмечалось выше, 2D-системы не допускают свободного перемещения камеры). Для преодоления этого недостатка BBC разработала свою собственную оригинальную технологию определения положения камеры Free-D, в основе которой лежит комбинация принципов оптического распознавания и вычисления состояния камерной системы (трансфокация и фокусировка) от датчиков. С этой целью на потолке студии укрепляются по определенному правилу круговые мишени с нанесенными на них индивидуальными штрихкодами (концентрические окружности, отличающиеся толщиной линий и диаметрами). При изготовлении мишеней используется специальный отражающий материал, обеспечивающий точное распознавание штрихкода в условиях изменяющегося студийного освещения. С помощью закрепленной на штативной головке небольшой вспомогательной камеры, ориентированной на потолок студии, и специального цифрового процессора осуществляется вычисление координат положения студийной камеры. Дополнительная информация от оптической системы снимается с помощью специальных датчиков, объединяется с информацией от системы распознавания и может быть передана в любую систему виртуальной студии сторонних производителей, поддерживающую специальный протокол обмена RSPI (Radamec Serial Position Interface).

В настоящее время BBC применяет эту технологию определения координат камеры при разработке новой 3D-системы виртуальной студии. Ведутся переговоры и по использованию данной технологии другими фирмами.

Из перечисленных выше компаний, разрабатывающих 3D-системы, особого внимания заслуживает RT-Set. По общему числу инсталляций компания сегодня занимает второе место в мире (после Orad) и первое место - среди систем на сенсорных датчиках.

Информация от сенсорных датчиков преобразуется в цифровую форму и передается на высокопроизводительную графическую станцию класса Onyx, которая в соответствии с заданными в системе установками, загруженными текстурами и моделями осуществляет обсчет виртуального пространства со скоростью 50 полей в секунду (для ввода необходимых параметров и управления процессом просчета необходима, кроме Onyx, недорогая рабочая станция SGI O2). Далее замещающее изображение задника поступает на цветовой силуэт-генератор, где осуществляется соединение в одно композиционное изображение генерированной графики и снимаемого актера. Поскольку схемы построения и используемое компьютерное оборудование практически одинаковы для всех представленных на рынке систем, качество их работы определяется прежде всего точностью датчиков и функциональностью программного обеспечения.

В системе RT-Set применяются датчики компании Toma, которая адаптирует специально для этих задач хорошо известные в среде профессионалов камерные головки Vinten. Объективы калибруются непосредственно на фирме перед инсталляцией. Программное обеспечение имеет несколько дополнительных модулей визуализации, усиливающих эффект "трехмерности". В частности, опция Virtual shadows позволяет генерировать виртуальные тени от реальных объектов. Программный модуль Virtual prompter обеспечивает отображение трехмерных титров и логотипов непосредственно в кадре в реальном времени в процессе съемки.

Компания Orad применяет собственную методику определения положения камеры и виртуальных объектов, базирующуюся на технологии распознавания по специальным образом нанесенной на синем заднике сетке и информации, поступающей от инфракрасных датчиков, закрепленных на камерах и актерах.

Использование подобной технологии позволяет применять стандартные телевизионные технические средства и обеспечивает необходимую свободу перемещения камеры и актера. Однако в данной системе существуют и теоретически обоснованные ограничения при работе в "экстремальных" режимах (крайние положения трансфокатора, быстрые перемещения камеры, особые требования к освещению).

И RT-Set, и Orad используют компьютерную платформу SGI (O2 и Onyx) для моделирования виртуального пространства и самостоятельно разработанные компаниями программные модули для быстрого просчета виртуальных объектов.

Лучше один раз увидеть

В связи с предполагаемым в ближайшее время ростом числа телевизионных программ и специальных проектов руководство ТСН поставило перед сотрудниками Отдела развития задачу проработки проекта технического решения по внедрению виртуальной студии.

На предварительном этапе были проведены оценки рынка и декларируемых производителями технических возможностей предлагаемых к рассмотрению виртуальных студий. Отметим, что на данном этапе оценивались только полноценные 3D-системы (2D-комплексы, базирующиеся на недорогих видеопроцессорах и персональных компьютерах класса PC, не рассматривались ввиду их ограниченных изобразительных и технических возможностей). По результатам предварительной экспертизы мы остановились на двух комплексах: Orad CyberSet O, RT-Set Larus. После теоретической проработки различных вариантов систем возникла необходимость поездки в Германию (где осуществлены крупнейшие в Европе инсталляции виртуальных студий) для практической оценки работоспособности и степени влияния приведенных ограничений и недостатков на реальные режимы эксплуатации. Перед командированными были поставлены следующие задачи:

• ознакомиться с реально работающими инсталляциями виртуальных студий;
• оценить технические и технологические возможности систем;
• проанализировать характеристики систем, для оценки возможностей использования в режиме прямого эфира;
• проверить работу систем в критических режимах;
• провести сравнительный анализ технических возможностей представленных систем.

Система Larus компании RT-Set установлена на одной из крупнейшей на юге Германии студии SZM в Мюнхене. Компания входит в состав группы ProSieben Media AG, владельца нескольких кабельных каналов Германии. Основная продукция - рекламные ролики, масштабные шоу, заказные видеопрограммы для различных телеканалов.

Компания построена по модульно-функциональному принципу, позволяющему, благодаря мощной системе коммутации, связывать различные технические и студийные средства в единый комплекс в зависимости от решаемых задач. Это дает возможность использовать одну систему Larus для двух студий.

Большая студия (около 1000 м2) используется для производства шоу-программ (здесь применяется сложная крановая система), вторая (около 100 м2) - для производства детских и цикловых программ с небольшим числом участников. Нам была показана малая студия, в которой используются две камеры с рельсовой системой перемещения и сложной системой датчиков, определяющих положение камеры в пространстве (система отслеживает даже высоту положения камеры). В значительной степени работа системы соответствует декларируемым компанией техническим возможностям. Недостаточная четкость прорабатываемых границ на актере была обусловлена, на наш взгляд, плохой отстройкой света и цветового силуэт-генератора Ultimatte и использованием аналогового микшера. Быстрые перемещения камеры и актера в кадре, а также максимальное увеличение трансфокатора не приводили к сбоям в системе.

Одним из существенных недостатков представленной инсталляции является, на наш взгляд, отсутствие возможности автоматического разделения реальных и виртуальных объектов по глубине. Это сильно снижает эффект восприятия виртуального 3D-пространства, так как проход реального актера среди (или вокруг) виртуальных объектов становится практически невыполнимой задачей, по крайней мере, если виртуальных объектов в кадре больше двух (коммутация маски осуществляется вручную и требует от оператора неординарных способностей). Задержка в системе составляет порядка четырех кадров и не приводит к ошибкам в позиционировании актера, за исключением сложных комбинированных съемок, где актер, например, кладет руки или облокачивается на виртуальный объект, ориентируясь по контрольному монитору. К сожалению, не удалось посмотреть "фирменные опции", например, тени на виртуальных объектах от реальных объектов, так как эти модули, по утверждению представителей RT-Set, не были установлены в данной системе. Понравился программный модуль управления освещенностью виртуального пространства, что позволяет создавать очень реалистичные композиционные изображения. В целом демонстрация подтвердила работоспособность системы. Однако использование специально откалиброванных объективов и камерных головок в сочетании со сложными рельсовыми и крановыми системами накладывает существенные ограничения на использование данной технологии в существующих студиях (адаптация уже существующих камерных систем практически невозможна). Эксплуатация же данного комплекса без перемещения камер существенно обедняет телевизионную картинку.

Система Cyberset O компании Orad была продемонстрирована нам в телекомпании WDR в Кельне. Система работает совместно с инфракрасным модулем, снабжающим систему дополнительной информацией о положении камер и актеров в пространстве. С этой целью в верхних углах студии устанавливаются две телевизионные камеры низкого разрешения с инфракрасными фильтрами, а на актерах и камерах - излучатели со своим индивидуальным кодом (допускается до 16 объектов). В Кельне инсталлирована единственная в мире трехпанельная (с тремя задниками, установленными под углом друг к другу) система, базирующаяся на трех компьютерах Onyx, по числу используемых камер. Это позволяет отказаться от дополнительных модулей просмотра (preview), обеспечивающих просчет виртуального пространства в низком разрешении, и, с другой стороны, позволяет применять спецэффекты и микшерные переходы между всеми камерами. Из студии осуществляется ежедневная прямая трансляция утренней информационной программы по каналу WDR. Применение трехпанельной системы позволяет расширить реальное съемочное пространство студии, обеспечивая съемки большого числа участников программы тремя камерами, ориентированными под большими углами друг к другу. Эта особенность позволяет оператору брать боковые планы, но существенно усложняет работу системы в целом. Кроме того, продемонстрированный комплекс имеет ряд недостатков, например, отсутствует эффект размывания задника при максимальном "наезде".

Мы опробовали различные экстремальные режимы работы трансфокатором: быстрое панорамирование, быстрый наезд на элемент сетки, быстрые перемещения актера в кадре. Во всех перечисленных режимах работы, за исключением последнего, наблюдались кратковременные сбои, выражающиеся либо в стробировании виртуального задника, либо его "замораживании" в крайнем положении трансфокатора. Однако надо отметить, что все сбои возникали в предельных режимах, которые вряд ли будут при реальных съемках. Восстановление изображения после экстремальных "наездов" происходит практически сразу после устранения причины, вызвавшей потерю ориентации. Эффекта стробирования при быстрых панорамах можно избежать, включив режим "электронного затвора" на камере. Другой существенный недостаток, присущий, по утверждению специалистов Orad, только данной инсталляции, - это задержка композиционного изображения на 7-8 кадров. Объясняется это большими объемами вычислений в трехпанельной версии. Однако, как уже было отмечено ранее, это не оказывает существенного влияния на работу системы, за исключением сложных комбинированных съемок с взаимодействием реальных и виртуальных объектов.

Несмотря на указанные недостатки, система обладает целым рядом преимуществ по отношению к другим комплексам. Прежде всего превосходно работающий канал дальности. Вы может свободно перемещаться в студии, при этом система автоматически формирует маску виртуальных объектов в зависимости от положения актера в пространстве (за объектами или перед объектами). В сочетании с навигационной системой, отмечающей световым лучом положение виртуальных объектов в студии, можно создавать максимально реалистичные перемещения в 3D-пространстве.

Еще одно достоинство системы - тщательно продуманный модуль анимации трехмерных объектов. Все можно делать очень быстро и точно, создавая в реальном времени, например, эффекты движения экранов или столбцов рейтинга. Кроме того, комплекс имеет хорошо отработанную систему ориентации, которая отображает на контрольных мониторах пограничные и запрещенные области пространства студии, где появление актера нежелательно (например, выход за пределы сетки или виртуального пространства).

К сожалению, время и некоторые технологические трудности не позволили увидеть такой "фирменный" эффект, как virtual presence, который дает возможность помещать в одном пространстве виртуальной студии локального и удаленного актеров (этот режим особенно интересен при организации телемостов).

В заключение следует отметить, что выбор той или иной системы определяется не только конкретными задачами и технической базой, но и финансовыми возможностями телекомпании. Применение дорогостоящих систем на сенсорных датчиках оправдано при съемках шоу, музыкальных и развлекательных программ в больших студийных павильонах, где можно разместить сложное съемочное оборудование, например, роботизированные камерные и крановые системы. При съемках информационных программ с преобладанием статичных и малодинамичных планов в небольших студийных павильонах с уже инсталлированным студийным и камерным оборудованием целесообразно, на наш взгляд, использовать системы, базирующиеся на технологии распознавания образов.

И еще один вывод: при создании телевизионных программ с использованием новейших технологий виртуальных студий имеет смысл с целью увеличения производительности и коммерческой отдачи комплекса использовать компьютерное оборудование, входящее в состав ВС, в единой сети с оборудованием студии компьютерной графики. Это позволит не только обеспечить рациональное использование вычислительных ресурсов, но и придаст необходимую гибкость в работе.