Журнал:

Цифровое хранение медиаданных. В поисках оптимального носителя для архивирования

Оглавление обзора

До того момента, как появилась возможность видеозаписи посредством оборудования Ampex Quadruplex, а произошло это в 1956 году, телевизионные программы выходили в прямом эфире, снимались на кинопленку либо представляли собой гибрид прямой трансляции и снятого на пленку материала. Высокая цена видеомагнитофонов Quadruplex, да и сама магнитная лента шириной 2«, точнее, ее многочисленные недостатки, заставили разработчиков создавать менее дорогие форматы, позволявшие использовать упрощенные лентопротяжные механизмы и более узкие ленты, транспортировка которых осуществлялась бы с меньшей скоростью. Хотя Ampex Quadruplex оказался первым форматом видеозаписи, он продержался недолго, но проторил путь для 1» форматов видеозаписи с наклонно-строчным сканированием с открытыми катушками (это такие форматы как BCN и C), на смену которым со временем пришли форматы с лентой шириной 3/4" и  1/2«, заключенной в кассету. Все форматы видеозаписи до недавнего времени были аналоговыми. Затем появились первые цифровые форматы магнитной записи видео, первоначально также базировавшиеся на ленте шириной 1/2», помещенной в кассету. И лишь относительно недавно компания Matsushita-Panasonic предложила формат DVCPRO с 1/4" лентой, разработанный на базе бытового формата DVC.

Ampex Quadruplex, несмотря на все свои недостатки, значительно упростил жизнь архивистам: высокая стоимость ленты в сочетании с дороговизной приобретения прав на повторный показ записанных программ препятствовали помещению их на длительное хранение. Если материал на ленте не был действительно ценным, он просто стирался, лента отправлялась на повторное использование, а архивист не забивал себе голову лишними проблемами. А вот массивное наследие, которое начали собирать после замены Quadruplex более совершенными аппаратами, сделало жизнь архивистов настоящим кошмаром, поскольку им приходилось либо копировать все программы по мере смены форматов, причем делать это вручную, переписывая материал с кассеты старого формата на кассету нового по мере появления такового, либо искать место и средства для содержания стремительно стареющих устройств воспроизведения прежних форматов.

Кассеты аналогового формата Betacam SP и цифрового DVCPRO

Цифровая лента

С появлением цифровых видеомагнитофонов копирование материала стало менее травматичным для его качества, чем это было при аналоговой перезаписи. Каждая последующая аналоговая перезапись приводила к повышению шума на видеоизображении, равно как шума звука, и нарушению его синхронизации с видео (обычно видеосинхронизация поддерживается путем коррекции временных искажений). Цифровое копирование — это куда более безопасный процесс, обеспечивший сохранность формы сигналов, достаточную для последующего воспроизведения. Каждый раз при копировании форма сигналов восстанавливается до уровня, сравнимого с исходным, если только компрессия не является настолько высокой, что вносит свою лепту в понижение качества.

Цифровая видеокассета тоже может создать архивисту головную боль, но такое случается довольно редко. Лента шириной 1/4" иногда разрушается по краям. Обычно это происходит, если кассеты длительное время хранятся в горизонтальном положении, что приводит к деформации в рулонах и в свободной части ленты. Кроме того, с течением времени лента постепенно размагничивается, к тому же слои рулона начинают воздействовать друг на друга посредством магнитного поля, взаиморазрушая записанную информацию. Автор этой статьи по собственному опыту знает, к примеру, что компьютерная низкокоэрцитивная магнитная 3,5" дискета, записанная в начале 1990-х годов, спустя 10 лет не читалась, и пришлось прибегнуть к процедуре восстановления требуемых файлов, которые были на ней записаны. К счастью, видео и звук хранятся на значительно более надежных носителях, но урок стоит того, чтобы его выучить: цифровые записи должны подвергаться резервному копированию не реже одного раза в три года или что-то около того, чтобы обеспечить восстановление формы сигнала и нивелировать невидимые глазу эффекты взаимного влияния слоев ленты друг на друга и физического старения.

Компакт-диск

Компакт-диски долгое время были самым распространенным средством хранения файлов данных, а также звукового материала (WAV, MP3, JPEG и т.д.). Обычный CD имеет емкость 700 МБ, чего, по всей вероятности, казалось более чем достаточно в 1983 году, когда этот формат появился. Практически каждый пользователь хоть раз сталкивался с тем, что диск не воспроизводится, а также испытывал проблемы совместимости формата записи с возможностями плеера.

На первый взгляд, оптические носители стоят гораздо ближе к мечте архивиста, чем магнитная лента или дискета. Но и они могут преподнести неприятные сюрпризы. Когда голландская государственная вещательная компания NOB впервые начала архивировать материал на серийных, то есть имевшихся в широкой продаже, компакт-дисках, первой проблемой стала потенциальная возможность кражи дисков из архива. Поэтому молодого архивиста заставили наносить идентификационную надпись компании на наклейку каждого диска, используя специальную ручку с нестираемыми чернилами на основе спирта. Эта, казалось бы, простая и невинная процедура привела к разрушению лакового покрытия наклейки диска, самой этой наклейки и металлического слоя, содержащего данные. Автору этих строк довелось встречаться с одним из менеджеров — очевидцем тех событий — на выставке IBC несколько лет назад, и он подтвердил, что такой инцидент действительно имел место.

В свое время было много споров о том, можно ли наносить на CD наклейку с липким слоем. Ведь они тоже, если используются, наносятся на лаковый слой и могут повредить его, случись микроскопическое взаимодействие между химическими элементами липкого слоя и металлическим слоем диска. Однажды был проведен эксперимент — наклейку оторвали от CD и стала видна круглая зона практически полностью прозрачного пластика. Так что и наклейки могут быть опасными.

Компакт-диски неплохо защищены от царапин на стороне считывания информации лазером, поскольку он фокусируется на слое записи данных, расположенном под прозрачным пластиковым слоем, но вот царапины на другой стороне могут привести к серьезным последствиям. Защита цифровых данных также предусматривает повторное вычисление значений потерянных фрагментов звука. Целостность некоторых CD может быть проверена просто путем осмотра их под ярким светом на предмет выявления видимых повреждений металлического слоя. Эти повреждения обычно видны в виде прозрачных точек. Большое число таких точек на относительно малой площади может сделать бессильной даже систему коррекции ошибок и привести к слышимым щелчкам (если речь идет об аудиодиске) либо вообще к невозможности воспроизвести диск.

Цифровой видеодиск (DVD)

Стандартный DVD-ROM вмещает 4,7 ГБ данных и обеспечивает максимальную скорость передачи 11,08 Мбит/с в режиме нормального воспроизведения. Диски DVD имеют гораздо более плотную структуру, чем CD, данные «укладываются сэндвичем» между двумя слоями прозрачного пластика, а не просто защищаются с одной стороны. DVD имеют такую же защиту от поверхностных царапин, как CD, но более высокая плотность упаковки данных, присущая DVD, означает, что беспечность при обращении с ними легко может сделать диск нечитаемым, что является общей проблемой для публичных библиотек и архивов. Многочисленные микроскопические царапины вполне способны привести к тому, что система коррекции ошибок не сможет их исправить и диск будет невозможно воспроизвести или прочитать. Если такое случилось, то наиболее простым способом временно решить проблему является использование другого плеера (желательно, другого производителя). Но кардинально исправить ситуацию можно только посредством перезаписи данных на новый диск.

DVD в различных вариантах стоят еще ближе к идеальному архивному носителю, чем любые другие технологии общего назначения. Как и CD, записанный DVD является достаточно надежным в плане воспроизведения по истечении всего срока его эксплуатации, который является более длительным, чем время работы выбравшего этот носитель архивиста. Да и производители выражают намерение обеспечить непрерывный выпуск оборудования, способного воспроизводить эти диски. Наблюдающийся во всем мире переход на компьютерную обработку данных и использование коммуникационных устройств на базе PC, начавшийся еще в XX веке, по всем признакам будет только ускоряться в веке нынешнем. Это очень хорошо, поскольку обратная совместимость реализуется относительно просто в компьютерной среде.

HD-DVD

С появлением HD-DVD емкость оптических дисков существенно возросла. Диски HD-DVD ROM предполагают использование лазера со значительно более короткой длиной волны (сине-фиолетовый лазер), чем для записи/чтения CD или DVD. Сами диски имеют тот же диаметр 12 см, что и CD или DVD, но выпускаются одно-, двух- или трехслойными с емкостью каждого слоя в 15 ГБ. Двусторонние HD-DVD также будут доступны, причем с каждой стороны будет до трех слоев, что потенциально обеспечивает 90 ГБ на диск. Максимальная скорость передачи данных при чтении HD-DVD составляет 36,55 Мбит/с. Срок жизни таких дисков, то есть их устойчивость к старению, судя по всему, должен быть большим, но на практике это пока не проверено.

Blu-ray

Диски Blu-ray (получившие свое название от лазера) выглядят еще более впечатляющими по потенциальной емкости, чем HD-DVD. Схожие по концепции с ними, но достаточно отличающиеся по ряду характеристик для инициирования войны стандартов, эти диски были разработаны компаниями Sony и TDK с учетом емкости 25 ГБ на слой и возможности использования до шести слоев. В результате имеем впечатляющий потенциал в 200 ГБ на диск. Данные располагаются очень близко к поверхности диска, поэтому обращение с дисками Blu-Ray потребует особой осторожности, чтобы не повредить поверхность.

Голографические диски

Blu-ray и голографический диск InPhase

На прошедшей выставке IBC2006 (Амстердам, Нидерланды) компания InPhase Technologies продемонстрировала то, что сама она назвала первой в мире голографической системой хранения.

Демонстрация проходила на стенде компании Maxell. Голографический привод Tapestry 300-R, разработанный InPhase Technologies, как заявлено, способен обеспечить запись 300 ГБ данных на одном диске. Он должен был поступить в широкую продажу уже в конце 2006 года, но пока сведений, подтверждающих это, нет. Как и в случае с HD-DVD и Blu-ray, характеристики длительности хранения голографических дисков нуждаются в практическом определении.

Твердотельная память

Карты твердотельной памяти стали весьма привлекательным носителем для записи звука и используются в таких приборах, как, например, Flashmike фирмы HHB (это микрофон, в который интегрирован рекордер на твердотельной памяти и батарея питания). Более универсальный и значительно менее дорогой цифровой аудиорекордер H4 фирмы Zoom (размером с ладонь) оснащен стереопарой электретных микрофонов и записывает данные на карту памяти SD в формате WAV (от 16 бит, 44,1 кГц до 24 бит, 96 кГц) или MP3.

Различные карты памяти

Пионером в области записи видео на чипы твердотельной памяти является компания Matsushita-Panasonic. В одном чипе содержится четыре карты SD. Однако монтаж, будь то видео или звук, в настоящее время наиболее эффективно осуществляется на жестких магнитных дисках, установленных в компьютерах, как мобильных (ноутбуках), так и настольных, либо в серверах.

Использование карт твердотельной памяти для архивирования кажется вполне вероятным, хотя производители постоянно твердят о том, что эти карты имеют ограниченный срок службы. Так это или нет, покажет время, но вот цена карт памяти на сегодня остается астрономически высокой.

Жесткие магнитные диски

Вещательные компании все шире используют технологии управления медиаактивами (MAM), применяя для этого серверы на основе жестких дисков. Поступающий контент вводится прямо в файловую систему управления медиаактивами. Все операции просмотра, производства, генерирования расписания, воспроизведения и архивирования выполняются именно в среде MAM. Это устраняет риск потери кассет или других видов переносимых вручную средств хранения при их транспортировке из библиотеки или в нее. Хорошо проработанная система MAM также позволяет реализовать общий доступ к файлам, она свободна от рутины копирования данных с кассеты на кассету. Монтаж в инфраструктуре с сервером имеет еще больше достоинств, поскольку исключает потерю качества, которая имеет место при линейном монтаже на аппаратах с наклонно-строчной записью.

Серверы с жесткими магнитными дисками сегодня настолько малы и вместительны, что отдельные диски теоретически могут помещаться в архив как единицы хранения. В реальности же серверы служат промежуточным звеном между архивами длительного (offline) или оперативного (near-online) хранения на базе роботизированных библиотек с цифровыми ленточными картриджами (типа Sony Petasite).

Нынешний архив Channel 4 Television

В качестве примера можно привести Channel 4 Television. Это одна из британских телекомпаний, наиболее полно использующих современные технологии. Она обратилась к специалистам компании Pharos Communications, чтобы та построила инфраструктуру, максимально эффективную с точки зрения сетевых операций.

Файловый архив просмотрового качества, установленный в штаб-квартире Channel 4 TV (Westminster) в настоящее время, построен на базе дисковой роботизированной библиотеки JVC. Весь контент архива доступен на компьютерах, подключенных по сети. Система заменила ранее существовавшую библиотеку материалов, хранившихся на кассетах формата VHS.

Сасс Джахани (Sass Jahani) — управляющий директор лондонской компании dvanced Broadcast Services рядом с роботизированной ленточной системой Sony Petasite, используемой ABS в качестве программного архива оперативного хранения

В результате новый комплекс Media Access Project будет базироваться на системе MAM Pharos Mediator и позволит Channel 4 перейти от имеющейся сейчас ленточной библиотеки к архивированию контента в файловой форме и доступу к этому архиву по сети. Весь контент, поступающий в Channel 4, сегодня вводится с ленты Digital Betacam в сервер просмотра, а затем становится доступным с рабочих мест на базе PC по сети. Более того, Media Access Project расширяет возможности, поскольку все входящие программы и клипы будут вводиться в формате MPEG-2 (I-кадры, 50 Мбит/с) в полном разрешении в серверное хранилище на базе кластера Isilon емкостью 36 ТБ параллельно с копией в просмотровом разрешении. Контент из кластера Isilon будет передаваться на серверы Pinnacle для вещания. Channel 4 получит возможность выполнять все вещательные операции с материалами из своей цифровой библиотеки, работающей в режиме реального времени. Это позволит значительно повысить эффективность работы, причем с сохранением возможности внесения последних оперативных изменений в расписание, если такая необходимость возникнет. Серверный кластер хранения Isilon будет взаимодействовать с библиотекой оперативного хранения Sony Petasite, в которой применены ленточные картриджи LTO-3 емкостью 800 ГБ каждый. Общая емкость Petasite составит 1 ПБ, и это будет самая большая ленточная система хранения данных в Европе.

Цифровая ленточная система ADIC Scalar, используемая для оперативного хранения в вещательном центре в White City

Другим примером могут служить архивы компании Red Bee Media (ранее — BBC Broadcast), основанные на библиотеке ADIC Scalar 10K Archive Library емкостью 200 ТБ, в которой также используются ленточные картриджи данных. Система управляется при помощи системы DIVArchive Hierarchical Storage Manager компании Front Porch Digital. Комплекс позволяет архивировать файлы либо вручную, либо в соответствии с правилами архивирования, прописанными в DIVArchive. Поместить файлы в архивную библиотеку можно также с многочисленных вещательных серверов. Это позволяет лишь единожды вводить в систему программы, необходимые для многократной выдачи в эфир.

Сетевое хранение данных

Сетевые (online) банки существуют уже давно, но сетевые банки данных остаются относительно новой концепцией. Ничто не мешает архивисту отправить большие объемы данных провайдеру услуг сетевого онлайнового доступа (или даже нескольким провайдерам). Растущие объемы онлайнового вещания означают, что дистанционное архивирование уже возможно для вещателей, хотя актуальная задача долговременного хранения с учетом их корпоративных интересов обычно решается локально. Хранение банка данных вне помещения компании имеет смысл еще и как средство защиты информации от разного рода бедствий, например пожара.

Независимость от разрешения

Работающий сегодня архивистом должен задуматься о тех, кто придет ему на смену через 50, 100 или даже 1000 лет. Если архив содержит кинопленку, ее нужно хранить как можно дольше в исходной — оптической — форме, даже если материал с нее был оцифрован в стандартном или высоком разрешении. 1080i и 1080p, которые сегодня на слуху как форматы высокого разрешения, могут быть в течение ближайших 20 лет заменены недавно анонсированным компанией NHK форматом UHD (Ultra-High Definition — ультравысокое разрешение), сравнимым по количеству элементов изображения с кинопленкой IMAX.

А тот, в свою очередь, может уступить место телевидению, отображаемому во всю стену.

Что касается компрессии, неблагоразумно было бы полагать, что компьютеры будущего будут «знать» или «принимать во внимание» бесчисленные форматы файлов, которые достанутся нашим потомкам в наследство. В какой-то момент не такого уж далекого будущего компьютеры или устройства, которые их заменят, обретут, скорее всего, «чувства» или даже «сознание», а потому смогут достать из архива спецификацию того или иного формата так же легко, как современный библиотекарь извлекает из хранилища какую-либо программу. Между «сейчас» и «тогда» ваша архивная стратегия — в ваших руках.

Замечания и предложения по работе сервера направляйте: web.master at 625-net.ru.

© 1996—2009 «Издательство 625». Все права защищены.

e-mail: magazine at 625-net.ru, тел./факс: (495) 691-77-24, 695-95-88, схема проезда.

Свидетельство о регистрации средства массовой информации Эл № 77-2794.