"Народные" дисковые массивы

Владимир Грегуль

От редакции:

Уважаемые читатели журнала «625». Предлагаем вашему вниманию статью, полученную при помощи наших партнеров — журнала «625-Украина». Автор затрагивает одну из наиболее актуальных на сегодняшний день тем — тему выбора дискового массива. С переходом на нелинейные технологии и ростом объемов видеопроизводства ужесточаются и требования к устройствам хранения информации. В статье сделана попытка проанализировать ситуацию и дать краткие рекомендации по выбору массива в зависимости от конкретных задач.

Сам автор — Владимир Грегуль — имеет большой опыт работы на телевидении. В 1998…2001 годах он работал инженером телевизионного информационного агентства «Викна» («Окна») в Киеве (В свое время это была одна из наиболее интересных и объективных информационно-аналитических программ Украины). В 2001…2003 годах Владимир Грегуль занимал должность руководителя цифрового отдела компании «КомТел» («Тивионика-Украина»), а в настоящее время он — руководитель AV-подразделения киевской компании Entry.

Без дисковых массивов не обойтись

Видеопроизводство, звукозапись и вещание сейчас находятся на подъеме. Это происходит как на местных уровнях, так и в масштабах всей страны, и в выигрышном положении оказываются те компании, которые свои творческие возможности подкрепляют разумно построенной инфраструктурой и грамотно подобранным оборудованием. Без преувеличения можно сказать, что современное видеопроизводство и вещание начинаются с построения сетей хранения и обмена видеоданными. Продуктивность всех рабочих процессов, включая запись исходников, редактирование, просмотр и управление контентом, передача в эфир и архивирование, определяется скоростью доступа к материалам и возможностями одновременной работы с ними различных групп пользователей. Среда хранения данных формируется внутренними и внешними дисковыми массивами, библиотеками на оптических и ленточных носителях. Разделение оборудования на средства хранения информации и средства ее обработки позволяет значительно повысить эффективность работы с общими материалами. Необходимым шагом в построении масштабируемой информационной системы является применение внешних дисковых массивов высокой емкости, которые гарантируют надежное размещение и доступность совместно используемых материалов. Теоретически выбор массива должен определятся ролью хранилищ в структуре предприятия и требованиями, предъявляемыми к скорости передачи данных и надежности хранения, а также возможностям, предусмотренным для наращивания системы.

Но определить, какие типы хранилищ станут массово востребованы, анализ достоинств сетей хранения данных (SAN, Storage Area Network), массивов сетевого доступа (NAS, Network Attached Storage) и предоставляемых ими уровней RAID вряд ли поможет. Реальные тенденции можно увидеть, проследив за развитием рынка плат для нелинейного монтажа — устройств, которые в основном и определяют требования к объему и скорости дисковых подсистем. Учитывая повторяемость решений, можно составить реальную картину, отражающую технологические возможности, капиталоемкость, текущие и перспективные показатели развития рынка.

Небольшие студии и телекомпании сегодня пользуются платами потребительского уровня, которые в принципе предназначены для любителей. Это лидирующие в свое время по количеству продаж платы DC10 и DC30 Pinnacle Systems, а также старая добрая Fast AV Master. Сейчас на смену им приходят практически равные по возможностям недорогие платы с интерфейсом FireWire. Системы SAN и NAS в данном сегменте рынка не используются: этого не требуют и сами платы, да и бюджет небольшой студии подготовки программ вряд ли выдержит приобретение внешнего массива, даже если наполнить его недорогими дисками, например SCSI и SATA. Здесь господствуют RAID-контроллеры IDE и SATA PCI либо предельное по доступности решение — программный массив RAID 0, организованный средствами операционной системы. Сейчас на рынке представлен достаточно широкий ассортимент RAID-контроллеров IDE и SATA, но как показывает практика, наиболее подходящими для задач обработки видео являются устройства производства компаний Adaptec и 3ware. Большой выбор 2-, 4-, 8-, 12- и даже 16-канальных моделей SATA-контроллеров с хорошими скоростными показателями позволяет небольшим компаниям создавать экономичные дисковые подсистемы под конкретные задачи и часто делать это собственными силами, что важно при ограниченном бюджете. Стоит отметить, что 4- и более канальные контроллеры, как правило, 64-разрядные, и их установка может потребовать замены платформы. Поэтому уместно остановиться на решении, которое можно назвать «народной NAS». Оно состоит в том, что в хранилище сетевого доступа превращают одну из станций нелинейного монтажа, например, на платформе Intel P4 с набором логики i7210, где реализована 64-разрядная шина PCI. Установка 4…8-канального RAID-контроллера SATA и Gigabit Ethernet позволяет построить такую NAS средствами операционной системы. В случае систем нелинейного монтажа формата DV (поток 25 Мбит/с) подобное решение дает возможность организовать совместную работу 5…6 станций.

Требования к дисковым массивам растут

Двухдисковый массив FireFly с интерфейсом FireWire 400

Двухдисковый массив G-RAID с интерфейсом FireWire 800

Продуктивная работа редактора начинается с плат нелинейного монтажа стоимостью порядка $1000. Это платы формата DV: Matrox RT2500, RT.X100, Pinnacle Pro-ONE и стремительно набирающая популярность Canopus DVStorm2. Все они достаточно производительны, не выдвигают особых требований к дисковой системе и позволяют ограничиться использованием внешних дисковых массивов с интерфейсом FireWire. Распространенность этого интерфейса на платформе РС, возможность «горячей» коммутации, высокая скорость — вот те преимущества, благодаря которым в станциях нелинейного монтажа формата DV все чаще используются внешние дисковые массивы такого типа.

Примером подобного решения может служить продукт FireFly с интерфейсом FireWire 400 американской компании Medea. Он состоит из базового блока и двух съемных дисковых модулей: их можно использовать независимо или установить в базовый блок для организации RAID-массива нулевого или первого уровня. Medea FireFly обеспечивает возможность работы с несколькими потоками формата DV.

Еще одно решение, которое было впервые продемонстрировано компанией Medea на выставке NAB2004, — G-RAID с интерфейсом FireWire 800. Этот двухдисковый массив в оригинальном исполнении позволяет обрабатывать семь потоков видео формата DV, четыре потока HDV, два потока 8-разрядного или один поток 10-разрядного некомпрессированного видео. Настольная система G-RAID имеет два порта FireWire 800 и один FireWire 400 (поэтому данные можно переносить на системы со «старым» интерфейсом), прекрасно работает как на платформе Мас, так и на РС, а ее дизайн особенно понравится владельцам новых G5.

На вершине «пирамиды NLE» стоят системы, работающие с некомпрессированным видео в реальном времени. Только крупные телекомпании и студии с устойчивым бюджетом имеют такие мощные аппаратные решения. Наиболее популярными на нашем рынке являются Matrox DigiSuite, DpsVelocity и Pinnacle TARGA300. Из приведенных в табл. 1 данных следует, что подбор оптимального дискового массива является первоочередной задачей при построении комплексов для обработки больших объемов видеоданных в режиме онлайн.

Таблица 1. Требования к объему и скорости дискового массива на примере плат NLE от Pinnacle Systems
Плата	Поток, Мбит/с	Удельный объем дискового пространства, ГБ/ч
		необходимый	рекомендованный*
ReelTime NITRO	14,4	50,6	75,9
TARGA 2000/DTX/RTX/SDX	14,4	50,6	45,9
TARGA 3000 (MPEG)	6,25	21,9	32,9
TARGA 3000 (YUV)	21,0	73,8	110,7
TARGA 3000 (RGB)	42,0	147,6	221,4
CineWave HD	125,0	439,4	659,1
*с учетом 50%-го запаса для проведения монтажа

Традиционно для систем подобного уровня дисковая система строилась на SCSI-винчестерах, обеспечивающих гарантированную потоковую скорость чтения/записи. Для комфортной работы TARGA2000 скорости и объема внутреннего массива на SCSI вполне хватало. В случае TARGA3000 при работе в YUV скорость выполнения операций по интерфейсу SCSI тоже достаточна, а вот требования к объему массива возрастают, что вызывает необходимость пересмотреть бюджет или изменить формат дисковой подсистемы. Встроенный массив на 10 SCSI-дисках позволит обрабатывать четыре потока некомпрессированного видео. Но дискового пространства ~700 ГБ (при использовании дисков 73 ГБ) хватит только на 8 ч исходного видео, а если учесть, что для выполнения монтажа желательно иметь 50%-й запас, то десяти накопителей окажется маловато даже для среднего проекта. К тому же SCSI-массив слишком дорог, его стоимость составляет львиную долю в затратах на всю систему. Упомянутый 10-дисковый массив на 700 ГБ обойдется в сумму ~ $4000 (более $5 за 1 ГБ), расширять его не позволяет конструкция серверов и мощность источников питания. Добавим к этому требования к отказоустойчивости, гибкости инфраструктуры, учтем стоимость обслуживания и поймем, что единственный выход — вынос массива за пределы системного блока, т.е. создание автономного хранилища данных прямого доступа (DAS, Directly Attached Storage) на дисковых накопителях.

Вариантов интерфейса между внешним массивом и станцией NLE высокого уровня всего два — SCSI или Fibre Channel (FC). FС перспективен, если в будущем планируется включить массив в состав сетевой структуры SAN, но подключение индивидуального хранилища через FC обойдется дороже, чем через SCSI. Устройства SCSI имеют достаточный запас производительности, широко представлены на рынке и относительно недороги. Массив подключается через внешний разъем SCSI-контроллера станции NLE.

Выбор используемых в массивах накопителей — SCSI, Serial (SATA) или Parallel ATA (IDE) определяется бюджетом и спецификой задач. Многозадачный (multithread) режим доступа к дискам для видеопроизводства не характерен, а вот максимально возможный объем дискового пространства крайне желателен. Производительность достигается за счет использования RAID-массивов и внешнего интерфейса с высокой пропускной способностью. Во многих приложениях применение SCSI-дисков часто становится нецелесообразным, их место заняли диски IDE, а в последнее время — SATA, которые подключаются гораздо проще.

Дисковые массивы Medea

Дисковые массивы SCSI-IDE компании Medea используются профессионалами для хранения аудио- и видеоматериалов уже давно. Они составляют серьезную конкуренцию даже обычным дисковым системам на базе IDE RAID-контроллеров, так как обладают лучшими скоростными характеристиками, недороги, надежны и удобны. Массивы Medea имеют внешний интерфейс Ultra160/320 SCSI и работают практически со всеми стандартными контроллерами SCSI. Наиболее популярными продуктами в линейке Medea являются модели VideoRaid RTR (5-дисковые) и VideoRaid RTRХ (10-дисковые). Массивы серии RTR оснащены Ultra160 SCSI-интерфейсом и обеспечивают пропускную способность 130 МБ/с при максимальном объеме 1ТБ, для двухканальной серии RTRX эти показатели составляют 200 МБ/с и 2 ТБ соответственно. При такой производительности можно без проблем записывать и воспроизводить видео в формате HDTV — (1080i HD, 10 бит). Важной особенностью массивов серии RTR является и то, что в них аппаратно реализована система RAID 3, поэтому при выходе одного накопителя из строя можно продолжать выполнять монтаж или вести вещание без потери производительности и не нужно немедленно заменять дефектный диск.

10-дисковая модель VideoRaid RTRХ

В массивах RTR реализована мощная адаптивная технология кэширования данных Medea Multi-Stream Technology (MST), позволяющая анализировать внешние запросы и динамически конфигурировать потоки данных, используя большой объем кэш-памяти (до 128 МБ) для достижения максимальной производительности и эффективности. MST обеспечивает одновременное воспроизведение до четырех потоков некомпрессированного видео. Все массивы Мedea RTR имеют сменные дисковые модули (предусмотрена возможность их «горячей» замены), блок питания и RAID-контроллер. Массив RTR воспринимается операционной системой как один большой SCSI-диск, а, объединив несколько RTR в цепочки, можно создать экономичный массив общей емкостью более 10 ТБ.

Что выбрать для работы с потоковым видео: RAID 3 или RAID 5?

При одинаковом количестве дисков быстродействие систем RAID 5 оказывается несколько выше, чем у RAID 3. Дело в том, что в случае RAID 5 данные и избыточная информация записываются одновременно на все диски, а при RAID 3 для избыточной информации резервируется один диск. Но зато при выходе из строя одного из дисков производительность систем RAID 3 практически не уменьшается, поскольку избыточная информация, необходимая для восстановления потерянных данных, обрабатывается контроллером системной логики в реальном времени. Когда же из строя выходит один диск в системе RAID 5, для восстановления данных необходимо произвести определенное количество обращений к оставшимся дискам, так как избыточная информация распределена на них. На это затрачивается столько же времени, что и на основной цикл, а значит, «полезная» производительность системы снизится.

Компания Medea выпускает и недорогие массивы VideoRaid с интерфейсом 2 Gb Fibre Channel, в которых также используется технология MST. Пропускная способность моделей FCR2 (настольное исполнение) может достигать 125 МБ/с, а двухканальных FCR2Х (для монтажа в 19" стойки) — 180 МБ/с. Массивы FCR2 и RTR соответствуют всем современным требованиям по защите данных, что позволяет использовать их в качестве центрального элемента вещательного комплекса, основанного на технологии FC. Cетевые хранилища SAN на основе FC-соединений приобретают все большую популярность, так как позволяют организовать единое информационное пространство для распределенной работы с видео и звуком, когда несколько рабочих станций используют общие дисковые стойки скоростного доступа.

Главная особенность массивов Medea FCR — наличие встроенного FC-концентратора (четыре порта с интерфейсом HSSDC), поэтому монтажные станции можно подключать к массиву напрямую, без использования дополнительных внешних устройств, удорожающих систему. Емкость массивов VideoRaid FCR2 и VideoRaid FCR2X составляет 640…2000 ГБ, а при использовании соединений FC-AL емкость цепочки из 63 массивов может достигать 126 ТБ, что соответствует более 1500 ч некомпрессированного видео! Массивы Medea с интерфейсом FC совместимы с различным оборудованием этого типа, выпускаемым компаниями Adaptec, Atto, Qlogic, Gadzoox, Vixel, с программным обеспечением управления ресурсами SAN фирм AccelWare, FibreShare, SANergy и FibreNet, а также с операционными системами Windows NT, Windows 2000/XP и MacOS.

Высокая скорость передачи данных, стабильность и надежность в работе позволяют использовать данные массивы практически со всеми современными системами нелинейного монтажа (Matrox, DPS, Pinnacle, Accom, Avid и др.).

Дисковой массив StreamRaid 48

Еще одно семейство дисковых массивов StreamRaid, которое выпустило компания Medea, предназначено для вещательных и многопользовательских видеомонтажных систем SAN на базе технологии FC. Для этих массивов характерны очень высокая скорость передачи, огромная емкость для хранения медиаданных, высокие надежность и отказоустойчивость. Компания предлагает две модификации устройств StreamRaid в корпусах 7U для монтажа в 19" стойку с двумя независимыми источниками питания: StreamRaid 12 (12 дисковых накопителей, общая емкость 760 ГБ) и StreamRaid 48 (48 дисковых накопителей, общий объем дискового пространства до 15 ТБ). Каждое устройство имеет по два RAID-контроллера с портом RS-232 для настройки системы и управления, а диски объединены в систему RAID 3 (пять дисков для данных и один для контроля четности). Все дисковые накопители можно заменять в «горячем» режиме, причем любые операции по восстановлению информации идут в фоновом режиме, не уменьшая общую производительность системы. Встроенный FC-коммутатор на четыре (модель StreamRaid 12) или восемь (StreamRaid 48) портов обеспечивает скорость обмена данными до 640 МБ/с.

Дисковые массивы Entry

Рассмотренные выше решения в виде внешних дисковых стоек, конечно, очень привлекательны, но два существенных недостатка у них все-таки есть: высокая стоимость и отсутствие какой бы то ни было гибкости конфигурации. Семейство дисковых хранилищ компании Entry, представленное линейкой Store (модели Store 215, Store 311, Store 321 и Store 414), максимально соответствует требованиям в отношении устройств для обработки видео. Они характеризуются высокой степенью масштабирования (их емкость можно наращивать в пределах 600 ГБ… 4 ТБ), поддерживают широкий набор конфигураций RAID (в том числе востребованные в сфере видеопроизводства массивы 0, 0+1, 3, 5, 6). Дисковые массивы, созданные на базе хранилищ Entry Store, устойчивы к выходу из строя одного или двух накопителей, в них предусмотрена возможность «горячей» замены диска и аппаратного мониторинга.

Массив Entry Store 321

Entry Store 321 — дисковый массив скоростного доступа для наиболее требовательных в отношении ресурсов приложений. Использование в нем дисков с интерфейсом Serial ATA позволяет добиться емкости 4 ТБ, затратив на это значительно меньше средств, чем при установке SCSI-дисков. Взаимодействие с хранилищем осуществляется по внешнему интерфейсу U320 SCSI, что обеспечивает очень высокую скорость доступа к данным, необходимую для работы с видеоприложениями. Дисковый массив Entry Store 321 прост и удобен в администрировании. Конфигурация дискового массива Entry Store 321 и все сервисные операции осуществляются по интерфейсам Ethernet, RS-232 или непосредственно со встроенного ЖК-экрана.

Производительность и пропускная способность дисковых массивов

Для характеристики производительности дисковых массивов часто используют такие показатели, как число операций ввода/вывода за секунду (О/с) и/или количество переданных мегабайтов в секунду (MБ/с). Но эти величины не позволяют однозначно оценить быстродействие и имеют противоположные значения (см. диаграмму).

Например, для работы видеоприложения требуется 1000 MБ/с при размере блока 8 кБ, что равнозначно пропускной способности 8 MБ/с (1000 О/с × 8 кБ = 8 MБ/с). При использовании канала Fibre Channel 200 MБ/с это значение будет соответствовать только 4% пропускной способности FC, что, безусловно, нельзя назвать хорошей производительностью.

С другой стороны, если приложение видеомонтажа последовательно считывает данные при размере блока 64 MБ в три параллельных потока, то используется 96% пропускной способности FC (64 MБ × 3 потока = 192 MБ/с), а показатель, выраженный в MБ/с, в данном приложении будет равен всего трем.