Перейти к содержимому



Фотография

Копирование видеоархива на ленту


  • Please log in to reply
5 replies to this topic

#1 aka_inc

aka_inc

    Новичок

  • Пользователи
  • PipPip
  • 3 сообщений

Отправлено 29 ноября 2010 - 08:22

Прошу помощи в следующем вопросе.
Как организовать запись видеоархива (2 сервера по терабайту новых данных на каждом ежедневно) на ленту и последующее произвольное чтение любого файла с ленты. Желательно, чтобы весь пул на ленточной библиотеке виделся в системе одним динамическим диском большого объема.

Архивы хранятся на дисковом хранилище IBM DS 4200 и подключены к серверам по оптике через SAN-маршрутизаторы.

Также к SAN-маршрутизаторам подключена ленточная библиотека IBM TS3584 с двумя драйвами. Видеосерверы работают под управлением Windows Server 2008 x86 RUS и очень сильно нагружены по сети входящим трафиком (до 1.6 Гбит/с). Скорости записи на ленту по сети не достаточно. На запись одного часа данных видеоархива уходит часа три реального времени.

Испробованы три варианта записи на ленту:

1. Запись велась с удаленных клиентов Tivoli Storage manager, установленных на двух видеосерверах. Сервер TSM работал на третьем сервере. Данные с клиентов на TSM-сервер передавались по локальной сети, а уже сам TSM-сервер отправлял данные на ленточную библиотеку по оптике. Передавать данные по оптике не получается, так как на TSM-клиентах не работает Lan-Free. Lan-Free не работает из-за неработающей слуюбы TSM Agent. Запустить службу TSM Agent так и не удалось. Официальной поддержки IBM Tivoli Storage Manager у нас нет, так как программа официально не куплена и использовалась для проверки ее пригодности для наших нужд. Предаврительный вывод: программа не годится из-за того, что не успевает складывать видеоархив на ленту, а также нет средств произвольного доступа к видеоархиву с ленты через используемое нами ПО.

2. Диски на двух видеосерверах были расшарены по сети, и третий сервер с Windows Server 2003 и NtBackup копировал данные с расшаренных дисков на ленту. Результат тот же. Данные с видеосерверов копировались на ленту дольше, чем они появлялись на видеосерверах. Произвольный доступ к видеоархиву, хранящемуся на ленточном накопителе, средствами используемого нами ПО возможен только с помощью дополнительной программы, которую еще нужно написать.

3. Установили пробную версию XenData, которая проработала всего один день после активации. За это время не успели проверить ее пригодность для наших нужд. В системе появился виртуальный динамический диск большого объема. Но и в таком случае возникают подозрения, что скорости записи на ленту будет не хватать, так как запись на этот виртуальный диск будет проходить тоже по локальной сети.

#2 megagleb

megagleb

    Технический специалист

  • Пользователи
  • PipPipPipPipPip
  • 483 сообщений
  • ГородМосква

Отправлено 29 ноября 2010 - 02:45

Добрый день .

Какой объем примерно пишется за 1 час?
Ремонт и сервисное обслуживание ленточных библиотек, систем резервного копирования, автозагрузчиков, серверов, сетевого оборудования.
Организация электронного архива, экспертиза, проектирование, резервное копирование информации. Подробнее - http://nstor.ru/ru/service/

Сервисный отдел компании NStor: service@nstor.ru , +7(495) 374-74-35, Москва, Колодезный пер. 3 стр. 4

#3 aka_inc

aka_inc

    Новичок

  • Пользователи
  • PipPip
  • 3 сообщений

Отправлено 30 ноября 2010 - 06:02

За день на двух видеосерверах генерируется около двух терабайт данных.
Серверы загружены почти под завязку, и в скором будущем нагрузка на них еще увеличится. Количество видеосерверов будет еще увеличено. Хотелось бы использовать схему, когда на отдельном сервере создается сервер архивации на ленту, и этот сервер собирает данные с клиентских машин (видеосерверов). При этом данные с клиентских машин должны передаваться на ленточную библиотеку по оптическому каналу. Программа должна уметь работать со множеством картриджей (пулом) и распараллеливать работу на два драйва, иметь возможность записывать определенные файлы по маске по расписанию и считывать произвольные файлы с любого картриджа из пула. Чтобы считывание с ленты произвольного файла можно было запустить или через командную строку или путем вызова программной функции из комплекта SDK. Или же вообще, чтобы программа (типа XanData) создала виртуальный диск большого объема, и удаленные видеосерверы могли записывать на этот диск по оптике, а наше ПО видеонаблюления имело возможность считывать архивные видеозаписи с ленты простым обращением к файлу на этом диске.

Добавлю, что замер скорости записи на ленточную библиотеку с помощью родной утилиты IBM показал скорости 120 МБ/с без сжатия и 320 МБ/с со сжатием. Ленточки LTO Ultrium4.

#4 megagleb

megagleb

    Технический специалист

  • Пользователи
  • PipPipPipPipPip
  • 483 сообщений
  • ГородМосква

Отправлено 30 ноября 2010 - 08:16

Добрый день.

Приводы LTO4 должны успевать писать ваши объемы, так что смотрите на каком участке

идет потеря. Оптические контроллеры с http://www.goodstor.ru/dir_transiver.htm в маршрутизаторе должны быть не менее 2Gb,

проверьте все соединения может где оптика придавлена или трансивер неисправен (пробуйте заменить).

Сколько хвостов идет к библиотеке?(для ширины канала лучше два).
Ремонт и сервисное обслуживание ленточных библиотек, систем резервного копирования, автозагрузчиков, серверов, сетевого оборудования.
Организация электронного архива, экспертиза, проектирование, резервное копирование информации. Подробнее - http://nstor.ru/ru/service/

Сервисный отдел компании NStor: service@nstor.ru , +7(495) 374-74-35, Москва, Колодезный пер. 3 стр. 4

#5 aka_inc

aka_inc

    Новичок

  • Пользователи
  • PipPip
  • 3 сообщений

Отправлено 30 ноября 2010 - 12:12

Нашел узкое место в системе - это дисковое хранилище. Второе узкое место - локальная сеть, от которой удалось уйти некоторыми хитрыми манипуляциями. Все устройства соединены по двум параллельным 4Гб оптическим каналам через два маршрутизатора. Как только решу проблему с узкими местами, останется еще одна проблема - произвольный доступ к файлам видеоархива из ПО видеонаблюдения. Используя какую программу архивирования можно легко преодолеть грядущую проблему?

#6 Банкожуй

Банкожуй

    Личный враг банков

  • Пользователи
  • PipPipPip
  • 21 сообщений
  • ГородМосква

Отправлено 02 декабря 2010 - 09:16

Больше всего тут непонятно, как увязать программу архивирования и ПО видеонаблюдения..




2 человек читают эту тему

0 пользователей, 1 гостей, 0 скрытых пользователей


    Ahrefs (1)
Рассылка 'Новости систем хранения данных.'