ストレージソリューションの最近のブログ記事

 

コンピュータで映像制作するグループが共通して直面する問題の一つに、膨大な動画素材の共有という要求がある。一般的な事務データならファイルサーバの共有ボリュームに保管して、ネットワークを利用するユーザーが自由にアクセスすることで解決する。だが、非圧縮の映像素材は、キャプチャーをおこなったマシンや、CGをレンダリング出力したマシンに直付けされた膨大なディスクスペースと、高速のアクセスを要求され、をおいそれと移動もままならない。他のマシンからプレビューを簡単に行うことは不可能に近い。
大容量すぎるデータゆえ、ファイルサーバでの共有も行うところは少ない。
システムに予算をかけられるところではファイバーチャネルなどのSAN環境を構築して、はじめから共有を実現している。しかし多くのプロダクションではオーバースペック(金額)の設備になりやすい。
重要なところは、どのマシンに、どのような素材が保管されているかを一括して検索、管理できれば、かなりの無駄が省けるわけだ。

☆アセットマネージメントのためのデータベース管理システム「thiiDa」
今回紹介するのは「株式会社ビジュアル・プロセッシング・ジャパン」(http://www.vpj.co.jp)の提唱する、「thiiDa」(ティーダ)というネットワークにある素材を一括管理するデータベースシステムだ。

動作環境として、サーバ自体はWindows2000/XPでのSQLサーバで作動するが、素材を管理する対象はWindowsのみならず、Apple Macintosh、SGI、Linuxと、CGや映像、画像制作に必要な環境を網羅している。
検索可能な対応フォーマットは以下のとおりだ。

・ iff
・ avi
・ cin
・ pic
・ rgb,sgi
・ rpf
・ tiff,tif
・ als,alias,pix,alsz
・ ct,ct16
・ jpeg,jpg
・ mov
・ rla
・ tga,targa
・ yuv,qtl
・ etc…

ごらんのように、業務利用のCG、画像、動画フォーマットの多くをサポート済みだ。

ティーダの特徴はデータベースへの登録をローカルマシン上で動作する「thiiDaデーモン」と呼ばれる常駐型のソフトが自動的に行ってくれる点だ。Windows、Mac、SGI、Linuxに準備されている。
専用クライアントからはデーモンの作動している各クライアントが保有する最新データを、転送量の軽いプレビュー用プロキシ-画像で確認することができる。
しかも素材の管理状態が把握しやすい階層構造を保持したまま検索が可能だ。

インストールは管理が必要なマシンすべてに「thiiDaデーモン」を導入することから始まる。
監視するディレクトリを指定したら、あとは操作を気にする必要はない。新規にデータが作成されると、デーモンはプロジェクト名、ファイル名、ファイル保存先、ファイルフォーマット、ファイルサイズ、画像の縦横サイズ、色深度、ファイル所有者、ファイル作成日、最終更新日など、検索に必要な情報をデータベースへ自動的に書き込んでくれる。さらに、データ検索用の低解像度データ(プロキシー)も自動的に作成してくれる。これは便利だ。
もちろんレンダリングイメージなどは、画像を修正、保存するたびに最新のものへ更新される。

プロジェクト管理から見てみよう。
ティーダではファイルサーバやクリエータのローカルマシンなど、ネットワーク上のさまざまな場所にあるデータを、そのまま移動せずに場所情報をデータベースで一元管理できる。
ティーダのインターフェースは、わかりやすい画像のサムネールと、ファイル操作のためのエキスプローラでシンプルに構成されている。
プロジェクト名を定義すると仮想的に、さまざまな場所にある素材を一元管理が可能だ。
作業に必要な素材を確認したら、エキスプローラの任意のディレクトリへドラック&ドロップするだけでオリジナルデータの転送を行うことができる。
動画の閲覧、確認もプロキシで低解像度のプレビュー再生が可能だ。

「画像サンプル(C)ARTBEATS」

データ検索、プレビュー
自動的に記録されるファイル作成日や更新の情報や、さまざまなメタデータをキーに高速な検索が行える。一度検索した状態から、さらに絞込検索も可能だ。
重要なポイントは、ティーダは実際のメディアファイルを検索するわけではないので、高速で、ネットワークトラフィックも最小に押さえることが可能だ。

アーカイブ、バックアップ
ティーダはアーカイブに対しても有効だ。通常ではデータをストレージテープなどにアーカイブすると、データはHDDから削除されるため、データのトラッキングは困難を極めるが、ティーダでは、データをアーカイブしてもデータベースに記録や、プロキシー映像は残るので、通常のファイルと同様に検索が可能だ。プロキシーにはオフライン表示がされ、アーカイブテープを特定できるため、そのテープから簡単にレストアさせることができる。戻す先も記録があるため正確に復活させることができるのだ。


さて、さまざまに便利なティーダだが、取って置きのオプションを紹介しよう。
それは「Discreetインターフェース」だ。
映像制作のハイエンドシステムとして重宝されるDiscreet社のInferno/Flame/Smokeなどで採用されているStoneディスクアレイシステムは、従来では一度InfernoのHDDを経由しないと外部から映像データをやりとりできなかった。
これは素材の移動ですら高価なInfernoルームの貴重な時間を無駄にする原因となっている。
しかもHDDからStoneにコピーするのも結構な時間がかかっていた。
そこでティーダのオプションを使うとStoneのディスクへネットワークから直接アクセスすることが可能になる。つまり、映像を直接書き込むことや、連番画像として取り出すことが容易にできるようになるのだ。
目からうろこが落ちるように感じられるかたもいるだろう。

現在は単純なメタデータの検索に限られるが、動画像の中で特徴を検索できるようなインデックス機能を充実していったら、さらに使いやすくなるだろう。今後に期待したい。

 

 


■ デジタルビデオデータを利用するためのハードディスク

ビデオの記録をデジタルで管理するとき、D1、D2、SX、Digital-βCAM、DVCAM、DVCPROなどのテープで収録し保管するケースが多いだろう。
完パケでも、テープ保管は、コストパフォーマンスの面でも、現在考えられる最良の方法だろう。近年のアーカイブでのデータ保管ストレージも、価格的にテープの媒体量/単価を下回るまでにいたっていない。しかし、利便性を考えたときには、サーバーは圧倒的に有効だ。
使用頻度をある程度以上見込めるデータはハードディスクに入れたままにしておきたいものだ。
近年の圧縮技術をもってしてもHD編集を意識した素材環境に要求する仕様は厳しい。
大容量になればなるほどバックアップも時間がかかるし、保存と保存のインターバルでの空白期間に、ピンポイントで狙いをつけたようにトラブルは発生するものだ。
基本的に覚悟しておかなくてはいけないことだが、コンピュータ関連機器は、時間の問題で、必ず壊れる。
この壊れたときの被害を最小限にするためのコストが、逆に被害額を上回らないようにするコストバランスが必要なのだ。

●ディスクRaidはドライブの故障からデータを守る。

一方、OSに依存しないで複数のハードディスクを一ボリュームとして認識させるRaid機能を持つ製品は、ハードRaidシステムとして存在する。従来サーバー用途などのマルチユーザーアクセス、ノンストップ利用を前提としたシステムが多く、大容量データ保管、連続大データ転送を要求されるビデオ編集にはセッティングが合わなかったり、ハードRaidは価格が高かったりで、なかなか手が届かなかったのが実際のところだろう。
しかし、データを守るという点では、OSに依存しない独立したプロセッサー(ディスクコントローラ)を有するハードRaidは、単体ディスクは壊れることを前提にした場合、必須とも言えるシステムだ。これは、ディスクをフォーマットしなおしてから、再びビデオテープからのキャプチャを行う手間との価格バランスになってくる。

● 安価な大容量ハードRaidシステム

ノンリニアシステムの初期のころから筆者が気になっていたメーカーがあった。
当時はIDEのRaidでは不安定で、コマ落ちの心配があったので、よほどの圧縮映像に限定した仕様以外は使ってこなかったが、名前からしてビデオ編集に特化したハードRaidの製品を発表してきた「medea」社だ。独特のディスクコントロール手法をもって、IDEの欠点であったOSへのオーバーヘッドを回避し、ハードディスクの内周と外周のスピード差も複数ディスクでバランスする仕組みを提供している。この結果、ビデオ編集に最適な、安定した大容量転送を安価なIDEディスクで可能にしているのだ。実際にVideoRaid RTRはデータ保護性のないハードディスクを筐体に収容しただけのストレージと価格面で競争している。
近年「VideoRaid RTR」を発表し、高性能をアピールし、シングルユニットでAJA, Avid, Digital Voodoo and Pinnacleなどの非圧縮リアルタイムにオフシャル対応。他にもDPSなど多くのノンリニア機器メーカーの認証を獲得している。
さらに2台のRTRをデュアルチャネルSCSIホストアダプタに接続することで1080i HDノンリニア編集システムにも対応している。
新社屋に移るテレビ朝日本社のHDシステムに20セット以上の納入が決まったのも信頼が裏づけされた結果だろう。

●めったにできない実験。動作中のドライブ交換。

従来高価だったRaid3のコントロールを可能にしたVideoRaid RTRを、実施に使用してみた。
もちろん、パフォーマンスでは問題ない。
試しに、ビデオを再生中に任意のディスクを引き抜いてみた。(実際の仕事では怖くて試せない)
理屈ではわかっていても動き続ける姿に感心してしまう
VideoRaid RTRは、データの消失やパフォーマンスの低下も無く、何事もなかったかのように動作しつづける。再度挿入すると、自動的にリビルドが開始する。まったく手間がかからないのだ。
ちなみに、通常のRaid製品は、ドライブ故障時に50%以上も転送速度が低下することが多いので、実際はりビルトが完了しないと作業には使えないことが多い。
導入しやすい安価なシステムには感じられないほど、運用中の安心感は絶大なものがある。
ノンリニア編集で溜まってきた、使い回しの多い貴重なデータに悩んでいる方は、早めに安心を手に入れることをお勧めしたい。
作りこんだデータは、思った以上に貴重なものが多いのだから。

データ容量の爆発的増加を向えるブロードバンドネットワークに向かい合うための下準備をしておこう。

ある調査によるとデータストレージは2000年を1とすると、三年後は、大体4倍から7~8倍ぐらい、それから2005年が、さらに7~10倍くらいのな市場規模になると考えられている。
現在米国ではデータ量の爆発的に増加している。どこの企業でも、容量、特に映像を扱う所が、ストレージの爆発に悩んでいるのだ。
従来ではサーバーに直接接続したストレージがメインだ。だからそのストレージが足りないと、またストレージを足す。で、またストレージを足すと、いうような形をとっていたが、実はそれではすでに追い付かない時代がきている。サーバー接続のストレージでは、サーバーのCPU能力がストレージの容量をコントロールしきれなくなるのだ。アメリカでは1年以上前から深刻な問題になっている。一度爆発をはじめるとコントロールは困難だ。
一つの要因はシステムの多重化などに伴い、同じデータを複数のホストで持ち合うことが上げられる。大規模データの共有は重要なテーマなのだ。
ここで、パフォーマンスを考えてみよう。
従来の感覚的にはネットワークで共有したディスクと、直接SCSIなどで接続したハードディスクでは比較にならない位のスピード差が有ると考えてしまう。
ネットワーク共有ディスクには、単にデータを渡しあうための中継の役割が相当と考えていた。実際の作業は本体のディスクへコピーしてから利用するのだ。確かにSCSI接続のディスクの方が快適だったからだ。
最近になってこの認識が変わっていく状況が出てきている。
ハードディスクの例としてSCSIの転送スピードの進化は、40Mb/sの時代から80Mb/sへ、そして160Mb/sへと倍々の能力を備えてきている。
一方、ネットワークの転送スピードは10Mb/sから10倍の100Mb/sへ、そしてさらに10倍の1Gb/sの時代へと突入しようとしている。
ネットワークのスピードがSCSIを超えようとしているのだ。
従来でもSAN(ストレージエリアネットワーク)で使用されるFC(ファイバーチャネル)は高いパフォーマンスはあっても、余りにも高額で一般的な利用には不向きであった。
ここで、価格が下がって快適なSANの環境を紹介しよう。

ATTO社のFCは高性能システムに定番とも言える安定した製品だが、気がつかない間に大幅に価格が下がってきて手の届きやすいところまで来ていた。
ATTO社の製品はMacintoshに対応した製品がラインアップされているので、今回はビデオ編集でTARGA Cineと、DVDオーサリングのSONIC DVD Createrを接続してみた。

 

FCのディスクはMedia社のFC用ドライブを利用した。
実際の接続にはパソコンのPCIスロットへFCインターフェースカードを設置してDサブ形状のコネクターの付いたケーブルを取り付ける。

ネットワークで言うハブ機能を有するFCスイッチにそれぞれのケーブルを接続し、同様にFCディスクをケーブルでスイッチに接続する。
ソフト的にはFCのマネージメントソフトをインストールして複数のPCから同じファイルを同時に編集しないように制御する。
ノンリニアの編集で非圧縮キャプチャーを行うTARGA Cineに接続するハードディスクは高速のディスクを要求されている。これをネットワークに繋がるディスクで軽々行える様は、感動的ですらある。標準で採用されているIDE内蔵ディスクなど比較にならないぐらい圧倒的に早い。
また、DVDへの利用に付いて、MPEG2へのエンコードを行う場合、データファイルからのトランスコードを行うよりもSDI経由でリアルタイムでエンコードする方法を選んだ。どちらのデータも同じディスクに保管されている。
非圧縮で編集済みの映像を別のシステムからリアルタイムでエンコードを試みたが、何も問題なく行うことが出来た。
大切なデータを中心にネットワークシステムを考えることは、同時にパーソナルコンピュータが持ち合わせているハングアップの恐怖からファイルシステムを切り離すことでもあるのだ。データ管理のファイルシステムを維持するだけを目的にしたネットワークストレージシステムの安定性は、様々な作業を行うパソコンのそれとは比較にならない安心な場所だ。
データ共有することを前提のシステムでは今までの発想を変えていくことができる。
従来のパソコンに繋がる周辺機器としてのハードディスクから、ストレージを中心にし、処理に応じた周辺機器としてのコンピュータの接続という考え方だ。
ここで、手軽に導入できるNAS(ネットワークアタッチドストレージ)を考えてみたい。
今回紹介するNASはノーザンライツコンピュータ社のNAS製品だ。

試したシステムは小規模のLinuxベースのストレージだが、容量は単純にディスクを増設することで解決する。
基本的にはNASもコンピュータシステムなのでシステムをインストールすることから始まる。インストール済みの商品も見かけるが、個人的には自分で確認できることは好ましく感じる。
インストール自体はCD-ROMから起動してIPアドレスを指定するだけで開始できる。画面にはしばらくLinuxのインストール作業が表示される。
ほどなくインストールが済むとネットワーク上のどのコンピュータからでもWebブラウザーから先に設定したIPアドレスへアクセスが可能になっている。

はじめにネットワークの設定を行い、ファイルサーバーの設定を行えばデスクトップへボリュームをマウントできる。

 

ボリュームはAppleTalkでもWindowsでも共有することができる。

 

プライベートの環境で限られたユーザーだけが利用するならこの程度の設定で利用可能だ。

 

100mb/sのネットワークでもTCP/IPでは実際に転送できるスピードは遥かに低く押さえられる。
ノンリニア編集のキャプチャーは無理だが、DV程度の圧縮なら再生は可能だ。
一度内蔵ディスクでキャプチャーしたものをNASに保存することでFinalCutProで編集に利用することができる。
様々な素材となるムービーやグラフィックをLAN上のグループで共同で利用したり、協調作業を行うことが可能になる。WindowsやMacintoshなど異なるプラットフォームでのデータ共有にも便利に利用できる。
何よりもコンピュータのフリーズに引きずられることがないのは助かる。
変わった使い方として、ストリーミングビデオのサーバーからNASのボリュームをマウントポイントとして指定しておくと、エンコードを終了した瞬間から
ネットワークから閲覧可能な操作が可能だ。
ネットワークのスピードが上がって、簡単で安価に導入できるNASの存在は注目に価する。コンピュータの導入より簡単なネットワークストレージとしてぜひ1台試していただきたい。

このアーカイブについて

このページには、過去に書かれたブログ記事のうちストレージソリューションカテゴリに属しているものが含まれています。

前のカテゴリはストリーミングビデオです。

次のカテゴリはセットトップボックスです。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。

ストレージソリューション: 月別アーカイブ

Copyright 1996-2007 & copy; DreamCraft