勾配画像処理に基づく動画中の流体部分抽出 Extraction of Fluid Dynamic Texture using Gradient-domain Image Processing

映像製作の現場において流体動画データベースは爆発, 炎,煙等を含むシーンを作るための重要な資源である. 物理 的な流体シミュレーションも有効なツールであるが,専門 家でないと使いこなせないという問題もあるので,流体動 画を組み合わせて高画質なシーンを合成する手法は合理的 で人気がある. 他方,そのような流体動画素材の多くが特別 なスタジオで撮影されている. 例えば,爆発を撮影する際, 後で合成することを考えて単一色の幕を背景とし [1],更 に適切なライティングで撮影される必要がある. そのよう な特別なスタジオの準備は高価だが,一方でYouTube 等 の動画共有サービスに目を向けると使えそうな流体動画が 数多く存在する. このような流体動画は,しかし,単一色 の幕でなく複雑な背景を持っていることが多く,しばしば, そのまま合成に使うことは難しい. そこで,我々は流体を 背景から分離してシーン製作に使うことを考える. 単一の動かないカメラで撮影された動画から流体のみを 抽出する問題は ill-poseな問題として良く知られている. こ の問題への既存のアプローチは大きく次の3つがある. 1 つ目の簡単で便利な方法は Bayesian mattingに基づくも のである [2]. 結果のアルファマットは美しいが,背景が 既知で,かつ,流体自身は単一色で構成されなければなら ない. 他に霧に特化した手法 [3]もあるが,我々は背景が 未知でも動き,もっと一般的な流体を扱える手法を開発し たい. 2つ目のアプローチは動画を半透明な層に分割する技術 である. 流体も半透明な物体なのでこのアプローチが使え る可能性がある. “layer information exchange”はこの問 題を上手く解いていて,透明なガラス越しに見えるものと ガラスに映ったものを分離できる [4]. しかし,Ghanem ら [5]の報告では,この手法では流体動画は分離できない. 理由は大きく2つあり,1つはこの手法は繰り返しのある 動きが入力ビデオに現れることを条件にしていることだ. 流体の動きに繰り返しはない. もう1つの理由は,この手 法が intrinsic image decomposition [6]に基づいているこ