Synthesis of Layered Structure of Natural Scenery for Virtual Environment

Synthesis of Layered Structure of Natural Scenery for Virtual Environment 保坂 茂利 井村 誠孝 安室 喜弘 眞鍋 佳嗣 千原 國宏 Shigetoshi HOSAKA, Masataka IMURA, Yoshihiro YASUMURO, Yoshitsugu MANABE, Kunihiro CHIHARA 奈良先端科学技術大学院大学 情報科学研究科 Graduate School of Information Science, Nara Institute of Science and Technology Simple modeling scheme of natural scenery for presenting three-dimensional natural surrounding is proposed. According to apparent displacement on each region between consequent frames, image sequence captured by a handy DV cam is processed to generate layered image set with depth information. Experimental result shows that our approach effectively works for generating layered structure automatically. 1. はじめに 屋外の景観や眺望を3次元的に提示する際に,木々や 野山といった自然環境を CG で表現する必要がある.し かし,木々や山々などの自然の対象は,その形状やテクス チャの複雑さのため,モデリングは困難である[1].ま た,Image based rendering(IBR)に代表される実写画像を用 いたレンダリング方法[2]では,視点変化や光源などの条 件の変化への対応に限界がある.そこで本研究では,自然 景観を収めた動画像のフレーム間の見かけの動きから奥 行き情報を抽出し3次元情報を持った広範囲の景観 CG を簡易的に作成し,仮想環境に提示する手法を提案する. 2. 提案手法 本手法では,手動で移動させたカメラで撮影した映像 から距離情報によってレイヤー化された画像群を生成す る.カメラを撮像面に対して平行に移動させながら撮像 すると,得られる映像においてカメラに近い物体ほど大 きく位置が変化し,遠い物体ほど見かけの移動量は小さ くなる.本手法では,フレーム間での各画素単位で見かけ の移動量を求め,移動量のヒストグラム(図1)を基に動 的にセグメンテーションを行う.このことによって,映像 中で各セグメントに対応する物体や物体が連なっている 各領域の奥行き情報を取得する.本研究では,自然風景を 対象としているため,比較的遠い距離に存在する山や空 などの対象も含む.そのため,セグメンテーションの結果 に基づき,いくつかの大まかな奥行き毎にレイヤーを生 成する.フレーム間の各小領域の移動量分布はオプティ カルフロー[3]により求める.また,色彩情報によるセグ メンテーションを併用することにより,フロー検出の失 敗やオクルージョンの影響によって生じる孤立領域など もいずれかのレイヤーに統合し,映像に対して網羅的に 奥行き情報を付加する.フレーム間で得られるレイヤー を映像のフレームシーケンス全体で統合し,その移動量 に対応させた奥行きを与えて配置しレンダリングを行う.