Development of a TV System Augmenting Moving Pictures Outside of the TV Screen

テレビ放送が始まって約60年の間,テレビ映像に関する 表現技術はカラー化に始まり,高精細化,ワイド(アスペク ト比16:9)化,2眼式の立体化などと進歩してきた.これら の進歩の主な目的は,テレビの父と呼ばれる高柳健次郎氏が 目指した「遠くの光景を目の前に再現する“無線遠視”」1)か ら基本的には変わっておらず,その場にいるかのような臨 場感の向上である.究極的には,例えばテレビ画面に人物 が映っている時は,視聴者にとって,目の前にその人物が 実在しているのと同等に認識されることを一つのゴールと してきた. しかし,この究極の目標を達成するためには,視聴者が 画面の存在を意識せずに視聴できればいいかというと,そ う単純ではない.画面を意識せずに何気なくテレビを見て いる時であっても,実在物であればその見た目がベゼル (画面外側の枠部分)で途切れることはないが,映像表現が ベゼル上(画面外)にはみ出して見えたら,誰しもが驚くこ とだろう.これは,普段ベゼルや画面をほとんど意識して いなくても,頭の片隅では常にベゼル内の2次元画面上の 表現であることを「理解」しているためである.この「理解」 は,テレビの視聴体験の積み重ねにより培われたものであ り,忘れさせるのは容易ではない. 本研究では,テレビに映っているキャラクタなどの実在 感の提供を目的とし,テレビ画面内の世界があたかも画面 手前の現実世界と繋がっているかのように見せることを ゴールとするシステム(総称を“Augmented TV”と呼ぶ) の開発を目指す.Augmented TVでは,従来の臨場感向上 のアプローチのようにベゼルや画面の存在を忘れさせるの ではなく,むしろベゼルや画面に対する「理解」を活かして, 漫画2)や映画3)などでなじみのある「画面からキャラクタが 飛び出してくる」といった演出を実現する.すなわち,視 聴者が実際には目の前に存在しないと捉えているテレビの 世界から,キャラクタが現実の世界に干渉する様子を見せ る.これにより,「理解」を越えた意外性のある表現を提供 するとともに,テレビに映っているキャラクタの実在感を 与えることができる. Augmented TVでは,テレビ画面から飛び出たキャラク タを表現するために,画面手前の「現実世界」において物体 を表現する必要がある.本研究では,近年「現実の空間や 物体に人工的な画像や文字をリアルタイムに書き加える」4) 技術としてAR(Augmented Reality:拡張現実感)が注目 されていることに着目した.図1に示すように,テレビの 映像コンテンツ(以下,メインコンテンツ)を映すテレビ画 面に対してAR技術を適用するアプローチを採用する.視 聴者が,スマートフォンやタブレットなどの携帯端末(以 下,携帯端末)に内蔵されたカメラで撮影しながらテレビ を見ると,カメラ映像に対して重畳される3DCGアニメー ション(以下,サブコンテンツ)により,あたかもキャラク タなどが画面から飛び出してくるような演出を体験でき る.携帯端末においては,テレビ画面から飛び出た部分の 表現を3DCGとしてタイミングよく重ね合わせて表示する あらまし テレビ画面に表示された空間があたかも画面手前の現実空間とつながっているように見えることをゴー ルとする表現システム“Augmented TV”を開発した.開発したシステムでは,AR技術を応用し,スマートフォンや タブレットなどの携帯端末の内蔵カメラでテレビを撮影しながら見ると,テレビ画面からキャラクタが飛び出てくる ように見える演出が可能である.要素技術として再生時刻を図形として表示することを特徴とする同期方式と,携帯 端末内蔵のジャイロセンサと画像処理を併用するテレビ画面の位置・姿勢推定方式を開発した.両方式ともにテレビ と携帯端末の間で通信が不要であり,ネットワーク設定などをせずに利用することができるため,放送に限らずディ ジタルサイネージなど幅広い応用が可能である.市販のタブレットを用いて実装し,試作したコンテンツを用いてデ モ展示を行い,開発したシステムの有効性を確かめた.