テレビ映像を画面外に拡張するシステム 「Augmented TV」
報告 テレビ映像を画面外に拡張するシステム 「Augmented TV」 川喜田裕之 中川俊夫 Augmented TV：Augmented Reality System for Making TV Video to Appear to Come Out of the Screen Hiroyuki KAWAKITA and Toshio NAKAGAWA 要約 新しい映像表現の１つとして，携帯端末のカメラを通してテレビを見ることで，テレビの映像を 画面外に拡張するシステム「Augmented TV」を研究している。Augmented TVでは，拡張現実 感（AR：Augmented Reality）の技術を用いて，携帯端末の画面上で，カメラから取り込んだ 画像に3DCG（3 Dimensional Computer Graphics）アニメーションをオーバーレイ表示（重ね て表示）することにより，テレビ画面内のキャラクターがテレビ画面の外に飛び出してくるよう に見える演出をすることが可能である。画面を挟んでスムーズな出入りを実現させるためには， 携帯端末における3DCGの表示時刻が重要であり，高い同期精度が要求される。今回，高精度な 同期方式とコンテンツ制作環境を開発した。市販のテレビとタブレットを用いて試作したシステ ムを評価したところ，フレーム単位（0.03秒以下）の同期精度が得られた。 ABSTRACT 36 NHK技研 R&D/No.149/2015.1 We propose a new TV system that is able to augment the TV programs to show images beyond the TV screen. In the system, which we named“ augmented TV ”, animated 3 DCG content interlocked with TV programs is overlaid on live video from a camera of a mobile device by using augmented reality techniques. This enables, for example, a TV character to appear to come out of the screen. We developed an accurate synchronization method and authoring environment for augmented TV content. We implemented augmented TV and confirmed that it had frameaccurate synchronization（the synchronization error was about 0.03 seconds or less） ． メインコンテンツ （放送） テレビ 撮影 映像・音声 携帯端末画面 放送局 3DCGデータ サブコンテンツ （インターネット） １図 Augmented TVのサービスモデル １．はじめに 下，メインコンテンツ）を携帯端末内蔵のカメラ越しに視 近年，スマートフォンやタブレットなどの携帯端末をテ 聴する。携帯端末では，メインコンテンツに対応する通信 レビのセカンドスクリーンとして，放送番組などの映像コ コンテンツ（以下，サブコンテンツ）が，テレビと携帯端 １）∼３） ンテンツを楽しむ視聴スタイルが増えている 。一方， 末との位置関係といった視聴者の状況に応じてその表示位 カメラ付き携帯端末の普及に伴い，カメラから取り込んだ 置等が計算処理されて，オーバーレイ表示される。ここ 画像に3DCG等をオーバーレイ表示す る タ イ プ のAR で，サブコンテンツは時刻情報に基づくシナリオ（台本） ４） （Augmented Reality：拡張現実感）技術 も盛んに研究 を持ち，具体的なサブコンテンツの内容としては，再生時 され，広告分野やエンターテインメント分野などを中心に 刻に基づきメインコンテンツと連動する3DCGアニメー 多くの実用例がある。 ションを想定している。 当所では，テレビ画面を携帯端末のカメラで映して見る Augmented TVを実現するためには，携帯端末上でメ ことにより，携帯端末の画面上で，テレビ番組に連動する インコンテンツとサブコンテンツの表示を同期させる仕組 3DCGを用いて，テレビ画面の外に番組映像を拡張する みと，コンテンツの制作環境が必要になる。 ARシステムを考案し，この仕組みを利用したテレビシス 同期方式に関しては，テレビと携帯端末（以下，まとめ テムの総称を「Augmented TV」と名付け提案している。 てデバイスと呼ぶ）の間で汎用的に利用できるように，以 このように，テレビの映像コンテンツに対してセカンドス 下のような要求条件を定めた。 クリーンを使ったAR技術を適用することにより，テレビ ・多様なデバイス間で利用可能であること（ネットワーク に映っているキャラクターが携帯端末のスクリーンを通し てテレビ画面の外に飛び出してくるといったポピュラーな ５）６） 演出 が可能となる。そのような視聴者が予想できない 状況を演出することにより，驚きやリアリティーをテレビ サービスとして提供することが期待できる。 このシステムは，視聴者にあたかも画面内のキャラク 非接続端末を含む） ・テレビ側のメインコンテンツの再生時刻を遅延させない こと ・携帯端末の画面内において，テレビ放送のフレーム単位 （誤差0.03秒以下）で高精度に同期すること コンテンツ制作環境に関しては，コンテンツの制作コス ターが飛び出してきたかのような印象を与える表現手法の トを抑えるために，以下のような要求条件を定めた。 提供が目的であるため，リアリティーのある演出を可能と ・メインとサブの両方のコンテンツを統合的な環境で制作 する技術的精度が要求される。本稿では，Augmented TVを実現するために開発した高精度な同期方式と，テレ ビ画面内外のコンテンツを一体として扱えるコンテンツ制 作環境について報告する。 できること ・コンテンツの素材としては，汎用的なフォーマットの データが利用できること ・3DCGキャラクター等は， 「歩く」や「座る」といった 基本動作のレベルでモーション（動作）を指定できるこ ２．サービスモデルと要求条件 １図に，Augmented TVのサービスモデルを示す。視 と ・インタラクティブなコンテンツを作れること 聴者は，テレビに表示された放送の映像コンテンツ（以 NHK技研 R&D/No.149/2015.1 37 報告 メイン コンテンツ デコード等 描画開始 表示 クロック テレビ 携帯端末 カメラで撮影 一致させる 変換処理等 クロック サブ コンテンツ レンダリング（描画）等 描画開始 オーバーレイ 表示 : 遅延を伴う処理（デバイスによって異なる遅延量） ２図 一般的な同期方式 放送局で再生時刻を「同期用マーカー」としてオーバーレイさせたもの メイン コンテンツ 表示 デコード等 テレビ カメラで撮影 携帯端末 再生時刻 サブ コンテンツ 同期用補完マーカー 生成（レンダリング） 再生時刻補正 オーバーレイ 表示 レンダリング等 再生時刻抽出 補正時間 変換処理等 時刻比較 画面 キャプチャー ３図 提案する同期方式 ３．同期方式 再生時刻の整数部（２次元コード） 3.1 アプローチと概要 デバイス間の一般的な同期方式としては，両デバイスの 位置検出用パターン クロックを一致させる方式が考えられる。Augmented TVでは，２図に示すように，クロックに合わせてメイン とサブの両コンテンツの表示処理を開始し，デコード等の 再生時刻の小数部 （同期用マーカー） 遅延を伴う処理が行われてから画面に表示される。これら の遅延量はデバイスによって異なり，たとえ一致させたク ロックに従ってコンテンツを表示しても，携帯端末画面内 では表示の同期がとれない。 ４図 テレビ側の同期用マーカーの表示例 この問題を解決するために，３図に示すように，各コ ンテンツの再生時刻を各デバイスの画面上に表示し，携帯 端末のカメラ画像内で時刻のズレを比較して，サブコンテ り，サブコンテンツとその再生時刻を不可分な形で表示す ンツの再生時刻を調整することにより同期をとる方式を提 ることが可能となる。３図の同期方式により，デバイス 案する。提案方式では，各デバイスの画面上に，各コンテ ごとの処理遅延の差異を吸収し，携帯端末の画面上におい ンツと併せてコンテンツの各フレームに対応する再生時刻 て，両コンテンツの表示タイミングを一致させることがで を表示する。再生時刻は，画像処理での比較を容易にする きる。 ために，動きのある図形（同期用マーカーおよび同期用補 3.2 マーカーのデザイン例と実装方法の詳細 完マーカー，詳細は次節）として表現し，オーバーレイ表 38 ４図に，提案方式によるテレビ側の同期用マーカーの 示される。サブコンテンツと図形（同期用補完マーカー） 表示例を示す。マーカーのサイズを抑えながら，携帯端末 は，携帯端末上で同一の演算と表示を行っているため遅延 の処理負荷にも配慮して高精度に同期させるために，テレ 量が同じとなり，再生時刻を図形化して表示することによ ビ側の再生時刻は粗・密によって表示を分けた。本稿の例 NHK技研 R&D/No.149/2015.1 再生時刻の小数部 0.25 sec. 0.0 sec. 0.50 sec. 0.75 sec. Step1 同期判定の閾値を (1)式から求められる n の値に設定する。 （ t の値は，２章の要求条件から0.03秒とする） Step2 同期用マーカーの白黒判定の閾値を，所定の黒領域の画素値 と白領域の画素値との平均値に設定する。 （所定の画素値は， 例えば位置検出用パターン内から取得する） Step3 再生時刻を０に設定する。この再生時刻は，Step6におけ る時刻補正を除き，システム時刻と同期して増加する。 Step4 再生時刻の小数部が0.5となったら，６図に示す同期用マー カー領域の水平中心線を走査する。 同期用マーカーの動き ︵透過︶ ︵透過︶ ︵透過︶ ︵透過︶ ︵透過︶ Step5 走査線上において白黒判定の閾値を超える輝度値の画素（白 ピクセル）の数を計数する。 同期用補完マーカーの動き Step6 白ピクセルの数が同期判定の閾値を超えている場合は， (1) 式から白ピクセルの数に相当する時間を計算し，その分だけ 再生時刻を戻し（時刻補正） ，Step4へ。超えていない場合 は，２次元コードの値を読み取って再生時刻の整数部として 同期完了とする。 （両マーカーは連続的かつ周期的に動く） ７図 同期アルゴリズム ５図 同期用マーカーおよび同期用補完マーカーの動き 学的な関係から，n と t の関係式は次式で与えられる。 同期用マーカー テレビ （１） （５図に示 ここで，v は同期用マーカーの速さ（m/s） v θ d すように，白黒の境界がテレビ画面上を右方向に動く速 携帯端末 走査線 w さ） ，w は携帯端末の画面上におけるカメラの取り込み画 n 同期用マーカーの上にオーバーレイ 表示された同期用補完マーカー ６図 同期精度に関連するパラメーターの関係 ，θ 像の横幅（px） ，d はテレビと携帯端末との距離（m） は携帯端末のカメラの水平画角（度）である。 上記の再生時刻の調整を，同期がとれるまで繰り返すこ とにより，コンテンツ間の同期を実現できる。７図に， 同期方式の詳細として，距離に依存しない同期精度を確保 では，再生時刻（秒）を整数部と小数部に分け，粗い再生 するアルゴリズムを示す。 時刻（整数部）は２次元コードとして，細かい再生時刻 （小数部）は５図に示すように連続的かつ周期的に動く同 期用マーカーとして表示した。 同期をとる手順としては，まず最初に，携帯端末をテレ ４．コンテンツ制作環境 4.1 アプローチ NHKでは，これまでに3DCGベースのテレビ番組を容 ビ画面と平行に設置し，携帯端末の背面のカメラにより， 易にかつ短時間で制作する技術として，番組制作記述言語 位置検出用パターン（４図）を基に２次元コードと同期 TVML（TV program Making Language）を開発してき 用マーカーの位置を検出し，２次元コードから粗い再生 た７）。TVMLはテレビ番組を基本動作レベルで記述するた 時刻を取得して低精度の時刻同期をとる。さらに，携帯端 「TVMLプレーヤー」というソ めのスクリプト言語＊１で， 末の画面上で，同期用マーカーの上に，携帯端末で生成し フトウエアに「TVMLスクリプト」を読み込ませること た同期用補完マーカー（５図）を，位置や向きを合わせ により，汎用的なフォーマットの3DCGデータや音声合成 てオーバーレイ表示する。このとき，同期用補完マーカー 等を使って番組を再生する。また，TVMLプレーヤーそ の黒い領域は，見かけは同期用マーカーと同一平面上に， のものを外部のアプリケーションから制御することも可能 同期用マーカーの白い領域に相当するサイズで表示され で，ユーザーの入出力に対応する外部のアプリケーション る。同期用補完マーカーの黒い部分が同期用マーカーの白 を開発することにより，インタラクティブなコンテンツを い部分を完全に覆った状態が，同期していることを示す。 作ることもできる。 一方，白い部分が残っている場合は，その幅に応じてサブ 以上から，Augmented TVのコンテンツを制作するに コンテンツの再生時刻を調整する（６図） 。この白い部分 あたり，TVMLを利用すれば，統合的な制作環境という の画面上の幅（単位はpx（ピクセル） ）を n ，調整すべき 同期誤差（秒）を t とすると，６図に示す各変数間の幾何 ＊１ ソフトウエアの動作内容を台本（スクリプト）のように記述する簡 易なプログラミング言語。 NHK技研 R&D/No.149/2015.1 39 報告 TVMLプレーヤー内のバーチャル空間 クリッ ピング プレー ン 間） 面内 ンツ空 ビ画 テ テレ ンコン イ メ （ 面外 ビ画 ） テレ ツ空間 ン テ ン ブコ （サ ８図 クリッピングプレーンの導入 携帯端末 制御アプリケーション タップ位置 インタラクティブ 割込 TVMLプレーヤー タッチパネル タップ位置※ 検出 割込 シナリオ駆動/ 割込処理 コンテンツ 制御 スピーカー 効果音 出力 同期方式 再生時刻 同期処理 （時計合わせ） 画面 キャプチャー キャプチャー画像 再生時刻 同期用 マーカー 位置 3DCG 同期用補完 マーカー生成 カメラ位置 データロード/ レンダリング バーチャル カメラ設定 （設定） オーバーレイ 表示 カメラ画像 （背景として配置） 取得 テレビ位置・ 姿勢検出 画面 カメラ ※ 視聴者がタッチパネルを軽くたたいたときの位置。 ９図 携帯端末のシステムアーキテクチャー 点以外については，２章で述べた要求条件を満たすこと を想定し，バーチャルカメラによってその一平面を切り出 ができる。そこで，TVMLを使ったコンテンツ制作環境 すことで，２次元のテレビ映像番組を作る。このときに および携帯端末のシステムアーキテクチャー（基本構成） 作られる映像をメインコンテンツと捉えれば，バーチャル を検討した。 カメラの投影面より手前側（テレビ画面外）の空間をサブ 4.2 TVMLを利用した制作環境 コンテンツの空間と捉えることができ，１つのバーチャ Augmented TVにおける映像コンテンツの拡張方法は， 視聴者の位置に応じて画面からキャラクターが飛び出して そこで今回，８図に示すように，TVMLのバーチャル くる方向を変えるなど，演出次第であり，拡張方法には幅 空間内にテレビ画面に相当する境界面（以下，クリッピン がある。本稿で述べる制作環境においては，テレビ画面内 グプレーンと呼ぶ）を導入した。クリッピングプレーンを でカメラが捉えた空間をそのままテレビ画面外へ延長する バーチャルカメラの投影面（図では右側を撮影）に設定す ように，サブコンテンツの座標系を視聴位置には依存しな ればメインコンテンツが得られ，クリッピングプレーンよ い形で定義する。この前提の下で，両コンテンツを統合的 り手前（図では左）のバーチャル空間をレンダリング領域 な環境で作る方法について検討する。 TVMLにおいては，３次元のバーチャル（仮想）空間 40 ル空間を両コンテンツの制作環境とすることができる。 NHK技研 R&D/No.149/2015.1 （3DCGを描画する領域）に設定すれば任意視点でサブコ ンテンツが検証できる。 １表 実装評価に用いたタブレットの仕様 テレビ OS Windows 8 CPU Intel Core i3 1.8GHz システムメモリ（GB） 4 イメージセンサー解像度（px） 1,920×1,080 カメラ解像度設定（px） 640×480 外形（mm） 295×191×11 重量（g） 955 ２表 実装評価に用いたテレビとマーカーのサイズ テレビの有効画面（mm） 携帯端末 886×498（40型） 位置検出用パターン， 200 同期用マーカー， （上記のテレビで92mm） ２次元コードの一辺の長さ（px） （幅20pxの余白を含む） 10図 実装したAugmented TVシステムの外観 ３表 実装評価における同期精度に関わるパラメーターの値 t（秒） 0.03 d（m） 0.50 0.75 1.00 1.25 1.50 1.75 2.00 2.25 v（m/s） 0.059 n（px） 5.4 3.6 2.7 2.2 1.8 1.5 1.4 1.2 w（px） 1,440 θ （度） 50.4 4.3 携帯端末側のシステムアーキテクチャー ある。11図（b）においては，視聴者はキャスター付きの 前節のクリッピングプレーンを導入したTVMLプレー 椅子に座った状態で，肘は固定していない。タブレットの ヤーは，制作環境として利用できるだけでなく，携帯端末 位置合わせは，一般の視聴者の利用環境を考慮して，今回 のサブコンテンツ提示環境としてもそのまま活用できる。 の実験では次の手順により行った。すなわち，測定ごとに ９図に，携帯端末のシステムアーキテクチャーを示す。 タブレットの位置をいったん別の場所に動かした後に，タ TVMLプレーヤー自体は高精度な時間管理ができないた ブレット画面上に，タブレットの空間上の位置を指定する め，両コンテンツの同期精度を確保するために，制御アプ ためのテレビ画面位置を示すガイド線（テレビ枠，12図） リケーションが時刻ベースのシナリオに合わせて外部制御 を提示し，このテレビ枠にカメラ取り込み画像上のテレビ を行う構成とした。前章で述べた同期方式を９図の破線 画面を重ね合わせることだけを手がかりにして，タブレッ 内のように構成することで，両コンテンツの同期を高精度 トの位置を合わせた（このテレビ枠が指し示す厳密な位置 にとることができる。 については6.1節で述べる） 。 11図のグラフは，携帯端末の画面において，サブコン ５．実装評価 提案方式の同期精度等を検証するために，市販のテレビ テンツの再生時刻からメインコンテンツの再生時刻を引い た値を測定した結果であり，各距離について５回ずつ測 とタブレットを用いて実装評価を行った。10図に，実装 定した値と，それらの値の絶対値の平均値を示している。 したAugmented TVシステムの外観を示す。ここでは， 11図（a）では，ほとんどの測定値は0.03秒以下となり， テレビから出てきたキャラクターが図のように視聴者と一 携帯端末の画面内において両コンテンツがフレーム単位で 緒に番組を視聴してくれるコンテンツ例を示した。１∼３ 高精度に同期できることを確認した。11図（b）では，テ 表に，実装評価に用いたパラメーターを示す。 レビと携帯端末との距離が1.25（m）までは11図（a）と 11図に，テレビと携帯端末との距離に応じた同期誤差 ほぼ同様の結果になったが，距離が大きくなると同期誤差 の測定結果を示す。11図（a）はタブレットを固定した場 が大きくなることが分かった。この結果は，距離が大きく 合の測定結果，11図（b）はより実際の利用イメージに合 なると手ぶれの影響が大きくなり，同期精度が悪化するこ わせてタブレットの左右を両手で持った場合の測定結果で とを示している。以上の結果から，高精度に同期をとるた NHK技研 R&D/No.149/2015.1 41 報告 0.04 0.03 0.02 0.01 各距離における測定値 同期誤差 （秒） 0 0 0.5 1 1.5 2 2.5 の絶対値の平均値 測定値 −0.01 −0.02 −0.03 −0.04 −0.05 −0.06 テレビと携帯端末との距離（ｍ） （a）タブレットを固定した場合 0.09 0.08 0.07 0.06 0.05 0.04 0.03 同期誤差 0.02 各距離における測定値 0.01 0 −0.01 の絶対値の平均値 0 0.5 1 1.5 2 2.5 測定値 （秒）−0.02 −0.03 −0.04 −0.05 −0.06 −0.07 −0.08 −0.09 −0.1 テレビと携帯端末との距離（ｍ） （b）タブレットを両手で持った場合 11図 テレビと携帯端末との距離に対する同期誤差 めには，テレビと携帯端末との距離が大きい場合は，携帯 端末を何かに固定する必要があることが分かった。 13図に，一例として3DCGのキャラクターが画面外に飛 テレビ画面を破線（テレビ枠）に 合わせてください び出すシーンにおける携帯端末画面を示す。始めはメイン コンテンツのみに表示されていたキャラクターが，頭部か らサブコンテンツとして画面外に出てくる様子が分かる。 このように，キャラクターが画面をまたぐ際に，ずれを感 じさせない滑らかな出入りを演出できることを確認した。 ６．考察 ひず 6.1 レンズ歪みによる同期誤差の影響 提案する同期方式の注意点として，レンズ歪みの影響に 12図 タブレットの位置合わせ 42 NHK技研 R&D/No.149/2015.1 ついて考察する。本方式は実空間を媒体とする光学的な方 b メインコンテンツ サブコンテンツ 時 画面の中心線 c a 間 14図 レンズ歪みの影響を抑えるように位置検出用 パターンを配置したタブレット 13図 携帯端末（タブレット）の画面の変化例 ４表 レンズ歪みによる同期誤差の理論値 d（m） 0.50 0.75 1.00 1.25 1.50 1.75 2.00 2.25 同期誤差 （秒） 0.0102 0.0049 0.0028 0.0018 0.0013 0.0009 0.0007 0.0006 式であるため，レンズ歪みによる測定誤差がそのまま同期 る。また，最も影響の大きい距離0.5（m）の場合でも， 誤差に直結する。レンズ歪みとは，理想的なピンホールカ 0.01秒程度の影響であり，この距離における11図（a）の メラと比べ，光軸からの距離に応じて，放射方向に非線形 各測定値をこの値だけ補正すると改善する結果もあれば改 ４） 的な変位が生じる現象である。文献 などの一般的なAR 悪になるものもあり，平均としては0.002秒しか改善しな システムでは，ソフトウエア処理によりレンズ歪みの補正 い。 を行っている。11図に示した今回の測定では，歪みの影 以上より，今回の環境では，携帯端末を適切に配置すれ 響を調べるためにあえて補正は行わなかった。例えば，テ ば，歪み補正を行わない場合でも同期精度を確保できるこ レビと携帯端末との距離が2.25（m）の場合，同期用マー とと，携帯端末が任意の場所にある場合は適切な歪み補正 カーを携帯端末画面の左の方で捉えると，メインコンテン が必要であることが分かった。 ツの再生時刻に比べて，レンズ歪みの影響により0.1秒ほ 6.2 インタラクティブコンテンツ どサブコンテンツの再生時刻が遅れ，逆に右の方で捉える と0.1秒ほど再生時刻が進むことを確認した。 本研究ではTVMLを実装に用いたことで，キャラク ターのアクションを基本動作レベルで指定できる。また， 歪みの影響を抑えるためには，レンズ歪みの少ない光軸 キャラクターは，画面の出入りなど基本的にはあらかじめ 付近に画像処理対象を捉えるようにする方法が考えられ 決められたシナリオに沿って動くが，シナリオの中にイン る。11図の測定では，14図に示すように，常に携帯端末 タラクティブな期間を設けることで柔軟で直感的なコンテ のカメラの光軸が，２つの位置検出用パターンの中心を ンツの構成が可能である。 通る直線と直角に交わるように携帯端末を配置した。この 15図に，インタラクティブコンテンツの実装例を示す。 時の歪みの影響について考えると，レンズ歪みが非線形的 この例では，視聴者がタブレット上にサブコンテンツとし な変位であることに起因して，14図のaに対するbの歪み て表示されたキャラクターをタップする（軽くたたく） （aを基準としたときのbの変位の大きさ）と，aに対する と，キャラクターが振り向いて「なぁに？」と聞いてく cの歪みが発生し，これらが同期誤差に直結する。今回は， る。こ の 一 連 の 動 作 は，15図 の よ う に「振 り 返 る その大きさから同期精度に対してより影響の大きいaに対 （gaze） 」などのわずか５つのコマンドで構成されている。 するbの歪みについて理論値を求めた。 ４表は，今回の環境におけるレンズ歪み（導出は付録 に記載）から，レンズ歪みによる同期誤差の理論値を一覧 このように，Augmented TVでは，一方的な放送サービ スにとどまらないインタラクティブなコンテンツを提供す ることができる。 にしたもので，補正する場合はこの値だけ携帯端末の再生 時刻を進める。この結果から，テレビと携帯端末との距離 が長くなるとレンズ歪みの影響は少なくなることが分か ７．むすび 本研究では，AR技術を用いてテレビをカメラ越しに視 NHK技研 R&D/No.149/2015.1 43 報告 タップ キャラクターが振り返り， 「なぁに？」と言う。 [TVML スクリプト] sound : open（name=nani, filename="labo￥Sound￥なぁに？.wav"） character : gaze（name=CharacterB, pitch=0, yaw=120, roll=0, style=witheye ,wait=yes） sound : play（name=nani） wait （time=1.0） character : gaze（name=CharacterB, pitch=0, yaw=0, roll=0, style=witheye ,wait=yes） 15図 インタラクティブコンテンツの例 聴することにより新たな映像表現を可能にする Augmented TVを提案した。Augmented TVを実現する ための高精度な同期方式とコンテンツ制作環境を開発し， 待される。 なお，本研究は東京工業大学の佐藤誠先生にご指導いた だきながら進めた。ここに感謝する。 実装評価によりその有効性を検証した。高精度な同期を実 現したことにより，キャラクターがテレビ画面の内外を自 然に出入りするといった演出が可能になった。 本稿は，日本バーチャルリアリティ学会論文誌に掲載された 以下の論文を元に加筆・修正したものである。 Augmented TVは，視聴者に驚きやリアリティーを与 川喜田，中川，佐藤： “Augmented TV：携帯端末内蔵カメラ えるとともに，インタラクティブなサービスを提供できる を用いてTVの映像を画面外へ拡張するシステム， ”日本バー 新しいメディアである。今後は，リビングやパブリック チャルリアリティ学会論文誌，Vol.19，No.3，pp. 319328 ビューイングなどの場面において，空間を生かしたアンビ （2014） エントメディアとして豊かな表現力が生かされていくと期 参考文献 1）ニールセン： “ニールセン，生活者のマルチスクリーン利用動向を分析， ”http：//www.netratings.co.jp/ news_release/2013/11/Newsrelease20131112.html 2）ディズニー： “ディズニーセカンドスクリーン， ”http：//disneystudio.jp/secondscreen/ 3）日本テレビ： “どこでも志村どうぶつ園， ”http：//www.ntv.co.jp/zoo/app/ar.html 4）加藤： “拡張現実感システム 構 築 ツ ー ルARToolKitの 開 発， ”信 学 技 報，Vol.101，No.652，pp.7986 （2002） 5）水木しげる： “テレビくん（漫画） ， ”講談社（1965） 6）鈴木光司原作，中田秀夫監督： “リング（映画） ， ”東宝（1998） 7）NHK TVML Player，http：//www.nhk.or.jp/strl/tvml/japanese/player2/ 8）D. C. Brown：“Closerange Camera Calibration，”Photogrammetric Engineering，Vol.37，No.8， pp.855866（1971） 9）OpenCV，http：//opencv.jp/ 44 NHK技研 R&D/No.149/2015.1 （付録）レンズ歪みの大きさの導出 キャリブレーションパターン（校正用パターン）を撮影することにより，レンズ歪みの大きさを求めた。レンズ歪みの モデルは次のように低次多項式で定式化される8）。 ここで， （xi，yi）は画面における歪みのない座標値， （xd，yd）は画面における歪みの発生した座標値，f は焦点距離， （cx，cy）は，カメラの内部パラメーターと呼ば （cx，cy）は歪み中心（放射状の歪みの中心）の座標値を示しており，f， れている。各座標値と焦点距離の単位はpx（ピクセル）である。 と は歪曲収差パラメーターと呼ばれる歪み度合いを ， ， の値は，今回の実験ではOpenCV9）のcv : : calibrateCamera （） 関数によって求めた結果， 示している。f， （cx，cy） それぞれ692 （px） ， （321，256） ，−0.160，0.162であった。 か わ き た ひろゆき なかがわ と し お 川喜田裕之 中川俊夫 2004年入局。広島放送局を経て，2007年か ら放送技術研究所において，放送通信連携技 術の研究に従事。現在，放送技術研究所ハイ ブリッド放送システム研究部に所属。 1989年入局。編成局におけるインターネット サービスの開発業務を経て，2012年から放送 技術研究所において，インターネットサービ スの研究に従事。現在，放送技術研究所ハイ ブリッド放送システム研究部上級研究員。 NHK技研 R&D/No.149/2015.1 45
© Copyright 2024