テレビ視聴スタイルの多様化に 向けた技術研究の概要
テレビ視聴スタイルの多様化に 向けた技術研究の概要 解 説 山内結子 ■ テレビの視聴スタイルの多様化が進み，より魅力的な放送サービスの実現に向けた取り 組みが重要となりつつある。本稿では，視聴スタイルのユビキタス化・ソーシャル化・ パーソナル化に向けた技術の概要を紹介するとともに，パーソナル化に向けた技術研究 として，当所で取り組む興味内容推定技術の研究について解説する。 １．はじめに １） 放送と通信を連携させた新しいサービス「ハイブリッドキャスト」 が2013年９月に開 始され，その機能を搭載したテレビ受信機が市販されるようになった。この放送通信連 携機能によって， 視聴者に高品質な番組を一斉に届けられるだけでなく， 視聴者の個々の ニーズに合ったサービスを提供していくことが技術的に可能となりつつある。 また，最近の視聴者の傾向としては，リアルタイムの放送視聴（以下，リアルタイム ２） をはじめとするVOD 視聴）だけでなく，録画視聴者の増加や， 「NHKオンデマンド」 （Video on Demand）の利用の広がり，さらにネット上におけるテレビ関連のコミュニ ケーションの活発化（ソーシャル化）なども進み，テレビの視聴スタイルの多様化３）が起 きている。このように視聴スタイルが変化していく中で，放送局としては，放送番組へ の接触者を増やしていくために，より魅力的なサービスの実現に向けた技術開発への取 り組みが重要となっている。 本稿では，このようなさまざまな視聴スタイルの動向と，視聴スタイルの多様化に向 けた技術研究の概要について述べる。また，視聴スタイルの多様化の１つであるパーソ ナル化に焦点を当て，当所における視聴行動の解析技術の研究について解説する。 ２．テレビの視聴スタイルに関する動向 テレビの視聴スタイルに関しては，視聴者をいくつかのタイプに分けて議論する場合 ４） によると，主に がある。2013年に実施されたNHK放送文化研究所の「テレビ60年調査」 リアルタイム視聴を日常的に行う従来型視聴と，リアルタイム視聴・録画再生・SNS （Social Networking Service）利用のいずれかを日常的に行う現代的視聴とに分ける例 が紹介されている。年齢層を1649歳と50歳以上で分けてみると，従来型視聴を行う視聴 者の割合は1649歳では23％，50歳以上では64％，現代的視聴を行う視聴者の割合は16 49歳では69％，50歳以上では32％と，逆転していることが示されており，視聴スタイ ルが年齢とともに大きく変化していることがうかがえる。 従来型視聴におけるリアルタイム視聴についてもう少し詳細を見てみると，例えば 28 NHK技研 R&D/No.149/2015.1 ユビキタス化 ソーシャル化 いつでもどこでも 便利に視聴 ネットでつながり みんなで楽しむ テレビ視聴 パーソナル化 自分好みに利活用 １図 テレビの視聴スタイルの進化 「見たい番組がなくてもテレビをつけている」という習慣の方や， 「テレビがついていると 気になるのでテレビをまめに消してしまう」という方など，さまざまな傾向がある。ま た，テレビを見ながらパソコンや携帯電話などを利用する「ながら」視聴を行う場合や， テレビだけに集中する場合など，従来型視聴においても，テレビの見方は人それぞれで あり，多様化している。 一方，現代的視聴については，録画再生型視聴やVODなど，テレビ放送の時間帯より 後に視聴するタイムシフト型視聴が増え，生活に合わせて好きな時に好きな場所で視聴 するスタイルが徐々に浸透してきている。また，番組視聴中にネット上でつぶやきを発 信したり，それをフォローして盛り上がり，新たな番組視聴につながるなど，SNSを利 用して視聴の幅が広がっている。 つまり，一昔前までは，新聞のテレビ欄やEPG（Electronic Program Guide）で番組 内容を確認して，その時間帯に放送されるテレビ番組を視聴するというスタイルが主流 であったが，テレビを取り巻くさまざまな技術の進展によって，１図に示すように，テ レビの視聴スタイルがさまざまな方向へと変化しつつある。いつでもどこでも番組を好 きなように見ることのできるユビキタス化や，ネットを介したコミュニティーのみんな でテレビを楽しむソーシャル化，個人個人に特化して自分好みの番組を見られるパーソ ナル化など，視聴者それぞれにとって，便利かつ楽しい視聴スタイルが生まれている。 次章では，これらの視聴スタイルの多様化に向けた技術の取り組みについて述べる。 ３．視聴スタイルの多様化に向けた技術の取り組み 3.1 ユビキタス化に関する技術研究 テレビのユビキタス化に向けた動きとしては， 「いつでも」という観点では，ハード ディスクレコーダーの一般家庭への普及が進んできたことと，各放送事業者から放送済 みの番組をVODとして提供するサービスが盛んになってきたことが挙げられる。また， 「どこでも」という観点では，最近では家電メーカーの一部の製品では，レコーダーに録 画した番組をスマートフォンやタブレットなどを利用して外出先まで持ち出すことが可 能になったことが挙げられる。このように，生活に合わせて便利に番組を見られる「い つでもどこでも」の機能が充実しつつある。 テレビのユビキタス化に関する技術課題の１つとして，現在の放送番組から過去の放 送番組までをシームレスに，視聴者にストレスを感じさせずに供給するための技術の開 発がある。個人で購入するハードディスクレコーダーは容量の制限によって記録できる 番組に限りがあることや，現状のVODサービスでは番組や期間が限定されていることな NHK技研 R&D/No.149/2015.1 29 放送番組 放送時刻IDで 永続的な番組管理 放送 関連データ 多種多様な 視聴環境 分散サーバー群 通常視聴 通信 過去 現在 映像 音声 字幕 番組情報 タグ （出演者等） 仮想メディア 未来 今日の料理 レシピ ID さまざまな利用場面 仮想メディアファイル を選択して利用 ２図 提案する分散ファイルシステムによるサービスの概要 ど， 視聴者の見たい番組を全て網羅することは困難である。このため， 通信系サービスも利 用しながら全番組を網羅し，永続的に番組を蓄積することのできるストレージシステム の構築と，自分の見たい番組に簡単にアクセスできる操作性とが重要な技術課題となる。 そこで当所では，放送局が発信する映像・音声・字幕などの各種データの長期的な保 管と，さまざまなサービスへの柔軟なコンテンツ提供を目的として，スケールアウト型 ＊１ ストレージ用サーバーを追加す ることで，容量の増加や性能向 上を行うことができるファイル 管理システム。 分散ファイルシステム５）＊１を提案し，研究開発を進めている。特に，放送コンテンツに 付随した放送時刻に着目して，放送時刻をID（Identification）としてファイルにアクセ スすることにより，番組再生に必要なデータを容易に取得できる仕組みや，字幕などか ら得られた出演者などのタグ（番組への付加情報）を各種データに関連付ける手法など を開発している６）。２図に，提案する分散ファイルシステムによるサービスの概要を示 ＊２ リモコンなどでチャンネルを頻 繁に切り替えながら視聴するこ と。 す。また，試作した分散ファイルシステムを用いて，時間軸方向にザッピング＊２を行う 視聴実験を実施し，長期間のタイムシフト環境における視聴行動や操作行動を調べる実 験７）を行った。 本特集号の報告「長期間の放送番組のタイムシフト視聴環境のための分散ファイルシ ステム」では，試作した分散ファイルシステムの概要について述べる。また，報告「長 期間タイムシフト視聴環境における操作行動」では，このシステムを利用した視聴実験 の詳細について述べる。 3.2 ソーシャル化に関する技術研究 テレビのソーシャル化に関しては， テレビとネットとの相乗効果を期待して， テレビを軸 とした視聴者間のコミュニケーションをターゲットに，積極的な取り組みがさまざまに 行われている。 例えば民放では， テレビとスマートフォンを利用して登録ユーザーがSNS ８） や，Twitterのコメント数などを基にして今人気の でつながることができる「JoinTV」 ９） などのサービスが既に提供されている。 ある番組が可視化される「Wiztvアプリ」 テレビのソーシャル化に関する技術課題としては，放送番組への接触の機会を増やす ＊３ television（テレビ）とeda（枝） をつなげて作った造語。テレビ 番組を通じて，人と人とのネッ トワークが木の枝のよう に 広 がっていくという意味を持たせ ている。 30 NHK技研 R&D/No.149/2015.1 ためのSNSコミュニティーの形成方法，ソーシャル上のTwitterなどのコメントを解析す る技術，コミュニティーへの適切な情報提供手法などが挙げられる。当所においては， ＊３ のサービスを開発して2010年から2012年に 番組レビューSNSサイトteleda（テレダ） かけて実証実験を行い，テレビのレビュー（批評や感想）の書き出しから広がるコミュ ニケーションの活性化の効果を確かめてきた10）。その他にも当所におけるテレビのソー シャル化に関する研究は多岐にわたっており，ぜひ参考文献11）を参照されたい。 3.3 パーソナル化に関する技術研究 テレビのパーソナル化に関しては，最近のテレビメーカーの製品の中に，視聴者の好 みの番組を推薦する機能12）を持つ製品が出てきており，番組関連情報に含まれるキー ワードを基にした学習による番組推薦手法や，他の視聴者の評価を利用した協調フィル タリング＊４による番組推薦手法などが取り入れられている。また，当所においても，視聴 中の番組に関連した番組の検索・推薦機能を持つCurioViewの開発13）などを行ってきた。 テレビのパーソナル化に関する技術課題の１つとして，どのように視聴者の好みを取 得するかが挙げられる。テレビ視聴時の詳細な興味推定は，ネット環境と比べると簡単 ＊４ 多くのユーザーの商品購入情報 や番組選択情報などを利用して， あるユーザーの好みに近い好み を持つユーザーの情報を用いて， 自動的に推論を行うこと。 ではない。つまり，パソコンやタブレットなどはリーン・フォワード（前傾姿勢）メ ディアと呼ばれ，Web検索などの操作履歴やSNSの発信履歴などから情報を解析してそ れぞれの興味を推定できると考えられる14）が，テレビはリーン・バック（後傾姿勢）メ ディアと呼ばれ，チャンネルの切り替え情報が得られたとしても，実際の視聴行動とし てどのようにテレビを見ていたかまでは，実際には明確ではない。 そこで当所では，テレビ視聴時における視聴状況の取得に向けた研究15）を重点的に行 い，番組への興味内容を推定するための研究16）を進めてきた。テレビ視聴時における視 聴者の振る舞いの解析に関しては，脳活動を計測することにより，視聴者の状態と番組 内容との関係性を解析する研究17）なども行っているが，パーソナル化されたサービスの 実現に向けて，テレビ視聴時の自然な振る舞いから視聴者の状態を解析するために，身 体にセンサーなどを付ける手法ではなく，テレビに家庭用カメラを設置して視聴者の行 動を解析する研究を重点的に進めている。次章では，当所で取り組む視聴状況取得技術 と興味内容推定技術の研究に関して解説する。 ４．興味内容推定手法の研究への取り組み 視聴者の興味内容を推定するには，テレビの操作履歴の取得だけでなく，実際にテレ ビをどのように見ているか，パソコンや携帯電話など他の端末との「ながら行動」を 行っているかなど，テレビの視聴状況を取得することが重要になる。さらに，視聴者に 負担をかけない方法で視聴状況を取得して興味内容を推定できれば，個人の興味や好み に合った番組推薦とともに，放送を起点としたさまざまな個人向け情報サービスへの活 用が期待できる。これらの要求条件を考慮して，当所では，テレビを見ている視聴者の 映像を取得・解析して，番組の概要文や字幕データと照合することによって，興味内容 を推定するアプローチを進めている。本章では，視聴状況と興味内容の関係性を確認す る視聴実験，視聴状況の取得手法とその精度，興味内容の推定手法とその応用に関する 研究開発について説明する。 4.1 視聴状況と興味内容の関係性の確認 視聴状況と興味内容の関係性を確認するために，一般家庭を模したテレビ視聴環境に おいて視聴実験を行った。この実験では，テレビの上にセンサーカメラを設置して被験 者の視聴行動を取得し，被験者は，番組への評価点付与と，番組の字幕情報から抽出し た字幕キーワードの中で興味を持った「興味キーワード」を選択するアンケートへの回 答を行った。 視聴状況として，注視（見ているか見ていないか）を判定し，その注視度と番組への 興味がどの程度関係があるのかを分析したところ，注視度と番組評価点の間に高い相関 NHK技研 R&D/No.149/2015.1 31 ３次元モジュール カメラ画像 ＋奥行き画像 顔検出・ 追跡（3D） Kinect センサー カメラ画像 特徴点 肌色情報 顔検出・ 追跡（2D） 顔領域 画像 顔向き推定 （3D） 顔向き（3D） 注視状態 検出器 顔向き推定 （2D） 顔向き（2D） 表情推定 （2D） ２次元モジュール 注視 状態 表情表出 検出器 表情 表出 表情強度 ３図 視聴状況推定の流れ が示されることを確認した。また，注視度の高い時間帯の字幕キーワードの中に，興味 キーワードの多くが含まれることが分かり，被験者の表情変化を考慮した場合において， この傾向がさらに顕著であることも確認した。 以上の実験結果から，注視と表情を含む視聴状況と，興味内容（興味キーワード）と の関係性が高いことが示され，注視や表情などの視聴状況の取得を自動的に行うことが できれば，興味内容の推定に有効であることを確認した。 4.2 視聴状況の取得手法 カメラ画像と同時に奥行き画像も取得可能なKinectセンサー18）を用いて，視聴状況の 推定を行った。カメラ画像を入力として解析を行う２次元モジュールと，カメラ画像と 奥行き画像を入力として解析を行う３次元モジュールとを組み合わせて，注視状態の検 出を行い，２次元モジュールの解析による表情表出の検出から，視聴状況の取得を行っ た19）。全体の流れを３図に示す。 注視状態検出では，顔検出・追跡処理・顔向き推定を２次元と３次元の各モジュール で相補的に行うことで，テレビ視聴の有無を判定する。この構成が，視聴者の自由な振 る舞いに対する頑健性を高めている。 ２次元モジュールでは，指定された肌色情報を用いて肌色領域を検出し，その領域内 から顔を検出して，あらかじめ登録されたさまざまな顔向きとのマッチングにより，顔 向きを推定する。その際，追跡状況に応じて照合する顔向きを変化させながら，頑健な マッチング処理を行っている20）。 ＊５ カラー画像や奥行き画像などの データを扱うためのソフトウエ ア開発キット。 カメラ ３次元モジュールでは， 汎用奥行きセンサーのKinectライブラリー＊５を活用し， 映像と併用して視聴者の顔領域を検出・追跡し， ３次元実空間において顔向きを推定する。 表情推定では，２次元モジュールを用いて，顔の表情の認識（怒り，嫌悪，恐れ，喜び， 悲しみ，驚き，ニュートラル（無表情） ）と，表情強度の推定を行う。まず，顔領域内の 画像特徴量を計算し，機械学習の手法によって，表情の種類と強度を出力している21）。 4.3 視聴状況推定の精度 前節で述べた視聴状況推定の有効性を確認するために，30名の被験者により視聴計測 実験を行った。１人当たり２時間の実験で，15番組の多岐にわたるジャンルの映像を視 聴し，被験者の興味が偏らないよう配慮した。実験後，被験者を収録した映像を第三者 が確認し，秒単位で，注視状態（見ている/見ていない）と表情表出（表情の有無）をア ノテーション（関連情報として付与）した。このアノテーションデータを正解データと ＊６ 評価データを分割して，一部を 解析し，残りの部分でその解析 のテストを行い，妥当性を検証 する手法。 32 NHK技研 R&D/No.149/2015.1 し，注視状態検出および表情表出検出の精度を測定した。 注視状態検出の精度の評価は，交差検定＊６により行った。交差検定に用いる識別器は， 第三者が目視アノテーションした注視正解データを基に作成した。検定の結果，提案手 視聴状況 表情 注視（顔向き） 興味内容推定 各シーンの字幕キーワード 番組への興味度合い 懐石料理 九谷焼 行儀作法 字幕キーワード の重要度 懐石料理 九谷焼 行儀作法 パスタ フォーク イタリア パスタ イタリア フォーク 興味候補キーワード の推定計算 時間 カレー 炊飯器 しょうが 視聴者の 興味候補キーワード カレー 炊飯器 しょうが ４図 興味内容推定の流れ 法の精度は80.1％となり，本手法の有効性を確認できた。２次元と３次元のモジュール が両者の長所を生かしながら頑健に顔追跡をしている点が，高い注視状態推定精度に貢 献したと考えられる。 表情表出検出の精度については，視聴者３名をそれぞれ撮影した合計約４時間分の映 像について検証を行った。第三者が目視アノテーションした表情（怒り，嫌悪，恐れ， 幸福，悲しみ，驚き，ニュートラルの７種）を正解データとして，4.2節で述べた手法に より顔表情の認識を行ったところ，表情の強度が小さい場合には課題があるものの，表 情の強度が一定以上に大きくなると，85％以上の高い精度が得られることを確認した22）。 以上の結果から，テレビ視聴時のさまざまな「ながら行動」などの自由な振る舞いに 対しても，本システムが高い精度でテレビへの注視状態を検出できることを確認し，表 情についても，視聴者が大きく表情を変化させたときには，高い精度で認識できること を確認した。 4.4 興味内容推定手法 ４図に興味内容推定の流れを示す。まず，番組に付随する字幕情報から，形態素解 析＊７により字幕キーワードを取得する。次にTFIDF（文書内単語出現頻度TF（Term ＊８ と逆文書頻度IDF（Inverse Document Frequency）＊９の積）などの手 Frequency） 法により，各字幕キーワードの重要度を計算する。一方，視聴者のテレビの視聴状況と して，注視状態（顔向き）と表情表出から，興味度合いを計算する。そして，字幕キー ワードの重要度と視聴者の興味度合いの積の時間平均から，興味候補キーワードの推定 計算を行い，興味候補キーワードの順位付け（ランキング）を行って，その結果を視聴 者の興味内容推定結果として出力する。 4.1節で述べた視聴実験のデータにおいては，被験者が選択した興味キーワードが，上 記の興味候補キーワードのランキングで上位となり，本節で述べた興味内容推定手法の ＊７ 文章を意味のある単語に区切っ て品詞や内容を判別する言語処 理手法。 ＊８ ある単語が文書中（本件では番 組中）に出てくる出現頻度。 ＊９ ある単語を含む文書数と総文書 数との比の逆数（対数計算） 。特 定の文書（本件では特定の番組） にしか出現しない希少単語ほど 数値が高くなる。 有効性を確認した。 4.5 システムへの適用 視聴状況から番組への興味内容を推定して，興味候補キーワードを提示するTVPad 。今回は，あらかじめいくつかの番組を用意し，字幕キー システムを試作した23）（５図） ワードの重要度計算については，番組数が少なくIDF計算が困難であったため，字数や表 NHK技研 R&D/No.149/2015.1 33 顔の向き 表情 喜び 驚き 怒り 嫌悪 恐れ 悲しみ 興味度 ５図 TVPadシステムの動作例 記などを考慮した独自のルールに基づく重要度計算を事前に行った。これにより，固有 名詞など，長い文字数の単語の重要度が高くなるような計算を行った。５図に示すよう に，視聴状況によって興味度が時間とともに変化し，タブレットに興味候補キーワード のランキングが表示されることを確認した。 このシステムでは，例えばタブレットに表示されている興味候補キーワードの中で， 視聴中に理解できなかったキーワードや興味を持ったキーワードを，すぐに検索エンジ ンで調べることも可能である。また，視聴したときの表情と字幕キーワードをひも付け て確認できるなどの工夫も行った。本システムは，2014年のNHK技研公開において，多 くの来場者に体験していただいた。 ５．おわりに 本稿では，テレビの視聴スタイルのさまざまな方向性として，パーソナル化・ソー シャル化・ユビキタス化に向けた技術動向について解説した。また，当所で研究開発を 進めている，放送通信連携サービスのパーソナル化に向けた技術として，視聴者の興味 内容推定に焦点を当て，視聴行動と興味内容の関係分析，および視聴状況の推定手法と その応用について解説した。 今後は，視聴状況の解析精度と興味内容の推定精度を向上させ，視聴者個人のプロ ＊10 ユーザーごとの興味や好みなど の情報を，サービスに活用でき る形で蓄積すること。 ファイル化＊10へとつなげ，個人の好みに合った放送通信連携サービスの実現を目指して 研究開発を進めていく。 参考文献 1） NHK Hybridcast，http：//www.nhk.or.jp/hybridcast/online/ 2） NHKオンデマンド，http：//www.nhkondemand.jp/ 3） 村上： “ 「これからのテレビ」を巡る動向を整理する Vol.4 ∼2013年10月−2014年7月∼， ” 放送研究と調査，Vol.64，No.9，pp.1838（2014） 34 NHK技研 R&D/No.149/2015.1 4） 木村： “ “多極化”するデジタル時代のテレビ視聴者 ∼「テレビ60年調査」から∼， ”放送研究 と調査，Vol.64，No.2，pp.3853（2014） 5） 金子，竹内，黄，和泉： “放送時刻でファイルにアクセス可能な分散ファイルシステム， ”信学 論B，Vol.J197B，No.11，pp.10711084（2014） 6） 金子，竹内，黄，苗村： “時系列放送番組のタグを使ったザッピング視聴用システムの試作， ” 映情学年次大，15（2014） 7） 竹内，金子，黄，苗村： “時刻方向へのザッピングが可能な長期間タイムシフト環境における 操作行動， ”映情学技報，Vol.38，No.39，ME201494，pp.2124（2014） 8） JoinTV，https：//www.jointv.jp/ 9） wizTV，http：//wiztv.com/ 10）大竹，山村，大槻，宮崎，藤井，藤沢： “番組レビューSNSサイト teleda と既存SNSとの連 携によるコミュニケーション空間の拡張， ”情処学GN研資，Vol.2013GN86，No.10，p.8 （2013） 11）有安，澤井，中川： “視聴者の行動に基づくソーシャルテレビサービスの設計， ”NHK技研R &D，No.142，pp.2834（2013） 12）板倉： “タイムシフトマシンに適したパーソナル番組推薦技術， ”東芝レビュー，Vol.68， No.7，pp.5859（2013） 13）住吉，佐野，後藤，望月，宮崎，藤井，柴田，八木： “CurioView：TV Recommendations Related to Content Being Viewed ，” IEEE International Symposium on Broadband Multimedia System and Broadcasting，mm201021（2010） 14）田中，堀，山本： “個人行動履歴に基づく情報推薦システムの開発， ”人工知能学会論文誌， Vol.23，No.6 SPE，pp.412423（2008） 15）苗村，高橋，奥田，三ッ峰，クリピングデル，藤井： “視聴状況に基づいたテレビインター フェース， ”映情学誌，Vol.64，No.12，pp.18161819（2010） 16）クリピングデル，奥田，高橋，苗村，藤井： “LevelofInterest Estimation for Personalized TV Program Recommendation ，” IEEE International Conference on Consumer Electronics 2013，pp.673674（2013） 17）澤畠，小峯，比留間，相澤： “Intersubject Synchronization of fMRI Activity Reveals Comprehension of TV Programs， ”Society for Neuroscience Annual Meeting 2013， 760.28/ GGG8（2013） 18）Microsoft，USA：XBOX Kinect，http：//www.xbox.com/kinect 19）高橋，奥田，クリピングデル，山内，苗村： “TV視聴者の顔向きと表情に基づく番組評価推 定， ”情 報 科 学 技 術 フ ォ ー ラ ム 講 演 論 文 集（FIT2014） ，No.3，J025，pp.317318 （2014） 20）クリピングデル，藤井： “Video Face Tracking and Recognition with Skin Region Extraction and Deformable Template Matching，”International Journal of Multimedia Data Engineering and Management，Vol.3，No.1，pp.3648（2012） 21）奥田，藤井，佐藤： “表情強度推定値とBayes推定を組み合わせた顔表情認識， ”情報科学技術 フォーラム講演論文集（FIT 2013） ，No.3，J028，pp.439440（2013） 22）奥田，高橋，山内，クリピングデル，苗村，佐藤： “テレビ視聴者を対象とした顔表情認識実 験， ”映情学冬大，133（2013） 23）山内，奥田，高橋，クリピングデル，苗村： “視聴状況に基づいた興味内容推定システムの試 作， ”映情学年次大，76（2014） やまのうち ゆ う こ 山 内 結子 1988年入局。放送技術局を経 て，1990年から放送技術研究 所において，CG・実写映像合 成処理や，コンテンツ解析お よび視聴状況解析処理の研究 に従事。現在，放送技術研究 所ハイブリッド放送システム 研究部上級研究員。博士（工 学） 。 NHK技研 R&D/No.149/2015.1 35
© Copyright 2024