メディア伝送 集 ISO/IEC国際標準 特 誤り訂正符号 4K・8Kサービスを実現する超高臨場感映像技術 4K ・ 8K映像配信を支える 次世代メディア伝送技術MMT ISO/IEC動画像国際標準MPEGで,次世代メディア伝送規格MMT(MPEG Media Transport)の標準化が進んでいます.本稿では,NTT未来ねっと研 究所提案の誤り訂正符号を中心にMMTについて説明するとともに,MMT のユースケースとして,4K・8K映像コラボシステムについて紹介します. MMT標準化の背景 メディア伝送規格として幅広く利用 されているISO/IEC動画像国際標準 MPEGの シ ス テ ム 規 格MPEG2-TS *1 な か ち たかゆき とのむら よしひで 仲地 孝之 外村 喜秀 やまぐち たかひろ ふ じ い た つ や /山口 高弘 /藤井 竜也 NTT未来ねっと研究所 層 化 処 理 技 術 の 普 及 を 目 指 し て, MPEG-Hのシステム部分となり,標 MMTの議論に当初から参画し,標準 準化が進められました.MPEG-Hの 化に貢献してきました. 全体像を図 1 に示します.MPEG-H MMTの概要 の Part1,Part10,Part11,Part12 がMMTの規格です. MMTの基本構成を図 2 に示します. (Transport Stream) の標準化から MPEG2-TSは,映像や音声などコ 約20年が経過し,コンテンツ配信の環 ンテンツを構成するメディアを単一の MPEG-H Part1(2)では,メディア配 境 が 大 き く 変 化 し て い ま す. 映 像 固定長パケットに多重化します.同じ 信に関して,①メディアのカプセル フ ォ ー マ ッ ト は 多 様 化 す る 一 方, コンテンツを多数のユーザへ届ける放 化,②ネットワーク配信,③制御メッ HDTV(High Definition Television) 送などには適した方式です.しかし現 セ ー ジ を 規 定 し て い ま す.MMTは の本格的な普及を迎えて,4K ・ 8Kな 在,映像フォーマットや伝送路は多 MPEG2-TSが対象とする領域のみな ど高解像度なものへと移行してきまし 様化し,MPEG2-TSは標準化時には らず,IETF(Internet Engineering た.さらにコンテンツを利用する端末 想定していなかった用途で用いられ Task Force) が 定 め るRTP(Real- や,伝送路もインターネットから専用 て い ま す.MMT標 準 化 の 議 論 が 始 time Transport Protocol)などの領 線,携帯電話網,無線LAN,放送ま まった2009年当初,MPEG2-TSを用 域も対象としています.パケット長は で多様化しています.このような背景 いた4K ・ 8K映像伝送ではTSパケッ 可変であり,IP伝送と親和性が高く, の下,MPEGでは高効率映像符号化 トの大きさが適さないことが指摘さ 音声 ・ 映像 ・ ファイルなどの多重化も H E V C(H i g h E f f i c i e n c y V i d e o れ,SVC(Scalable Video Coding) 単一または複数に自由に設定できま Coding)の規格化と並行して,さま や MVC(Multiview Video Coding) す.UTC(Coordinated Universal ざまな伝送路でのメディア伝送に対応 などのマルチレイヤ符号の複数伝送路 Time)* 3 ベースのタイムスタンプや する新しい伝送規格として,MMT での伝送が困難だという問題がありま MMTシグナリングによる制御メッ (MPEG Media Transport) の標準 した.また,伝送品質確保のために誤 セージにより,多種多様な機能を提供 化を進めてきました.NTT未来ねっ り訂正符号などの必要性が議論されて します.また,伝送品質確保のために と研究所では,これまでデジタルシ いました.これらを背景として,既存 (1) *2 ネマ,ODS(Other Digital Stuff) , のメディア伝送方式の課題と新たなメ スーパーテレプレゼンスなど,具体的 ディア伝送方式の必要性が認識され, なアプリケーションを念頭に4K映像 MMTの標準化が開始されました.そ 伝送の研究開発を進めてきましたが, の後,MMTはHEVCと3D Audioを組 コア技術である誤り訂正符号および階 み合わせた新たな標準規格である *1 MPEG2-TS:現行の地上デジタル放送など で利用されているMPEG2のメディア伝送 規格です. *2 ODS:映画以外の映像コンテンツの劇場へ のストリーミング配信サービスです. *3 UTC:協定世界時.世界共通の時間の1つ で,MMTではタイムスタンプの情報として 利用することができます. NTT技術ジャーナル 2014.2 63 4K・8Kサービスを実現する超高臨場感映像技術 図 3 に示す誤り訂正符号を規定し,パ コンテンツの配置位置や表示時間の指 号など,複数のAL-FEC(Application ケットロスに対する伝送の信頼性を向 定ができます.これらは,いずれも Layer-Forward Error Correction) 上させています.MPEG-H Part1で MPET2-TSにはない新しい特徴です. 方式の誤り訂正符号アルゴリズムを規 は共通のシグナリングフォーマット, (3) MPEG-H Part10 で誤り訂正符号の 定しています. 個々の誤り訂正符号は, 強力な誤り訂正符号 エラー回復特性,演算量の観点から一 アルゴリズムを規定しています.さら MPEG-H Part10では,さまざまな 長一短があります.リードソロモン符 にMPEG-H Part11では,表示レイア 伝送路でのパケットロスに対応するた 号は代数的構造に基づく符号で広く用 ウト制御を行うコンポジション情報 (CI)が規定されています.ディスプ レイ内やマルチディスプレイ上での, *4 やNTT いられており,低ビットレートでは優 未来ねっと研究所が提案したLDGM れたエラー回復特性を示します.しか (Low Density Generator Matrix)符 し,符号長を長くすることが難しいた めに,リードソロモン符号 めに,理論限界値を与えるシャノンの 通信容量* 5 に迫ることができず,十 メディアトランスポート規格 分なエラー回復特性を得ることができ Part1:カプセル化・配信・制御 Part10:AL-FECアルゴリズム Part11:コンポジション情報(CI) Part12:実装ガイドライン MMT ません.それに対して,LDGM符号 は疎グラフに基づく符号で,符号長を 長くすることでシャノンの通信容量に 迫ることができ,特に4K ・ 8Kなどの 高ビットレート映像の伝送に適した方 式となっています(図 4 ) . HEVC 3D Audio Part2:高効率映像圧縮 Part3:マルチチャンネル音響 図 1 MPEG-Hの概要 レガシー メディア ①メディアのカプセル化 ファイル Media CODEC *4 リードソロモン符号:バースト誤り検出 ・ 訂正用のブロック符号方式の1つです. *5 シャノンの通信容量:エラーが発生する通 信路での伝送容量限界です.符号長を長く しないと迫ることができません. ③制御メッセージ MFU MMTシグナリング MPU ②ネットワーク配信 MMTペイロード MMTパケット RTP,HTTP UDP,TCP :MMT対象外 IPパケット パッケージ 配信形式 蓄積形式 MFU: Media Fragment Unit MPU: Media Processinng Unit 図 2 MMTの基本構成 64 NTT技術ジャーナル 2014.2 特 集 安定した映像配信サービスを提供 LDGM符号なし パケット欠損が起きても 画像が乱れないで再生できる パケット欠損 LDGM符号あり 誤り訂正技術を用いた映像配信サービス 図 3 誤り訂正符号 トレート領域のみならず低ビットレー 疎グラフに基づく符号 トでのエラー回復特性を改善し,低演 算量を保持しつつリードソロモン符号 高 に匹敵する特性を示します.もう 1 つ 誤り訂正能力 LDGM符号 Turbo符号 など は,階層型LDGM符号(5)です.一般に LDGM符号は符号長を長くすること 代数的構造に基づく符号 リードソロモン符号 リードソロモン符号 リードソロモン符号は ハミング符号 ハミング符号 符号長を長くできない など など ブロードバンド アプリケーション 低 数百 数千 符号長 数万 図 4 LDGM符号の位置付け が で き る 反 面,SVCやJPEG2000な どの階層符号化へ適用した場合は,部 分復号を行うとエラー回復特性が悪く な る 欠 点 が あ り ま し た. 階 層 型 LDGM符号は,階層符号化されたデー タの階層性を損なうことなく効率的に 誤り訂正を行える構造となっていま LDGM符号は図 5 に示すようにパ リ ティ 検 査 行 列 H *6 に三角行列 (LDGM構造)を持つ線形符号ですが, 方で優れた復号性能を引き出すことが す.なお,サブパケット ・ インタリー できるイレギュラー行列を用いること ブLDGM符号と階層型LDGM符号は, ができます. 互いに独立ではなく同時に用いること NTT未来ねっと研究所提案のMMTで さらにMMTのLDGM符号では,新 規定するLDGM符号では,メッセー しい 2 つのアルゴリズムを規定してい ジパッシングアルゴリズム(MPA: ます. 1 つはサブパケット ・ インタ Massage Passing Algorithm)と呼ば リ ー ブLDGM符 号(4)で す. 従 来 の れる方法に準最適化された行列を使用 LDGM符号は,エラー回復特性に関 することで,少ない演算で効率的に誤 して,高ビットレートでは優れた特性 りを訂正することが可能となっていま を示しますが,低ビットレートでは劣 す.また, MPAおよび最尤復号 (MLD: る欠点がありました.サブパケット ・ Maximum Likelihood Decoding)の双 インタリーブLDGM符号では,高ビッ ができます. MMTを用いたユースケース MMTの機能は多岐にわたります. 代表的な機能を図 6 に示します.AL*6 パリティ検査行列H:生成行列とともに線 形符号を構成する重要な行列です. LDGM 行列では, 生成行列とパリティ検査行列Hの 関係式を基に誤りの訂正を行います. NTT技術ジャーナル 2014.2 65 4K・8Kサービスを実現する超高臨場感映像技術 FECを用いることにより4K ・ 8Kなど 映像など好みに応じたコンテンツを大 *7 するプロダクション,音響を担当する の高ビットレート映像を,IP共用網 画面映像と同期 して視聴すること プロダクション等が,分業して作業を を介して安定して伝送することができ も可能です.通信と放送を用いたハイ 行っています.従来は,図 7(a)に示す るのは大きな特徴です.その一方, ブリッド伝送でも,このようなサービ ように,プロデューサ等が,撮影,映 UTCベ ー ス の タ イ ム ス タ ン プ と 音 スを実現することが可能となります. 像 ・ 音響作成 ・ 編集の仕上げチェック 声 ・ 映像 ・ ファイルなどの多重化が柔 コンテンツ協調制作プラット 軟にできる機能を利用して,パブリッ フォームへのMMTの適用シナリオ クビューイングやマルチ画面を用いた を行うために,人とコンテンツの入っ た物理メディアの頻繁な移動が必要で した.図 7(b)に示すように,多地点 超高臨場感TV会議など大画面映像を 近年,ハリウッド映画など大型コン 多くのユーザと共有しつつ,個別ユー テンツの制作現場では,実写撮影を担 MMTによるコンポーネントの同期伝 ザはタブレット端末でマルチアングル 当するプロダクション,VFXを担当 送 ・ 再生が利用できるようになると, の制作拠点間をネットワークで結び, 図 7(c)のように,遠隔地のプロデュー サが,異なる拠点にある素材レベルの LDGM 0 p1 0 S7 0 0 0 S8 0 S6 0 S8 0 0 S7 0 S6 0 S5 0 S7 S4 0 S6 0 S5 0 0 S4 S5 S2 0 S4 S2 S3 0 S1 S2 0 0 ② 0 0 S3 ③ S1 0 S3 ④ 0 0 ⑤ S1 ⑥ 0 ① パケット長=1400バイト S1 S2 0 0 0 0 p2 0 0 0 0 0 p3 0 0 0 0 0 0 p4 0 0 0 0 0 0 0 p5 0 S8 0 0 0 0 0 p6 ブロック長=14 S3 S4 S5 S6 S7 S8 ソースパケット P2 P3 P4 せて仕上がりイメージのチェックを行 うことができるようになったり,仕上 = 0 ともできるようになります. すなわち, 1 P5 By ⑤ S2 =S1 ○ ○ S7+ ○ p5 …⑦ + S4+ となり,仕上げ ・ チェック作業を共同 P6 ○: 排他的論理和(XOR) + 図 5 LDGM符号 エリア 1 カメラ映像 ビデオ 音声 音声 アプリケーション LDGM-FEC 超高速,低負荷 高い誤り訂正能力 大画面ディスプレイ 同期 必 要なメディア コンポーネントの み選択して同期 セカンドディスプレイ フレキシブルな配信・メディア同期 図 6 MMTの代表的な機能 66 NTT技術ジャーナル 2014.2 オーディオ キャプション エリア 3 多様な ネットワーク … 制御信号 エリア 2 イメージ … 映像 *7 同期:UTCベースのタイムスタンプが利用 できるため,複数経路で伝送したメディア 間の同期が可能ですが,同期の仕方は標準 化の対象外となっています. ビュー 同期 蓄積 データ 物理メディアや人の頻繁な移動が不要 パリティパケット ○ S7+ ○ p1 + S2+ By ①⑦ S5 =S1 ○ ライブ がりイメージと同期させたタイムライ ン上でのコメントを共有したりするこ パリティ生成 P1 実写映像,VFX,音響等を組み合わ 1 1 1 テキスト ディスプレイへの 表示位置・時刻等を制御 マルチソースのメディア表示制御 特 集 A地点 (制作スタジオ) (a) 従来のコンテンツ制作 プロデューサ (意思決定) 物理メディアと 人の頻繁な移動 C地点 (制作プロダクション) (b) ネットワークを利用したコンテンツ協調制作 B地点 (制作現場) A地点 (制作スタジオ) カメラマン (撮影) 編集者 (音響) タイムリな 意思決定作業 プロデューサ (意思決定) D地点 (制作プロダクション) C地点 (制作プロダクション) デザイナー (VFX) B地点 (制作現場) 編集者 (音響) カメラマン (撮影) ネットワーク&MMT ストリーム配信 and/or ファイル転送 D地点 (制作プロダクション) デザイナー (VFX) (c) MMTを適用した仕上がりイメージのプレビュー MMTによる映像と音の同期再生 B地点から (撮影) C地点から コメント (カット挿入しました) (音響) D地点から A地点へ コメント (TAKE2に入れ替えて) (VFX) プロデューサ タイムライン MMTによる映像ストリームの切替 図 7 コンテンツ協調制作プラットフォームへのMMTの適用例 で実施することで,編集者にリアルタ イムに修正点をフィードバックするな ど,プロデューサのタイムリな意思決 定が可能になり,コンテンツ制作工程 が効率化されるようになります(6).こ れらは,MMTを利用するユースケー スの一例であり,今後MMTの機能を 利用した新しいサービスの創出が期待 されています. 今後の方向性 NTT未来ねっと研究所では,4K ・ 8K映像をより多くのユーザに利用い ただくために,これまでに培ってきた 高信頼映像伝送技術を発展させて,複 数のベストエフォート型の共用網を介 した安定伝送,ネットワークやユーザ 利用環境の変化に即時に対応できる ネットワーク接続技術など高信頼 ・ 高 機能化へ向けた研究開発を進めていき ます. ■参考文献 (1) 仲地:“次世代映像プラットフォームとMMT 標 準 化 動 向, ” 第26回 情 報 伝 送 と 信 号 処 理 ワークショップ,2013. 11. (2) ISO/IEC FDIS 23008- 1 : “Information technology - High efficiency coding and media delivery in heterogeneous environments Part 1 : MPEG media transport(MMT),” 2014. (3) I S O / I EC D I S: “ 2 3 0 0 8 -1 0 I n f o r ma ti o n technology - High efficiency coding and media delivery in heterogeneous environments Part 10: MPEG media transport forward error correction(FEC)codes,” 2013. (4) 外 村 ・ 白 井 ・ 北 村 ・ 仲 地 ・ 藤 井 ・ 貴 家:“動 画像配信のための下位互換性を考慮したパ ケ ッ ト レ ベ ルLDGM符 号 の 構 成 と 理 論 解 析, ” 信 学 論(A),Vol.J93-A,No.3,pp.212215,2010. (5) Y. Tonomura, D. Shirai, T. Nakachi,T. Fujii,and H. Kiya: “Layered Low-Density Generator Matrix Codes for Super High Definition Scalable Video Coding System,” IEICE Trans. on Fundamentals,Vol.E92-A, No.3,pp.798-807,March 2009. (6) T. Nakachi, Y Tonomura, and T Fujii: “A Conceptual Foundation of NSCW Transport Design Using an MMT Standard,” ICSPCS 2013,Gold Coast, Australia, Dec. 2013. (上段左から) 仲地 孝之/ 山口 高弘 (下段左から) 外村 喜秀/ 藤井 竜也 MMTを利用した高信頼 ・ 高機能化技術の 研究開発を進め,4K ・ 8K映像配信技術な らびにサービス普及に貢献したいと考えて います. ◆問い合わせ先 NTT未来ねっと研究所 メディアイノベーション研究部 TEL 046-859-2589 FAX 046-855-1284 E-mail nakachi.takayuki lab.ntt.co.jp NTT技術ジャーナル 2014.2 67
© Copyright 2024