1. No category

特集
A V 技術
H.264 リアルタイム TS デコーダの概要
Outline of H.264 real-time TS decoder
鈴木 禎司
Tadashi Suzuki
要
旨
新しい映像符号化方式である H . 2 6 4 は，その圧縮効率の高さから注目され
ている。今回，この H . 2 6 4 の S D フルレゾリューション , 3 0 f p s のリアルタイム T S デ
コーダを開発し，動作システムを構築した。本稿では 2 0 0 4
International
CES
( C o n s u m e r E l e c t r o n i c s S h o w ) に出展した動作システムを中心に，その技術要素を含
め紹介する。
Summary
W e developed a H.264 real-time TS decoding system, with real-time TS decoding of
H.264 that is capable of SD full resolution at 30FPS, and an H.264 TS multiplex tool to create TS
streams. The document describes the outline of the system with a technical description.
キーワード :
H . 2 6 4 ，I S O / I E C
1 4 4 9 6 - 1 0 ，デコーダ，多重化
1. まえがき
催された 2004 International CES へ出展した
現在，映像符号化方式としては MPEG-2 part
H . 2 6 4 リアルタイム T S デコーダおよびその動
2 が主流となっているが，さらに圧縮効率の良
作システムを中心に，その概要と技術要素を紹
い映像符号化方式として H . 2 6 4 ( M P E G - 4 P a r t
介する。
1 0 ) が標準化提案されている。
この H . 2 6 4 ( M P E G - 4
2 . H . 2 6 4 の概要
P a r t 1 0 ) は，まもなく
ITU-T Rec. H.264 として規格化されると共に，
H.264 は ITU-T の VCEG(Video Coding Ex-
I S O / I E C 1 4 4 9 6 - 1 0 として国際標準化される見
perts Group)と ISO/IEC の MPEG(Moving Pic-
込みである。
ture
本方式は，従来の方式に比べ高い圧縮率が可
Experts
G r o u p ) の 2 つの団体が J V T
( J o i n t V i d e o T e a m ) において共同標準化作業
能なことから，現在，最も注目されている新映
を進めたものである。M P E G - 4
AVC(Advanced
像符号化方式である。A R I B においては地上デ
v i d e o c o d i n g ) とも呼称される。
ジタル放送の簡易動画方式として採用され標準
本映像符号化方式は低ビットレートのテレビ
化された他，高精細 D V D の新方式の候補とも
会議から HDTV(High Definition Television)
なっている。
以上までの幅広い用途を想定し，同程度の画質
本稿では，2004 年 1 月に米国ラスベガスで開
で従来方式に比べ 2 倍以上の高圧縮を実現可能
- 15 -
PIONEER R&D Vol.14 No.2
としている。
メータ，区切り情報などが送られる。
2 . 3 符号化手法
次節より，ITU-T Rec.H.264￨ISO/IEC 144961 0 : 2 0 0 3 を基にして H . 2 6 4 の特徴について簡単
に述べる。
2.1
H . 2 6 4 では新たにいくつかの符号化手法を取
り入れており，その特徴的な部分について，
プロファイルとレベル
MPEG-2 Part2 Main profile,MPEG-4 Part 2
H.264 では Baseline profile, Main pro-
A S P , H . 2 6 4 の符号化方式の比較を表 1 に示す。
file, Extended profile の 3 種類のプロファ
2.4
イル，L e v e l 1 から L e v e l 5 . 1 まで 1 5 種類の
ISO/IEC13818-1:2000/Amd.3(2003)は MPEG-
レベルが規定されている。プロファイルはデ
2 S y s t e m s 上における，H . 2 6 4 の伝送について
コーダが実装すべきツールについて規定したも
規定したものである。
のであり，レベルは最大マクロブロック処理
ISO/IEC 13818-1:2000/Amd.3(2003)
主には規格本文の第 2 章 14 節に”Carriage of
レート，最大ビデオビットレートなどにより規
ITU-T Rec. H.264￨ISO/IEC 14496-10 Video”
定されている。
を追加しており，その他に s t r e a m _ i d 値，
なお，現在 Fidelity Range Extensions の
追加が検討されている。この F i d e l i t y R a n g e
stream_type 値を H.264 に割当て，H.264 用記
述子の追加などの修正を行っている。
E x t e n s i o n s は，主に階調の拡張および色解像
H . 2 6 4 のストリームは，T r a n s p o r t S t r e a m
度の拡張を行うもので，これによりプロファイ
では P M T ，P r o g r a m
ルなどについても追加される予定である。
ISO/IEC 13818-1 における program 中の 1 つの
2.2
VCL と NAL
S t r e a m では P S M により，
要素として定義され，伝送およびバッファマネ
H . 2 6 4 は，さまざまなネットワークでの使用
ジメントにおいては P T S や D T S のような I S O /
( R T P / I P や M P E G - 2 T S による伝送) を考慮し，
I E C 1 3 8 1 8 - 1 の既存のパラメータを用いて定義
VCL(Video Coding Layer)と NAL(Network Ab-
される。
s t r a c t i o n L a y e r ) の 2 つの層に分けられてい
る。
また，H . 2 6 4 ストリームについては A V C a c c e s s u n i t における N A L U n i t の配置や，S P S
N A L を構成する N A L ユニットには V C L N A L ユ
( S e q u e n c e P a r a m e t e r S e t ) ，P P S ( P i c t u r e
ニットと n o n - V C L N A L ユニットがあり，n o n -
P a r a m e t e r S e t ) などの挿入について規定して
VCL
いる。
NAL
ユニットではデコードに必要なパラ
メータや伝送するネットワークに応じたパラ
表 1
符号化方式比較
MPEG-2 Part 2
Main Profile
MPEG-4 Part 2
ASP
Intra
Prediction
ߥߒ
ߥߒ
4x4ߢ 9⒳㘃 ,
16x16ߢ 4⒳㘃ߩ੍᷹ࡕ࡯࠼
Ꮕಽ୯ࠍ IT߳
Inter
Prediction
16x16
⋥೨ࡇࠢ࠴ࡖࠃࠅ੍᷹
1/2 pel
16x16߹ߚߪ 8x8
⋥೨ࡇࠢ࠴ࡖࠃࠅ੍᷹
1/4 pel
16x16ࠍ 7⒳㘃ߩࡕ࡯࠼ߢಽഀ
ᦨᄢ 5ࡈ࡟࡯ࡓߩࡇࠢ࠴ࡖࠃࠅ੍᷹
1/4 pel
Transform
8x8 DCT
8x8 DCT
4x4 Integer Transform
Entropy Coding
ࡂࡈࡑࡦ╓ภ
ࡂࡈࡑࡦ╓ภ
Loop Filter
ߥߒ
ߥߒ
PIONEER R&D Vol.14 No.2
- 16 -
H.264 (MPEG-4 Part 10)
CAVLC
CABAC (Main Profile)
޽ࠅ
3 . H . 2 6 4 デコーダボード
える。
H . 2 6 4 は従来方式に比べ，そのエンコード，
また，外部からの制御ポートを持ち，ボード
デコードに際する演算量が増大しており，既存
上に搭載したボードコントロール用の C P U を通
デバイスでのリアルタイム動作を難しくしてい
して，ボードに入力した T S 中の任意の H . 2 6 4
る。
E S を選択できるようにしている。
今回，開発・試作した H.264 リアルタイム TS
4.
デコーダボードのブロック構成を図 1 に示す。
3.1
H . 2 6 4 デコーダ部
H . 2 6 4 デコーダ動作システム
C E S 2 0 0 4 に出展した H . 2 6 4 デコーダの動作
デコーダ部は，ほぼ H.264 FDIS(Final Draft システムを図 2 に示す。
International Standard)に準拠し，SD フルレゾ
本動作システムは図のように M P E G - 2 の映像
リューション 720x480 30fps までリアルタイムデ
と H . 2 6 4 の映像を容易に比較できるように構成
コードを可能としたものである。
した。
また，ISO/IEC 13818-1:2000/Amd.3(2003)
本動作システムで使用した H . 2 6 4 の E S を含
に準拠の H.264 over MPEG-2 TS 入力に対応し
む T S は， あ ら か じ め ソ フ ト ウ ェ ア に よ り 非 リ
た。
アルタイムで作成されたものであり，M P E G - 2
入力された T S 内から任意の H . 2 6 4 E S の P I D
TS
およびその P C R P I D を外部からの制御によって
再生機から出力される。
T S は M P E G - 2 T S 再生機から 3 8 . 8 1 0 7 M b p s で
選択可能であり，デコーダは選択した P C R に同
出力され，QAM 変調器で変調し，RF 出力される。
期して動作し，デコード動作は P T S ( D T S ) によ
この QAM 変調器は ITU-T J.83 Annex B 準拠の
り制御される。
もので，2 5 6 Q A M での変調が可能なものである。
3.2
ボード I / F およびボード制御部
Q A M 変調器から出力された R F 信号は分配器
ボードの I/F としては，入力は MPEG-2 TS パ
ラレル，シリアルなど，場合に応じて F P G A を
を通し，M P E G - 2
V i d e o デコード用の S T B と
H . 2 6 4 デコード用の S T B へ入力される。
プログラムし直すことにより対応している。出
それぞれの STB へ入力された RF 信号は STB 内
力は N T S C コンポジットおよび S 端子出力を備
部で復調され，T S となる。それぞれの S T B にお
PCR PLL
MPEG-2 TS
౉ജ
೙ᓮାภ
Input
I/F
Logic
H.264
Decoder
NTSC
Encoder
NTSC
಴ജ
Board
Controll↪
CPU
H.264 ࡝ࠕ࡞࠲ࠗࡓTS࠺ࠦ࡯࠳ࡏ࡯࠼
図 1
H . 2 6 4 リアルタイム T S デコーダブロック
- 17 -
PIONEER R&D Vol.14 No.2
(TS bit rate= 38.8107Mbps)
MPEG-2 TS
DVB-ASI
QAM (ITU-T J.83 Annex B)
MPEG-2 TS ౣ↢ᯏ
RF (256QAM )
RF distributor
NTSC
ࠦࡦࡐࠫ࠶࠻ࡆ࠺ࠝ
MPEG-2 Video↪
STB
H.264
ᤋ௝
QAM
Demodulator
H.264 real-time
TS decoder
MPEG-2
ᤋ௝
Display
H.264↪ STB
図 2
H . 2 6 4 デコーダ動作構成
いて T S 内の選択されたストリームをデコード
の T S に H . 2 6 4 のストリームを 2 0 ストリーム多
し N T S C 信号として出力される。
重可能であることを示した。
H . 2 6 4 のデコード用の S T B は図 2 のように，
今回開発した H . 2 6 4 リアルタイム T S デコーダ
ボードを内蔵し，Q A M 復調した T S 内の任意の
H . 2 6 4 ストリームを選択し，デコード可能なも
のである。
H . 2 6 4 ストリームをデコードした N T S C 信号
と，M P E G - 2 V i d e o ストリームをデコードした
N T S C 信号のディスプレイへの表示は，同時に 2
つのソースを表示可能なディスプレイを使用
図 3
C E S における実際のデモ展示の様子
図 3 に示す。写真のように 2 つの映像を同時に
4.1
H . 2 6 4 エンコーダ
並べて表示可能なディスプレイを用い，H . 2 6 4
本動作システムにおいて，H . 2 6 4 ストリーム
の映像と M P E G - 2 の映像を並べて表示してい
の作成に使用したエンコーダは，ソフトウェア
る。これによって，H . 2 6 4 と M P E G - 2 V i d e o の
によるもので，基本的に J V T による J M 6 . 1 のリ
画質の差異が容易にできるようにした。
ファレンスコードを使用し，これに N A L を付加
し，並べて表示させた。
実際の C E S 2 0 0 4 におけるデモ展示の様子を
デモ展示においては，後述する T S を用い，
したものである。
M P E G - 2 V i d e o と H . 2 6 4 の画質比較の他，1 つ
PIONEER R&D Vol.14 No.2
- 18 -
エンコードに際し，レートコントロールは新
たに開発したものを使用している。このレート
C E S 2 0 0 4 時に使用した T S の仕様は表 2 の通
コントールは C B R ( C o n s t a n t B i t R a t e ) とな
りである。この実際の T S の P I D パケット数比
るよう映像内容によるピクチャー単位での適応
を円グラフ化したものを図 5 に示す。図 5 の PID
制御を行っている。
0 x 2 0 0 と 0 x 2 0 2 が M P E G - 2 V i d e o ストリームを
今回は L e v e l
3 である S D フルレゾリュー
多重した T S P a c k e t であり，P I D 0 x 0 8 1 0 から
ション 7 2 0 x 4 8 0
2 9 . 9 7 f p s の映像ソースを
0 x 0 8 2 3 までが H . 2 6 4 ストリームを多重した T S
1 . 5 M b p s と比較的低いレートでエンコードを
P a c k e t である。
行っており，デコーダバッファに十分な余裕が
この MPEG-2 Video の 2ES と H.264 の 20ES 中
あることから，かなり幅広い制御が可能となっ
の 1 E S は同じ原画像を使用しており，多重位置
ている。本適応制御を行った C P B 遷移例を図 4
を調整することにより，同じタイミングでデ
に示す。
コード画像が出力されるようにしている。これ
4.2
により，それぞれの映像が容易に比較できる。
T S 多重化
H . 2 6 4 E S を M P E G - 2 T S 化するに当たっては
新たに作成したソフトウェアツールを使用し
表 2
T S 仕様
た。本ツールは H . 2 6 4 o v e r M P E G - 2 T S を規
TS bit rate(188byte/packet)
定した ISO/IEC 13818-1:2000/Amd.3(2003)に
MPEG-2 Video CBR 4.5Mbps
1ES
準拠したツールである。また，M P E G - 2
MPEG-2 Video CBR 1.5Mbps
1ES
Video
との多重も可能とした。
38.8107Mbps
20ES
bit 量
H.264 CBR 1.5Mbps
ｔ
図 4
デコーダバッファビット量遷移例
図 5
T S P I D パケット数比
- 19 -
PIONEER R&D Vol.14 No.2
5. まとめ
MPEG-2
T S 入力対応の S D フルレゾリュー
ション( 7 2 0 x 4 8 0 ) 3 0 f p s リアルタイムデコー
ド可能な H.264 デコーダ開発，および H.264 ES
の T S 多重化を行い，その動作システムを実現
した。
今後，H . 2 6 4 の高い圧縮効率を生かし，デジ
タル放送分野への応用，さらには V O D システ
ム，蓄積メディアなどへの展開が期待される。
6. 謝 辞
C E S 出展に際して，協力頂きました，C & S 部，
P U S A ，P R A の関係各位に感謝します。
参考文献
( 1 ) 恒川賢二: ”H . 2 6 4 の概要”, P I O N E E R
特集: 情報通信 , 2 0 0 3
( 2 )“T e x t
of
Vol.13
ISO/IEC
FDIS
R&D,
No.1
14496-10:In-
formation Technology Coding of audiovisual objects Part 10: Advanced Video
C o d i n g ”, I S O / I E C
JTC
1/SC
29/WG
11
N5555, 31 March 2003
（3 )“T e x t o f I S O / I E C 1 3 8 1 8 - 1 / 2 0 0 0 / F D A M 3 ”, I S O / I E C J T C 1 / S C 2 9 / W G 1 1 N 5 7 7 1 , J u l y
2003
筆 者
鈴 木
禎 司 ( すずき た だ し )
所属: 研究開発本部 情報通信開発センター
通信システム開発部
入社年月: 1 9 8 7 年 4 月
主な経歴: プロジェクター T V 開発・設計，M V P
開発，L C L V − P J 開発，デジタル C A T V ヘッ
ドエンド開発
PIONEER R&D Vol.14 No.2
- 20 -