1. No category

高性能通信プロセッサQorIQのDPAA
（デ タ パス アクセラレ ション
（データ・パス・アクセラレーション・
アーキテクチャ）の概要
FTF NET F0146
FTF-NET-F0146
Kojij Tsutsui｜FAE,
｜
, Technology
gy Department
p
Dec.04.2014
TM
External Use
本セッションの目的
•
マルチコア・プラットフォームでのパケット処理を効率よく行う為
のデ タパス アクセラレ ション ア キテクチャ(DPAA)が
のデータパス・アクセラレーション・アーキテクチャ(DPAA)が
QorIQファミリに搭載されております。
•
本セッションでは、DPAAを構成する要素およびCPUコアがどの様
に連携するかを説明します。
•
DPAAを活用することで、マルチコア環境で必要とされるパケット
処理のタスクをオフロードすることができ
処理のタスクをオフロ
ドすることができ、性能向上に貢献します。
性能向上に貢献します。
TM
External Use
1
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
2
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
3
シングルコアからマルチコアへ
•
市場要求：
− システム性能のさらなる向上
− 消費電力の制約
•
シングルコアでクロック周波数アップ
− 性能アップに限界
− 消費電力の点で不利
•
マルチコア化
− システム性能の向上および消費電力の点でバランス
TM
External Use
4
データパスをマルチコアで処理する際の課題／要求事項
マルチコアSoCは、シングルコアSoCと比
べ、パケット処理での要求事項がある
− ロードスプレッド／ロードバランス：
 受信パケットを複数コアで分散処理
− パケット順序：
パケ ト順序
 複数コアで並列処理した後、パケット
順序が逆転した場合の対処
順
転
場
処
− パイプライン処理：
 １つのパケットをコア、アクセラレー
タでパイプライン処理
− ネットワークI/Oの共有：
 複数のコア間でネットワ
複数のコア間でネットワークI/Oを共有
クI/Oを共有
− 仮想化
− コア間通信
Hardware
Accelerator
Core
C
Core
Core
Core
Core
Network
I/O
Network
TM
External Use
5
マルチコアでのデータパス処理に必要な機能
•
これらの要求事項を満たす為に；
− ハードウェアによるキュー管理（輻輳制御も含む）
ハ ドウェアによるキュ 管理（輻輳制御も含む）
− ネットワークI/Oは、ハードウェアにて受信フレームの解析、
仕分け 宛先へ転送ができること
仕分け、宛先へ転送ができること
•
高帯域デ タパスを処理する為に；
高帯域データパスを処理する為に；
− 輻輳状態時のフロー制御
Core
− バッファ枯渇時のフロ
バッファ枯渇時のフロー制御
制御
− ハードウェアによるバッファ管理
Core
Core
Queue Manager
Network I/O
Eth Eth Eth
TM
External Use
6
Core
Buffer
Manager
BDリング vs DPAA
DPAAは、従来のBDリ
ング方式を置き換える
もの：
Core
•
Eth
複数コアがロックレス
でキューへ出し入れが
可能
•
キュ を複数コアで共
キューを複数コアで共
有
•
バッファ管理とキュー
管理を分離
Core
Core
Core
Queue Manager
TM
External Use
7
Buffer
Manager
コア（スレッド）毎に
ア（
ッ ）毎
キューへのアクセス用イ
ンターフェイスを持つ
他ブロックとの干渉なし
Network I/O
Eth Eth Eth
BDリングはメモリ上
に構築されたデータ
ストラクチャ
コアはBDリングのポ
インタ管理を行う
Core
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
8
QorIQ DPAAを構成するブロック
Network & Packet I/O
Infrastructure Components
Cores
Hardware Accelerators
RapidIOでの送受信を
DPAAに統合
DPAAの基幹ブロック。
SoC内の各ブロック間とのデー
タ（パケット）の受け渡しを
タ（
ケッ ） 受け渡 を
キューを用いて一元管理
DPAA
RapidIO
p
Messaging
RapidIO
Message
Manager
g
(RMan)
RMan)
and more
Ethernet
Frame
Manager
(FMan
FMan))
複数のイーサネットMAC
ハードウェアによる受信
フレームのヘッダ解析、
仕分け機能を内蔵
Queue
Manager
(QMan
QMan))
Buffer
Manager
(BMan
BMan))
ハードウェアによるバッ
ファ管理（取得／解放）
TM
External Use
9
Security
Engine
((SEC))
暗号、認証
処理のハー
ドウェア･ア
クセラレー
タ･エンジン
Pattern
Matching
Engine
(PME)
ビットストリーム中の特定の
ビットパターンを検出
ウイルス
チェック等で利用
ウイルス･チェック等で利用
QorIQ T4240 DPAA Components
TM
External Use
10
QorIQ
T4240
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
11
DPAAインフラストラクチャ: QMan
…
Queue Manager (QMan)：
• SoC内の各ブロック（コア、アクセラレータ、Network I/F）間のパケットの受け
渡しはキ
渡しはキューを用い、QManが一元管理
を用 、Q
が 元管理
• 各ブロックはQManへアクセスする為のインターフェイスを各々持つ。
− キューはロックレスで共有、リソースの共有化／仮想化が効率的に行える
• コアがデキューする際、コア内キャッシュへStash可能
アがデキ
する際
ア内キ
シ
St h可能
− FD、フレームデータ先頭部、
Queue Manager
(QMan)
コンテキスト情報、他
PME
FQD
Cache
…
…
…
…
Hardwa
are portals
Queuing
Engines
…
QManキューイング管理：
− デキュー･スケジューリング
デキ
スケジ
リング
− パケット順序の制御
− 輻輳制御／回避
…
•
FD
Memory
Software portal
 Frame Descriptor
TM
External Use
12
CoreNet
To Cores

SEC
Frame
Descriptor
FMan
FMan
QorIQ -- Multi Core and Offload architecture
Frame
Queue
Frame
Queue
Frame
Queue
Frame
Queue
Frame
Queue
Frame
Queue
Frame
Queue
Queue
Q
Queue
Q
Dedicated
Channel
Core7
Frame
Queue
Dedicated
D
di t d
Channel
Data Path
Acceleration
Architecture
PCD
Port1
TM
External Use
13
Frame
Queue
Port2
Port3
Frame
Queue
Frame
Queue
Dedicated
D
di t d
Channel
Frame Manager
Port4
Core8
Frame
Queue
Queue
Frame
Queue
Dedicated
Channel
Queue
Q
Pool
Channel
Queue
Q
Pool
Channel
Core3
Core4
Core5
Core6
Queue
Core1
Core2
Pseudo Real Time Traffic
Dedicated
D
di t d
Channel
Frame
Queue
Queue
General Data Plane Traffic
Queue
Control Plane Traffic
Dedicated
D
di t d
Channel
2レベルのキュー
WQ1
FQ FQ
WQ2
FQ FQ
WQ3
FQ FQ
WQ4
FQ FQ
WQ5
FQ FQ
WQ6
FQ FQ
WQ7
FQ FQ
FD
P
Portal
FQ FQ
Cha
annel
WQ0
フレーム･ディスクリプタ(FD)は、フレーム･
キュー(FQ)に入れられる
− FQはFDの順序リスト
− QManでの順序制御は、1FQ内で行われる
•
FQはワーク･キュー (WQ)に入れられる
− WQはFQの順序リスト
− 1WQ内のFQはすべて同プライオリティ
•
チャネル：
− SoC内各ブロック（コア、アクセラレ
SoC内各ブロック（コア アクセラレータ
タ、
Network I/O）は自宛てチャネルを持つ
− 1つのチャネルは8つのWQから成り、各
WQは相対プライオリティを持つ
− デキュー・スケジューリングはチャネル内
WQプライオリティ、スケジューラ･スキー
ムにてデキュー順が決定
•
ポータル：
− 各ブロックがQManへアクセスする為のイ
ンターフェイス
ンタ
フ イ
− ポータルは、 QManとデータの受け渡しを
行う為のQMan内 “データ・ストラクチャ”
FD FQ
順序制御が必要な
フレーム(FD)は1つ
のFQへ入れる
Bufferr
Bufferr
•
User memory
QMan data structures
TM
External Use
14
チャネルとポータルの種類
H/Wブロック
Core n
Core0
ロードバランシング
ロ
ドバランシング
複数コアで負荷分散
via CoreNet
DCP (HW Portal)
SW Portal
SW Portal
Dedicated
Dedicated
via CoreNet
Dedicated
Pool
Channel
WQ7
7
WQ6
6
WQ5
5
WQ4
4
WQ3
3
WQ2
2
WQ1
1
WQ0
0
WQ7
7
WQ6
6
WQ5
5
WQ4
4
WQ3
3
WQ2
2
WQ1
1
WQ0
0
FD
FQ
FD FD
FQ
WQ7
7
WQ6
6
WQ5
5
WQ4
4
WQ3
3
WQ2
2
WQ1
1
WQ0
0
Channel
WQ7
7
WQ6
6
WQ5
5
WQ4
4
WQ3
3
WQ2
2
WQ1
1
WQ0
0
Channel
Channel
QMan
チャネル：
− Dedicated Channel：ある特定ブロック宛てチャネル、ある特定ブロックのみがここからデキューする
− Pool Channel：不特定多数コア宛てチャネル。複数のコアがここからデキューすることができる、
ロード･バランス用途
• ポ
ポータル：
タル：
− ソフトウェア・ポータル：コアがQManへアクセスする際に使用
− ハードウェア･ポータル：ハードウェア（各アクセラレータ、ネットワークI/O）がQManへアクセスす
る際に使用、Direct Connect Portal (DCP)と呼ばれる
• キューへアクセスする為のI/F（ポータル）は各ブロック毎に用意されており、ロックレスでQManへア
クセス可能（他ブロックとの排他制御は不要）
•
TM
External Use
15
ポータルでのエンキュー／デキュー
エンキュー：
送りたい宛先のWQ
(FQ)へFDを入れる
Rx Tx
10GEC
1GE
1GE
…..
PCD
デキュー：
自分宛Channelに届いた
FQからFDを取り出す
SEC
FMan1
Core1
SW Portal0
DCP0
DCP2
SP
SP
Dedicated
Core0
Dedicated
SW Portal1
EQCR
DQRR
EQCR
DQRR
•
••
•
••
•
••
•
••
Dedicated
Dedicated
Pool
Channel
Channel
Channel
WQ7
WQ6
WQ5
WQ4
WQ3
WQ2
WQ1
WQ0
WQ7
WQ6
WQ5
WQ4
WQ3
WQ2
WQ1
WQ0
WQ7
WQ6
WQ5
WQ4
WQ3
WQ2
WQ1
WQ0
WQ7
WQ6
WQ5
WQ4
WQ3
WQ2
WQ1
WQ0
Channel
WQ7
WQ6
WQ5
WQ4
WQ3
WQ2
WQ1
WQ0
Channel
FD
FQ
FD FD
FQ
QMan
TM
External Use
16
L2 Cache
Power Architecture™
Core
I-Cache
パケット順序の制御
D-Cache I-Cache
F0P1
•
コアがフレームをデキューするにあたり；
− Dedicated Channelからのデキュー
 常に、同じコアが１つのフロー（FQ）を処理
常に 同じ
が
（ Q）を処理
 コアがパケットを逐次処理している限り、パケット
順序が入れ替わることはない
−
Pool Channelからのデキュー
 複数のコアがデキューする為、各コアでの処理後、
ケット順序が入れ替わる可能性あり
パケット順序が入れ替わる可能性あり
 オーダリングに対処する為のメカニズム：
(1) パケット順序の復元 (Order Restoration)
− デキ
デキュー時に、各フレームにシーケンス番号を割
時に、各フレ ムにシ ケンス番号を割
り当て、コアでの処理後、シーケンス順に並び変
えてからエンキュー
(2) パケット順序の維持 (Order Preservation)
− １フロー(1FQ)内のフレームを、同一コアがデ
(1FQ)内の レ ムを 同
アがデ
キューすることをアシストするデキュー･モード
を用意
− コアでの
コアでのパケット処理順番そのものを保証
ケット処理順番そのものを保証
F0P2
F1P1
Dedicated Channel
L2 Cache
L2 Cache
Power Architecture™
Core
Power Architecture™
Core
I-Cache
D-Cache I-Cache
D-Cache I-Cache
F0P1
Ordered
packets
processed in
parallel
F0P2
F1P1
P l Channel
Pool
Ch
l
L2 Cache
L2 Cache
Power Architecture™
Core
Power Architecture™
Core
I-Cache
D-Cache I-Cache
D-Cache I-Cache
F0P1
F0P2
F1P1
TM
External Use
17
Pool Channel
Ordered packets
queued
temporally to
single
processing
element
•
•
•
•
•
輻輳制御はFManとQManが連携動作
ロスレス･フロー制御
輻輳制御 ：Tail
T il Drop
D
輻輳回避 ：RED/WRED (Weighted
Random Early Discard)
Congestion Group(CG)：
Disca
ard
Probab
bility
輻輳制御／回避
Aggregate
Q Occupancy
各フレーム･キューをどのCGグループに属させるか
はプログラマブル
− Tail Dropは
Dropは、CGグループまたは各キュー毎
CGグル プまたは各キュ 毎
− RED/WREDは、CG毎
−
−
−
−
−
−
全256のCG
CGグループ全キューの平均キュー長（Time-aware,
Weighted）
3 カラー／WRED カーブはプログラマブル
エンキュー･パケットはWREDポリシーで廃棄
瞬間CGグループキュー長 +/- ヒステリシスより、輻
輳メッセージをエンキュー側へ送信

Pauseフレ ム送信によるロスレス･フロ 制御
Pauseフレーム送信によるロスレス･フロー制御
TM
External Use
18
CG 1
CG 2
p
QMan
p
Congestion state message
p
FMan
10G
QMI
1G
pause
1G
1G
1G
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
19
ネットワークI/O: FMan
To QMan
CoreNet
Frame Manager (FMan) :
• (P4080) 1x10GE MAC + 4xGE MACs
• (T4xxx) 2x10GE MAC + 6xGE MACs
•
Frame Manager
(FMan)
DMA
QMI
Policer
Keygen
Buffer
Memory
y (Distribution)
Parser
Classifier
To
BMan
BMI
10GE
GE GE GE GE
20
Ingressフレームヘッダを解析しトラフィック判定、
その結果を元に、フレームを適切な宛先キューへ仕
分け
−
PCDルール－Parsing(解析) / Classification(仕分け)/
Distribution(分配)－に従った仕分け

標準L2/L3/L4プロトコルをサポート

ユーザ独自フィールドも定義可

Exact Matchによる特定キューへの仕分け

Hashによる複数フレームキューへ振り分け
Hashによる複数フレ
ムキュ へ振り分け
TCP/UDP Tx チェックサム計算
•
デュアルレート／3カラー・ポリシング
物理ポート単位での送信レート・リミット
BManバッファ・プールから“適正サイズ”のバッファ
を取得
•
External Use
−
•
•
TM
FMan内に”Intelligence”を内蔵
FMan内に
Intelligence を内蔵
Case Study: High Level Mapping to DPAA
CORE
CORE
CORE
portal
portal
portal
Dedicated channel
WQ
Q7
WQ
Q6
Policer
WQ
Q5
FD FD
WQ
Q4
WQ
Q3
WQ
Q2
FQ
FD FD
WQ
Q1
WQ
Q0
WQ
Q7
WQ
Q6
WQ
Q5
WQ
Q4
WQ
Q3
WQ
Q2
WQ
Q1
WQ
Q0
FQ
Pool channel
FQ
FD FD
FQ
Q
FD
FQ
FD
FQ
FD FD
Hash
TOS
SCTP
UDP
(Control)
(Dataplane)
Eth
Prot
L2
TOS
L3-IP
UDP
L4
TM
External Use
n-tuple IP-UDP
21
C bi i exactt match
Combining
t h + Hash
H h
DPAAインフラストラクチャ: BMan
•
バッファ･ポインタの貯蔵領域
− BMan内部RAM（64Pool x 64depth）
− 外部メモリ
Buffer Manager
(BMan)
Internal stockpile
バッファ ポイ
バッファ・ポイ
ンタのプール
List
Engines
Software Portals
•
•
ソフトウェアは初期化時にバッファ・プールを
用意
バッファ枯渇時（空きバッファ数が閾値以下）、
ッ ァ枯渇時（空き ッ ァ数 閾値以下）、
割り込みを生成可、これを契機にソフトはバッ
ファを補充
TM
External Use
22
To Cores
CoreNet
PME
Hardw
ware portals
Buffer Manager (BMan) :
• バッファ･ポインタをハードウェアにて管理
− SoC内のアクセラレータ、ネットワークI/Fは、
BManにリクエストを出してバッファ･ポインタ
を取得／解放
SEC
FMan
FMan
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
23
ハードウェア・アクセラレータ：SEC5.0
Queue
Interface
DMA
D
Job Ring I/F
Job Queue
Controller
RT
TIC
Descriptor
Controllers
CHAs
Supports protocol processing for the following:
• IPSec
• 802.1ae (MACSEC)
• SSL/TLS/DTLS
• 3GPP RLC
• LTE PDCP
• SRTP
• 802.11i (WiFi)
• 802.16e
802 16e (WiMax)
TM
External Use
24
Public Key Hardware Accelerators (PKHA)
RSA and Diffie-Hellman (to 4096b)
Elliptic curve cryptography (1023b)
Data Encryption Standard Accelerators (DESA)
DES, 3DES (2K, 3K)
ECB, CBC, OFB modes
Advanced Encryption Standard Accelerators (AESA)
Key lengths of 128-, 192-, and 256-bit
ECB, CBC, CTR, CCM, GCM, CMAC,
OFB, CFB, and XTS
ARC Four Hardware Accelerators (AFHA)
Compatible with RC4 algorithm
M
Message
Di
Digest
tH
Hardware
d
A
Accelerators
l t
(MDHA)
SHA-1, SHA-2 256,384,512-bit digests
MD5 128-bit digest
HMAC with all algorithms
Kasumi/F8 Hardware Accelerators (KFHA)
F8 , F9 as required for 3GPP
A5/3 for GSM and EDGE
GEA-3 for GPRS
Snow 3G Hardware Accelerators ((STHA))
Implements Snow 3.0
ZUC Hardware Accelerators (ZHA)
Implements 128-EEA3 & 128-EIA3
CRC Unit
Standard and user defined polynomials
Random Number Generator, random IV generation
CAAM(SEC4.x / SEC5.x）の特徴
Input Frame:
Optional
IP Hdr
従来のSECは、入力パ
ケットそのままの状態で
は、ハンドリングでき
なった。
Payload
Crypto:
Class 1 – such as AES
Payload
padding
Pad
N
Len
Encrypted
Pa load
Payload
padding
Pad
N
Len
Cl
Class
2 such
h as SHA
SHA-1
1
SPISeq#
Opt
IV
Payload
padding
Authenticate
Pad
N Opt ESN
Len
CAAMではProtocol Aware
となり、暗号、認証の一
となり、暗号、認証の
連の処理（ヘッダ／ト
レーラ処理含む）を１コ
マンドで指定できる。
→ CPUからのオフロード
CAAMコマンドのプログラミ
ングにて柔軟な処理が可能
ングにて柔軟な処理が可能。
Output Frame:
Optional
Opt
SPISeq#
IP Hdr
IV
Payload
padding
Esp header
TM
External Use
25
Pad
N ICV
Len
パケットI/O：RapidIO Message Manager (RMan)
RapidIOの送受信をDPAAに統合、SoC内部ではキュー・ベースで転送
26
I$
I$
WQ7
P
PME
L2$ D$
S
SEC
I$
Core
D$
External Use
WQ6
Channel
D$
Segmentation
Unit
Segmentation
Unit
Channel
Frame Manager
1GE 1GE
10GE
1GE 1GE
TM
WQ5
WQ4
WQ3
WQ2
Reassembly
Unit
WQ0
WQ1
WQ2
WQ3
WQ4
WQ5
WQ6
WQ7
Classification
Unit
WQ1
Reassembly
Unit
WQ0
Classification
Unit
Segmentation
Unit
Channel
WQ0
WQ1
WQ2
WQ3
WQ4
WQ5
WQ6
WQ7
Reassembly
Unit
Disassembly
Contexts
RapidIO
O Outbound Trafficc
QMan
Reassembly
Contexts
Inbound Rule
Matching
Classification
Unit
ARB
RapidIO Inbound Traffic
RMan
Agenda
•
DPAAが必要となる理由
•
DPAA構成ブロック
− QMan
− FMan
− BMan
− SEC
− RMan
•
•
パケットの流れ
まとめ
TM
External Use
27
IPSec暗号パケットの復号化
• コアは自ポータルからデキュー
コアは自ポ タルからデキュ
• パケットヘッダを見て、暗号化されている
こと、どのSAトンネルのものかを判断
• コアはFDを作り、SEC宛てにエンキュー
Core 0
(4)
• SECはディスクリプタ内コマンドを実行、パケッ
トを復号化、処理結果をメモリへ書き出し
• 処理結果を示すFDを生成 。次処理の為コア宛てに
エンキュー
• コアは自ポータルからデキュー
• コアはSEC処理ステータスを確認
• OKならば、復号パケットにL2ヘッダを付加、
FDを作成しFMan送信ポート宛てにエン
キュー
・・・
・・・
Core N
(7)
SEC
(6)
• SECは自ポータルからデキュー
• SEC処理に必要なディスクリプタを生成
• SAトンネル情報（暗号／認証方式、鍵、等）は、FQ毎に
SAトンネル情報（暗号／認証方式 鍵 等）は FQ毎に
予め設定
・・・
・・・
・・・
((3))
((5))
QMan
• 適正サイズのバッファを要求
• BManよりバッファ取得後、DMAにて受信フレームを外部メモリへ転送
よりバ
得後
受信
ムを外部
転送
• 受信フレームヘッダ部はFManで解析、宛先キューを決定し、エン
キュー
FMan
PCD
(1)
(8)
(2)
BMan
(9)
• バッファの解放
TM
External Use
28
• フレーム受信
• FManは自ポータルからデキュー
• DMAにてパケットデータを外部メモリから読み出
しポートから送出
まとめ
•
DPAAは、基本的に、パケット処理をコアから完全にオフロードす
る為のものではない
•
DPAAは、“マルチコア”プラットフォームでのパケット処理を”効率
的“に行う為のしくみ
•
シングルコアSoCでは考慮する必要がなかった、マルチコアでパ
グ
ケット処理を行う際の課題をDPAAが解決
− ロード･バランス（複数コアの効率的な利用）
− オーダリング管理
− キャッシュの有効活用、など
TM
External Use
29
TM
www.Freescale.com
© 2014 Freescale Semiconductor, Inc. | External Use