1. No category

ネットワーク仮想化向けハードウェアオフロード
メラノックステクノロジーズジャパン株式会社 津村英樹
June 2014
40Gbps以上の高速ネットワークを実現する唯一のベンダー
包括的なエンドトゥエンドソリューションを実現するInfiniBandとEthernet両方に対応可能な製品ラインナップ
シリコン
アダプタカード
スイッチ
ゲートウェイ
ホスト
Metro / WAN
ファブリックソフトウェア
ケーブル
モジュール
HCA/NIC用コントローラやスイッチ用ASICを全て自社開発
40Gbpsを超えるネットワークで最強のコストパフォーマンスを提供
PCクラスタ、ストレージ高速化、クラウド環境向けIO統合などに最適な次世代インフラストラクチャ
© 2014 Mellanox Technologies
- Mellanox Confidential -
2
カーネル
ユーザ
RDMAの概要
アプリケーション 1
アプリケーション
バッファ 1
バッファ 1
バッファ 1
バッファ 1
2
OS
OS
バッファ 1
バッファ 1
ハードウェア
RDMA over InfiniBand or
Ethernet
HCA
NIC
HCA
バッファ 1
バッファ 1
TCP/IP
ラック 1
© 2014 Mellanox Technologies
NIC
ラック 2
- Mellanox Confidential -
3
Solid State Deviceの特性を活かすストレージサーバ
 フラッシュメモリのコモディティ化はSSDストレージの利用を促進
• SSDは共有ストレージへのアクセス競合を緩和し、ランダムI/O性能を劇的に向上
 SSDは最小のレイテンシーと低消費電力のストレージを実現
• 最高性能だがまだ高価なSSDを低価格で利用するには、SSDのアプリケーションへの
応答性能を妨げない、低レイテンシーなインターコネクト技術による外部共有が必須
Component
Latency (usec)
InfiniBand
0.7
Ethernet RDMA (RoCE)
1.3
Ethernet TCP
6
Fibre Channel
20
SSD Read
25
Disk Read
6000
Total: 45usec
Total: 25.7usec
Fibre ChannelではSSDのパフォーマンスを活かすことはできない
SSDの共有にはInfiniBand、RoCE (RDMA over Coverged Ethernet)が最適!
© 2014 Mellanox Technologies
- Mellanox Confidential -
4
SMB Direct 仮想環境での性能比較
Configuration
© 2014 Mellanox Technologies
BW
IOPS
%CPU
Latency
MB/sec
512KB IOs/sec
Privileged
milliseconds
Local
10,090
38,492
~2.5%
~3ms
Remote
9,852
37,584
~5.1%
~3ms
Remote VM
10,367
39,548
~4.6%
~3 ms
- Mellanox Confidential -
5
SMBはHyper-V Live Migrationとの共用が可能
 SMBは仮想マシンのLive Migrationに対応可能
 SMBによって提供される主な機能
• RDMA (SMB Direct)
• Streaming over multiple NICs（SMBマルチチャネル）
Live Migration Times
70
60
 最高のスループットと最小のレイテンシーを実現
Seconds
50
Windows
Server
2012 R2
で初めて
サポート
40
30
20
10
0
Live Migrationが
高帯域
Live Migrationは
40/56Gbps
SMBマルチチャネ
RDMAは Live
ネットワークに
ルによって複数の
Migration中の
よって高速化
通信を同時に
CPU処理をNIC
ロードバランスして
でオフロード
実行が可能
© 2014 Mellanox Technologies
- Mellanox Confidential -
6
ブートストーム解消＆仮想デスクトップ台数を2.5倍以上にするiSER
 Mellanox社とLSI社の共同ソリューションにより、 VDI環境にお
Benchmark Configuration
けるストレージレイテンシーの改善とIOPSを劇的に向上
• LSI Nytro MegaRAIDは、SSDベースのキャッシュによってディスク
アクセスを大幅に高速化
• Mellanox ConnectX®-3 10/40ギガビットEthernet NICは、ハイパー
バイザーから共有高速ストレージへのアクセスをRDMAによって高速化
すると同時に、オーバーヘッドゼロのレプリケーションを実現
 Login VSI社VDI Load Generatorでテストした場合、上記
ソリューションは物理サーバ1台当り160仮想デスクトップという
空前の統合率を実現
• iSER (iSCSI Extension for RDMA) を使用することで、通常のTCP/IP
ベースのiSCSIに比べてまったく同じ設定環境で2.5倍以上のVMが搭載可能に
* http://www.mellanox.com/related-docs/whitepapers/SB_Virtual_Desktop_Infrastructure_Storage_Acceleration_Final.pdf
© 2014 Mellanox Technologies
- Mellanox Confidential -
iSCSI/RDMA
(iSER) target
Replication
Mellanox SX1012
10/40GbE Switch
iSCSI/RDMA
(iSER) target
Software
RAID (MD)
LSI Caching
Flash/RAID
Controller
LSI Caching
Flash/RAID
Controller
Primary
Secondary
• 2 x Xeon E5-2650
processors
• Mellanox ConnectX®-3
Pro, 40GbE/RoCE
• LSI Nytro MegaRAID
NMR 8110-4i
Redundant Storage Cluster
7
40ギガビットEthernet: ストレージ市場における最新トレンド
 NetApp, Inc.
• 40GbE Adoption Takes Off in the Data Center
The next evolution of the Ethernet, 40Gb, will begin widespread adoption at the core
of the data center. Higher bandwidths allow larger datasets to move more quickly
and easily, which in turn encourages the growth of data.
Jay Kidd Chief Technology Officer and Senior Vice President, NetApp Inc.
https://communities.netapp.com/community/netapp-blogs/netapp-360/blog/2013/12/12/the-it-almanac-for-2014
 株式会社東芝
• vForum2013において、メラノックス社40ギガビット
Ethernetを使用したIO統合ソリューションを動態展示
Ethernetを
• 2014年度に同社のFlashストレージシステムで40ギガ
Ethernetを正式サポート予定
ビット
© 2014 Mellanox Technologies
- Mellanox Confidential -
8
一般的なオーバーレイネットワークのイメージ
Gateway (Network) Nodes
Router / NAT
Software Gateway
vEth1
vEth0
SDN Manager e.g.
OpenStack Neutron,
ODL, VMware NSX
BR0
BR1
VXLAN
OVS
VNI200 VNI300
Hypervisor
Hypervisor
VM
VM
VM
VM
VM
VM
VM
VM
OS
OS
OS
OS
OS
OS
OS
OS
vTap
vTap
vTap
BR0
vTap
BR1
vTap
vTap
BR2
VXLAN Overlay
Open vSwitch (OVS)
VNI100 VNI200 VNI300
vTap
vTap
vTap
BR1
BR0
VXLAN Overlay
Open vSwitch (OVS)
VNI100 VNI300
UDP
UDP
UDP
IP
IP
IP
Internet
Underlay Network (Layer 2 or Layer 3)
VXLAN Overlay
(tenant) networks
© 2014 Mellanox Technologies
- Mellanox Confidential -
9
VXLANやNVGREベースのネットワーク仮想化の直面する課題
 ハイパーバイザのIPスタックや標準的なNICはクライアントTCP/IPのトラフィックを認識できない
 ハードウェアによるセグメンテーション/リアッセンブリ、チェックサムオフロード、 RSS/TSS
CPUコアのスケーリングなど標準的なオフロード技術では、仮想マシンが生成するTCP/IPパケット
（インナーペイロード）を処理することができない
 これらの処理をCPUに負担させることにより、VXLANやNVGREを使用する環境では、多大な負荷が
ホストCPUに掛かってしまい、アプリケーション性能やサーバ統合率に悪影響を与えてしまう
 メラノックスのConnectX®-3 Proは、これらの仮想マシンが生成するTCP/IPパケットを処理でき
る世界初のNICであり、VXLANやNVGRE使用時におけるCPUのオーバーヘッドをなくすことで、シ
ステム性能に影響を与えずにオーバーレイ型ネットワーク仮想化環境に移行することができる
VXLAN Packet Format
Generated by
the VM
Generated by
the Hypervisor
© 2014 Mellanox Technologies
- Mellanox Confidential -
10
ConnectX®-3 ProによるNVGREスループット
35
30
(Gb/s)
Throughput
スループット
(Gb/s)
NVGRE Offload Engine – Breaks the 10Gb/s Barrier
29.3
25
20
NVGREオフロードなし
NVGRE Offload Disabled
NVGREオフロードあり
NVGRE Offload Enabled
15
9.2
10
5
5
0
40ギガビットEthernet
40Gb/s Adapter
© 2014 Mellanox Technologies
5
10ギガビットEthernet
10Gb/s Adapter
- Mellanox Confidential -
11
Bandwidth [Gbit/sec]
ConnectX®-3 Proによるオーバーレイネットワークの高速化
VXLAN使用時のVM全体のバンド幅
25
20
15
10
5
0
NO VxLAN
VxLAN in software
VxLAN HW Offload
VXLANオフロードにより
バンド幅が５倍に
1 VM
11
2
10
2 VMs
19
3
19
3 VMs
21
3.5
21
VXLANオフロードにより
CPU使用率が1/4に
CPU% / Bandwidth
(Gbit/sce)
VXLAN使用時のCPU使用率（Gbit/sec あたり）
Test Details
4.00
-
3.00
2.00
1.00
0.00
NO VxLAN
VxLAN in software
VxLAN HW Offload
© 2014 Mellanox Technologies
1 VM
0.55
3.50
0.90
2 VMs
0.68
3.33
0.89
3 VMs
0.67
4.29
1.19
- Mellanox Confidential -
-
Test command: netperf -t TCP_STREAM –H
1-3 VMs talking to 1-3 VMs on a second server
OpenvSwitch (OVS) with VXLAN support
Servers:
- HP ProLiant DL380p Gen8
- 2 x Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz
- 32GB RAM
Hypervisor OS: Linux Upstream Kernel 3.14-rc1 + KVM
Guest VM OS: RHEL 6.5 2.6.32-431.el6.x86_64
NIC: ConnectX-3Pro , FW: 2.30.8000
CPU% and Bandwidth measures on the Hypervisor (aggregate 1-3 VMs)
12
スイッチベースのVXLANオフロードとの違いは？
 VXLAN用ゲートウェイの機能はスイッチでもオフロードすることが可能であり、VLANベース
の既存ネットワークに対する高速なブリッジ機能を提供できる
• クラウドサービスプロバイダは、BGPに対応した最先端のルータ、NAT、DHCP、モニタリングやファイアウォール
を展開しているため、柔軟性の高いソフトウェアベースのゲートウェイの方が良い場合もある
• OpenStack Network Nodesのようにソフトウェアゲートウェイは拡張性に優れているため、メラノックスの
VXLANハードウェアオフロードと組み合わせることで、高い性能を保持しながらシステムを拡張できる
 VXLAN Switch Termination/Gateway (VTAP)は、VXLAN処理に関するCPUの負荷を軽
減できない
• Internal VLANはハイパーバイザで生成され、オーバーレイネットワークとは別に管理される
• スイッチベースのオフロード機能は、NICによるハードウェアオフロードに比べてCPUオーバーヘッドの解消には効果
がない
SDN/Cloud Manager is only aware
of the VXLAN overlay networks
(VNIs), and doesn’t manage the
internal VLANs, adding significant
complexity
SDN Manager
VM
VM
VM
OS
OS
OS
OS
vTap
?
Limited hardware
resources for tunneling
and ACLs
© 2014 Mellanox Technologies
VM
- Mellanox Confidential -
vTap
vTap
BR0
Open vSwitch (OVS)
vTap
BR1
vTap
Switch Based
VXLAN Gateway
(VTAP) Approach
BR2
VLAN3
VLAN4
VLAN5
Internal VLANs must be created
and managed in the Hypervisor to
ensure isolation between VMs on
different networks/tenants
13
ITシステム全体を仮想的なメインフレームに再構築
 ITシステムは分散と集中を繰り返す
•
•
•
•
1980年代
1990年代
2000年代
2010年代
メインフレームで業務を集中処理
クライアント・サーバでIT適用エリアを拡大
サーバ・ストレージ仮想化
ネットワーク仮想化
 基幹系以外のサーバをプライベートクラウドに移行
• 継続使用するサーバはプライベートクラウド
• 非基幹系サーバはパブリッククラウドを併用
• プライベートクラウドの空き容量を有効活用
90
80
70
60
50
40
30
20
10
0
9時-12時
空き容量
夜間バッチ
業務サーバ
email
開発用途
12時－15時
15時－18時
夜間
80
基幹系
空き容量
70
 基幹系サーバもクラウド環境に統合でTCOを半減
• Haswell等高性能サーバで統合率を倍増 -30% (1)
• 運用コスト、ラック代、電気代
-30% (2)
• 仮想メインフレームによる平準化
(1) + (2） -30%
夜間バッチ
60
50
業務サーバ
40
30
email
20
開発用途
10
0
9時-12時
© 2014 Mellanox Technologies
- Mellanox Confidential -
12時－15時
15時－18時
夜間
基幹系
14
Thank you!