1. No category

Mellanox Solutions for VMware
July 2014
クラウドコンピューティングの今後の課題
2006年（VI3）
2014年（VS5.5）
16GB Memory
$1200, 192W
PCIe
PCIe
PCIe
2 x Quad Core
CPUs
$2800, Wasted
240W
8GB Memory
$600, 96W
Wasted
2010年（VS4）
PCIe
PCIe
PCIe
40Gb/s
1GigE, 50µs, $100, 4W
12Gb/s, 50µs, $2400, 28W
 強力な物理サーバのスペックをアプリケーション

 物理サーバの台数が無駄に増加


が使用しきれずCPUとメモリはアイドル状態
© 2014 Mellanox Technologies
サーバ仮想化により、複数の仮想サーバが
CPUやメモリを共有することで効率化
I/Oがボトルネックに、統合率が頭打ち！
配線など、I/O接続機器と複雑性の増加
＝インターコネクト投資増加
- Mellanox Confidential -
40-56Gb/s, 1µs, $900, 10W





40ギガビットEthernetによるIO統合化
サーバ当りVM搭載率向上によるコストダウン
IT機器の台数削減＋高密度化によるコストダウン
ケーブリング複雑性の解消による運用コスト削減
消費電力やメンテナンスコストの大幅な削減
2
仮想環境の課題 ：IOポートの増加によるスロット不足
ノード間通信
2本
Migration用
2本
管理用ポート
2本
ストレージ用
2本
15 x 8Gb/s Fibre
Server
Channel Ports
OR
+
= 12GB/s =
10 x 10Gb/s iSCSI
Ports (with offload)
OR
2 x 40Gb/s Ethernet port
24 x 2.5” SATA 3 SSDs
(with RDMA)
統合率向上に対応 ： 数10万
IOPS
高帯域IO統合は仮想環境におけるボトルネック解消には必須！
© 2014 Mellanox Technologies
- Mellanox Confidential -
3
10GbE vs 40GbE比較シミュレーション
オンラインでサーバーが買える某社WEB見積もりシステムでの実売市場価格
での試算比較を実施（VMwareベースでのクラウドDCを想定)
10Gbase-T
約200 サーバ
24 スイッチ
約1700 VM
Mellanox 40GbE
約200 サーバ
12 スイッチ
約3100 VM
VS
© 2014 Mellanox Technologies
- Mellanox Confidential -
4
10GbE vs 40GbE比較シミュレーション
VM当たりの導入コスト[円]
VM当たりの消費電力[W]
約50%削減
約60%削減
Cables
Switches
Switches
Servers(w/ NICs)
Servers(w/ NICs)
Vendor-A(10Gbase-T)
Mellanox(40GbE)
Vendor-A(10Gbase-T)
Mellanox(40GbE)
スイッチ数が半分となるため、設置面積の観点でも効率アップ
© 2014 Mellanox Technologies
- Mellanox Confidential -
5
ConnectX®-3 Pro: 世界初NSX(VXLAN)オフロード対応NIC
 VXLAN: 仮想化データセンターネットワークの課題を解決
• 拡張性、柔軟性、仮想化リソースのさらなる稼働率の向上
• VXLAN/NVGREの処理にCPUリソースが使用されるため、
アプリケーション性能の劣化、統合率低下などのリスクが懸念される
 ConnectX®-3 Proは仮想オーバーレイネットワークをサポート
• オーバーレイネットワーク用ハードウェアオフロードエンジン
• VXLAN/NVGRE高速化
• CPUオーバーヘッドを劇的に削減
 サーバ仮想化の特長を100%活かしながら既存の仮想化データ
ConnectX®-3 Pro
10/40GbE Ethernet with
VXLAN/NVGRE Acceleration
センタの課題を解決できる、理想的なクラウドサービス基盤を実現！
© 2014 Mellanox Technologies
- Mellanox Confidential -
6
一般的なオーバーレイネットワークのイメージ
Gateway (Network) Nodes
Router / NAT
Software Gateway
vEth1
vEth0
SDN Manager e.g.
OpenStack Neutron,
ODL, VMware NSX
BR0
BR1
VXLAN
OVS
VNI200 VNI300
Hypervisor
Hypervisor
VM
VM
VM
VM
VM
VM
VM
VM
OS
OS
OS
OS
OS
OS
OS
OS
vTap
vTap
vTap
BR0
vTap
BR1
vTap
vTap
BR2
VXLAN Overlay
Open vSwitch (OVS)
VNI100 VNI200 VNI300
vTap
vTap
vTap
BR1
BR0
VXLAN Overlay
Open vSwitch (OVS)
VNI100 VNI300
UDP
UDP
UDP
IP
IP
IP
Internet
Underlay Network (Layer 2 or Layer 3)
VXLAN Overlay
(tenant) networks
© 2014 Mellanox Technologies
- Mellanox Confidential -
7
VXLANベースのネットワーク仮想化の直面する課題
 ハイパーバイザのIPスタックや標準的なNICはクライアントTCP/IPのトラフィックを認識できない
 ハードウェアによるセグメンテーション/リアセンブリ、チェックサムオフロード、 RSS/TSS CPU
コアのスケーリングなど標準的なオフロード技術では、仮想マシンが生成するTCP/IPパケット（イ
ンナーペイロード）を処理することができない
 これらの処理をCPUに負担させることにより、VXLANを使用する環境では、多大な負荷がホスト
CPUに掛かってしまい、アプリケーション性能やサーバ統合率に悪影響を与えてしまう
 メラノックスのConnectX®-3 Proは、これらの仮想マシンが生成するTCO/IPパケットを処理でき
る世界初のNICであり、VXLAN使用時におけるCPUのオーバーヘッドをなくすことで、システム性
能に影響を与えずにオーバーレイ型ネットワーク仮想化環境に移行することができる
VXLAN Packet Format
Generated by
the VM
Generated by
the Hypervisor
© 2014 Mellanox Technologies
- Mellanox Confidential -
8
Bandwidth [Gbit/sec]
ConnectX®-3 Proによるオーバーレイネットワークの高速化
VXLAN使用時のVM全体のバンド幅
25
20
15
10
5
0
NO VxLAN
VxLAN in software
VxLAN HW Offload
VXLANオフロードにより
バンド幅が５倍に
1 VM
11
2
10
2 VMs
19
3
19
3 VMs
21
3.5
21
VXLANオフロードにより
CPU使用率が1/4に
CPU% / Bandwidth
(Gbit/sce)
VXLAN使用時のCPU使用率（Gbit/sec あたり）
Test Details
4.00
-
3.00
2.00
1.00
0.00
NO VxLAN
VxLAN in software
VxLAN HW Offload
© 2014 Mellanox Technologies
1 VM
0.55
3.50
0.90
2 VMs
0.68
3.33
0.89
3 VMs
0.67
4.29
1.19
- Mellanox Confidential -
-
Test command: netperf -t TCP_STREAM –H
1-3 VMs talking to 1-3 VMs on a second server
OpenvSwitch (OVS) with VXLAN support
Servers:
- HP ProLiant DL380p Gen8
- 2 x Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz
- 32GB RAM
Hypervisor OS: Linux Upstream Kernel 3.14-rc1 + KVM
Guest VM OS: RHEL 6.5 2.6.32-431.el6.x86_64
NIC: ConnectX-3Pro , FW: 2.30.8000
CPU% and Bandwidth measures on the Hypervisor (aggregate 1-3 VMs)
9
スイッチベースのVXLANオフロードとの違い
 VXLAN用ゲートウェイの機能はスイッチでもオフロードすることが可能であり、VLANベース
の既存ネットワークに対する高速なブリッジ機能を提供できる
• クラウドサービスプロバイダは、BGPに対応した最先端のルータ、NAT、DHCP、モニタリングやファイアウォール
を展開しているため、柔軟性の高いソフトウェアベースのゲートウェイの方が良い場合もある
• OpenStack Network Nodesのようにソフトウェアゲートウェイは拡張性に優れているため、メラノックスの
VXLANハードウェアオフロードと組み合わせることで、高い性能を保持しながらシステムを拡張できる
 VXLAN Switch Termination/Gateway (VTAP)は、VXLAN処理に関するCPUの負荷を軽
減できない
• Internal VLANはハイパーバイザで生成され、オーバーレイネットワークとは別に管理される
• スイッチベースのオフロード機能は、NICによるハードウェア・オフロードに比べてCPUオーバーヘッドの解消には効
果がない
SDN/Cloud Manager is only aware
of the VXLAN overlay networks
(VNIs), and doesn’t manage the
internal VLANs, adding significant
complexity
SDN Manager
VM
VM
VM
OS
OS
OS
OS
vTap
?
Limited hardware
resources for tunneling
and ACLs
© 2014 Mellanox Technologies
VM
- Mellanox Confidential -
vTap
vTap
BR0
Open vSwitch (OVS)
vTap
BR1
vTap
Switch Based
VXLAN Gateway
(VTAP) Approach
BR2
VLAN3
VLAN4
VLAN5
Internal VLANs must be created
and managed in the Hypervisor to
ensure isolation between VMs on
different networks/tenants
10
ITシステム全体を仮想的なメインフレームに再構築
 ITシステムは分散と集中を繰り返す
•
•
•
•
1980年代
1990年代
2000年代
2010年代
メインフレームで業務を集中処理
クライアント・サーバでIT適用エリアを拡大
サーバ・ストレージ仮想化
ネットワーク仮想化
 基幹系以外のサーバをプライベートクラウドに移行
• 継続使用するサーバはプライベートクラウド
• 非基幹系サーバはパブリッククラウドを併用
• プライベートクラウドの空き容量を有効活用
90
80
70
60
50
40
30
20
10
0
9時-12時
空き容量
夜間バッチ
業務サーバ
email
開発用途
12時－15時
15時－18時
夜間
80
基幹系
空き容量
70
 基幹系サーバもクラウド環境に統合でTCOを半減
• Haswell等高性能サーバで統合率を倍増 -30% (1)
• 運用コスト、ラック代、電気代
-30% (2)
• 仮想メインフレームによる平準化
(1) + (2） -30%
夜間バッチ
60
50
業務サーバ
40
30
email
20
開発用途
10
0
9時-12時
© 2014 Mellanox Technologies
- Mellanox Confidential -
12時－15時
15時－18時
夜間
基幹系
11
Thank you!