1. No category

CASE STUDY
株式会社サイバーエージェント
OpenStack 基盤のネットワーク仮想化にConnectX®-3 Proを採用
VXLANオフロード機能によって優れたネットワーク性能と大幅な
CPU負荷軽減を達成
株式会社サイバーエージェントは、Ameba 関連事業やインターネット広告事業、ゲーム事業などを大き
な柱とする企業である。2013 年 10月には、アドテクノロジー分野におけるサービスの開発強化を目的と
したアドテク本部を設立し、同本部と子会社が利用するOpenStack ベースの共通サービス基盤を構築し
ている。次世代の OpenStack 基盤に向けた検証環境もすでに立ち上げており、オープンソースのネット
ワーク仮想化ソフトウェアとConnectX®-3 ProによるVXLANオフロード機能を組み合わせたネットワーク
仮想化の検証に入っている。同社は、OpenStack KiloもしくはLiberty releaseを採用した形でのサービ
スインを目指し、これからもさまざまな技術検証を進めていく計画だ。
導入前の課題
⿠⿠次世代の OpenStack 基盤では、ビジネスのスピード感を損なわないように、VLAN からネットワー
ク仮想化への移行を希望していた
⿠⿠VXLAN のようなオーバーレイネットワーク技術は、サーバ CPU に頼った完全なソフトウェア処理で
は実用的な性能が得られない
⿠自社の環境で高い性能を発揮し、
⿠
なおかつ入手性やベンダーのサポート体制にも優れた VXLAN オ
フロード対応 NIC を探していた
導入された製品
⿠⿠Mellanox ConnectX®-3 Pro
メリットと効果
⿠エンドユーザにも多くの技術情報が提供されているため、
⿠
インストール、設定、稼働状況の確認、
ファームウェア更新などをスムーズに行えた
⿠⿠VXLAN のパケット処理でサーバ CPU が消費されなくなり、CPUリソースの多くを仮想マシンのため
に割り当てられるようになった
⿠⿠NIC の VXLAN オフロード機能によって、10 ギガビットEthernet ならではの高速性を最大限に活か
せるネットワーク性能が得られている
株式会社サイバーエージェントは、1998 年の創業以来インターネット広告事業を手がけており、同社の
原点ともいえるビジネスだ。アドテクノロジー関連のサービスもきわめて多彩で、グループ全体で見れ
ば、スマートフォンアドネットワークの「AMoAd」
、リワード広告の「CAリワード」
、スマートフォン広告向
けソリューションツール「F.O.X（Force Operation X）
」
、広告効果測定システム「CAMP」などを提供して
いる。
2013 年 10月には、アドテクノロジー分野におけるサービスの開発強化を図る目的からアドテク本部も
設立し、同時にエンジニアの横断組織であるアドテクスタジオも設置された。これにより、サービスの
開発効率をさらに高め、各サービスの技術力とターゲティング精度の強化を目指している。
©2015 Mellanox Technologies. All rights reserved.
CASE STUDY
ネットワーク仮想化技術を取り入れてスピード感のあるビジネスを展開
サイバーエージェントは、これまでプロダクトや子会社ごとにデータセンターを借り、広告系シス
テムを個別に構築してきたが、アドテク本部の設立とあわせて、これらのシステム群を OpenStack
ベースの共通サービス基盤へと集約している。
アドテク本部 技術戦略室 アドテクスタジオ チーフインフラエンジニアの長谷川誠氏は、共通サー
ビス基盤に OpenStack を採用した背景を「当社は、さまざまなことにチャレンジできる社風があ
りますので、多くのベンダーが積極的に参画し、自分たちもとことん使い倒せるOpenStack が最
もふさわしいと判断しました。また、私たちはこれからの時代を牽引する技術者集団だと自負し
ていますので、OpenStack を通じてさまざまな技術を学びたいという気持ちもありました」
と語る。
同社は、2014 年 6月に OpenStack（Linuxカーネル）に基づく本番環境を構築し、さまざまな子会
社のシステムを OpenStack へと段階的に移行してきた。この OpenStack 基盤は、スパニングツ
リーに頼らない L2 ネットワークで多数の物理サーバ群を束ねる構成がとられている。また、プロ
ダクトや子会社ごとに VLANを割り当てることで、単一の OpenStack 基盤を安全かつ柔軟に共有
できる体制を整えている。
2014 年 10月には、OpenStack Juno release の登場を受け、将来の共
通サービス基盤に向けたシステム構成の検討も開始している。特に
ネットワークに関しては、旧来の VLAN 技術に基づくネットワーク重
畳ではなく、先進的なオーバーレイネットワーク技術に基づくネット
ワーク仮想化へと切り替える方針を固めた。
株式会社サイバーエージェント
アドテク本部 技術戦略室
アドテクスタジオ
インフラエンジニア
山本 孔明 氏
株式会社サイバーエージェント
アドテク本部 技術戦略室
アドテクスタジオ
チーフインフラエンジニア
長谷川 誠 氏
アドテク本部 技術戦略室 アドテクスタジオ インフラエンジニアの山
本孔明氏は、「VLAN の設定は、ユーザからの依頼に基づいてエンジ
ニアの私たちが手作業で行っています。OpenStack 基盤によって新
規システムを迅速に立ち上げられるようになっても、ネットワークの
設定を手動で行っているようでは、ビジネスのスピード感が損なわれ
てしまいます。そこで注目したのが、ユーザごとのネットワーク設定
を自動化できるネットワーク仮想化技術でした」
と説明する。
自社の環境下で最も高い性能を発揮した ConnectX®-3 Proを採用
検証を進めているネットワーク仮想化基盤は、オーバーレイネットワーク技術としてVXLAN
（Virtual eXtensible Local Area Network）をサポートする。VXLAN は、レイヤ2 のネットワークフ
レームをレイヤ3 ヘッダでカプセル化することにより、論理的なネットワーク重畳を実現する。た
だし、VXLAN 環境をハードウェアオフロードがない状態で運用すると、サーバ側の CPUリソース
を多く消費してしまうのが難点だ。
アドテク本部 技術戦略室 アドテクスタジオ インフラエンジニアの田上亮氏は、「VXLAN 環境で
実用的なスループットを得るには、非常に多くの CPUリソースを消費します。当社の検証結果に
よれば、現行のサーバ CPUでは仮想マシンあたり2Gbps 程度のスループットしか出ないことが判
明しました。また、物理ネットワークをせっかく10 ギガビットEthernetで構成していたとしても、
トータルで 10Gbps のスループットを得るには、少なくとも5 ～ 6コア分の CPUリソースが必要に
なります。このように、サーバ CPU に頼った運用では仮想マシンに割り当てられる実質的な CPU
コア数がかなり減少してしまいますので、やはりVXLAN オフロードに対応した NIC が不可欠とい
う結論に達したのです」
と説明する。
同社は、VXLANオフロードに対応した NICを複数のベンダーから借り受け、社内でさまざまな検
証を行った。この結果、自社の環境で最も高い性能を発揮し、なおかつ製品の入手性にも優れた
Mellanox の『ConnectX®-3 Pro』
を採用している。
株式会社サイバーエージェント
アドテク本部 技術戦略室
アドテクスタジオ
インフラエンジニア
田上 亮 氏
OpenStack基盤のネットワーク仮想化にConnectX®-3 Proを採用
VXLANオフロード機能によって優れたネットワーク性能と大幅なCPU負荷軽減を達成
ConnectX®-3 Proを取り入れた OpenStack 基盤の本番稼働を目指す
サイバーエージェントは、ConnectX®-3 Pro を搭載した物理サーバとL2スイッチ、ネットワーク仮想化を組み合わせた検証
環境を2015 年 2月に構築している。そして現時点では、VXLANオフロードを有効にした状態で、OpenStack（Juno release）
の基本的な機能が正常に動作することをすでに確認している。今後は、本番環境を想定した高負荷の条件下においてネッ
トワーク性能や安定度のチェックを行うとともに、障害時の復旧手順や監視方法を確立する工程へと進んでいく。
田上氏は、システム構築や検証作業中に気付いた点として「Mellanox 製品は、ドキュメンテーションがしっかりとしていて、
私たちのようなエンドユーザでもさまざまな技術情報に触れられます。このため、ConnectX®-3 Pro のインストール、設定、
稼働状況の確認、ファームウェアの更新などもスムーズに行えました。これは、自社製チップを搭載し、ハードウェアからドラ
イバに至るまで、すべてが自社で完結しているベンダーだからこその強みだと感じています」
と述べている。
MidoNetとConnectX®-3 Pro を組み合わせた本番環境は、OpenStack Kiloもしくは Liberty releaseを採用した形でのサービ
スインを目指している。長谷川氏は、「日本国内の OpenStack Summit が、2015 年 10月に開催されますので、それまでに
は本番環境を立ち上げたいと考えています。そして、ネットワーク機能の多くをネットワーク仮想化ソフトウェアに任せられ
るようになることで、サーバ間を接続するレイヤ 2スイッチの選択肢もさらに広がります。今後は、自社製チップを搭載し、コ
ストパフォーマンスにも優れた Mellanox のスイッチ製品が有力な候補のひとつとなりそうです」
と、将来の展望を語る。
テナントＡネットワーク
テナントＢネットワーク
vRouter
vPort
vPort
vRouter
vRouter
vPort
vSwitch
プロバイダ
vSwitch
vPort
vPort
vPort
オーバーレイネットワーク
外部
ネットワーク
MLNX
BGP
MLNX
MLNX
MLNX
物理プライベート
ネットワーク
MLNX
ネットワークステートデータベース
MLNX
VM
VM
VM
VM
VM
VM
アンダーレイネットワーク
OpenStack Nova サーバ
ゲートウェイサーバ
MLNX
メラノックス ConnectX-3 Pro
VXLAN テスト環境システム構成図
©2015 Mellanox Technologies. All rights reserved.
OpenStack基盤のネットワーク仮想化にConnectX®-3 Proを採用
VXLANオフロード機能によって優れたネットワーク性能と大幅なCPU負荷軽減を達成
CASE STUDY
ConnectX®-3 Pro による改善効果
Mellanox の ConnectX®-3 Pro は、VXLAN のパケット処理をカード上のハードウェアで
実行するオフロード機能を搭載しています。VXLAN オフロード機能を有効化すること
で、VXLAN のない物理ネットワーク環境とほぼ同等のネットワーク性能が得られます。
また、Mellanox が自社環境で検証した結果によれば、VXLANオフロード機能を有効
化することで、帯域幅が約 5 倍に向上し、サーバ CPU の使用率も4 分の 1 にまで削減
されます。
PRO
ConnectX®-3 Pro によるオーバーレイネットワークの高速化
VXLAN オフロードによりバンド幅 が５倍に
Test Details
VXLAN オフロード によりCP U 使 用率 が 1/4 に
VXLAN 使用時の VM 全体のバンド幅
VXLAN 使用時の CPU 使用率（Gbit/sec あたり）
ôô Test command: netperf -t TCP_STREAM –H
ôô 1-3 VMs talking to 1-3 VMs on a second server
ôô OpenvSwitch (OVS) with VXLAN support
ôô Servers:
ôô HP ProLiant DL380p Gen8
ôô 2 x Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz
ôô 32GB RAM
ôô Hypervisor OS: Linux Upstream Kernel 3.14-rc1 + KVM
ôô Guest VM OS: RHEL 6.5 2.6.32-431.el6.x86_64
ôô NIC: ConnectX-3Pro , FW: 2.30.8000
ôô CPU% and Bandwidth measures on the Hypervisor (aggregate 1-3 VMs)
メラノックス テクノロジーズ ジャパン株式会社
160-0023 東京都新宿区西新宿 7-22-45 KDX 西新宿ビル 1F
電話 : 03-5937-3116
FAX : 03-5937-3117
E-mail: [email protected] www.mellanox.co.jp
© Copyright 2015. Mellanox Technologies. All rights reserved. Mellanox、ConnectX、CORE-Direct および Virtual Protocol Interconnect は、メラノックステクノロジーズ社の登録商標です。
Connect-IB、FabricIT、MLNX-OS、ScalableHPC、Unbreakable-Link、UFM および Unified Fabric Manager は、メラノックステクノロジーズ社の商標です。
記載されているその他の会社名および製品名は、各社の商標または登録商標です。
2015.3