1. No category

アカデミッククラウドにおける
CloudStackの活用事例と今後の展望
棟朝 雅晴（むねとも まさはる）
北海道大学 情報基盤センター
[email protected]
CloudStack Day Japan 2014
2014.3.6
ソラシティカンファレンスセンター
自己紹介
棟朝 雅晴（むねとも まさはる）
北海道大学情報基盤センター 副センター長
デジタルコンテンツ研究部門 教授
専門：クラウドコンピューティング・分散処理
進化計算・メタヒューリスティクス・最適化
「北海道大学アカデミッククラウド」の設計・構築を担当
情報基盤センター クラウドコンピューティング研究会 主査
大学ICT推進協議会クラウド部会 副査
情報処理学会数理モデル化と問題解決研究会 主査
クラウド利用促進機構 総合アドバイザー
Open Compute Project Japan 発起人・運営委員
2
2010年11月 SC10@New Orleans にて
北海道大学アカデミッククラウド
• 国内最大の学術クラウド（本格的なクラウドとしては世界的にも最大級）
・ ２０１１年１１月サービス開始（全国の研究者向けサービス）
・ スパコン並みの高性能（43.8TFlops, 2,000以上のVMを同時実行可能）
・ CloudStackを採用した初期の事例として国内外で注目された
• ビッグデータ処理システム（Hadoopクラスタ）を自動的に設定し利用者が占
有して利用できる基盤を整備
4
「ビッグデータ」処理パッケージの提供
• ビッグデータ関連研究に必要となるクラスタシステムをパケージ化して提供
（加えて、MPI, OpenMPなど並列計算に必要なソフトウェアも提供）
• 機械学習に必要なライブラリも含めた（Hadoop, Hive, Mahout, R）大規模並
列処理システムを、ストレージの負荷分散も考慮しつつ自動構築
Zone
Balancing!overheads!of!disk!I/O!with!
round8robin!assignment!of!Virtual!disks.!
!
!
POD
Resource Pool #1
Shared Storage #1
HyperVisor #1
VM(
Virtual(
Disk
Storage #1
HyperVisor #2
Resource Pool #2
HyperVisor #3
VM(
Shared Storage #2
Virtual(
Disk
HyperVisor #4
Hadoop Cluster
VM(
Resouce Pool #3
HyperVisor #5
VM(
Virtual((
Disk
HyperVisor #6
VM(
HyperVisor #8
VM(
Shared Storage #4
Virtual(
Disk
Virtual(
Disk
Storage #3
VM(
Resouce Pool #4
HyperVisor #7
Storage #2
VM(
Shared Storage #3
Virtual(
Disk
Virtual(
Disk
Storage #4
Virtual(
Disk
シミュレーション・計算環境として
• 研究室内で構築されていた、計算サーバやクラスタの置き換えとして利用
→ 大幅なコストダウン＆システム構築時間の短縮（数ヶ月→１時間！）
• パソコン∼スパコンの間のギャップを埋める
燃焼シミュレーション（北大 工学研究院 大島教授）
仲 いろんな使い方をするうえで、学内にあるメリッ
列に解析が進められる特性があるでしょうから、台数を
ありますので、時間的な要因ということについてはい
はけっこう大きかったと思います。学外から使用す
前仲 われわれは今、
増やせば増やすほどターゲットとなる、
解析できるものの
創薬センター自体人が少しずつ
でしょうか。
のがどうこうということはないのですけれども、今回
数といいますか、増えて、
分子の数は増えてくると思うのです。ま
それで運営としてはようやく落ち着いてきまし
ような創薬のプロジェクトの場合は、セキュリティー
さしくクラウドというのはオートスケールといいまして、
マ
た。これから創薬ターゲットを少しずつ広げながら、
面などを考えるとかなり大きかったと思います。
前仲 かなり大きいですね。サーバを買ってそれを
シーンの数を柔軟に増やしていくことができるので、
その
大きく展開していこうと思っています。そういう意味
ち上げていろいろするのは時間もコストも割りに合
創薬化学の”in silico screening”システムの構築
対応は今後できると思います。
では、情報基盤センターのクラウドシステムを強化し
─今回はいわゆるドッキングのシミュレーションという
ないことばかりです。われわれもプロジェクトのスタ
ていただけると、われわれも使いやすくなるので、その
ト段階では、それもありえると思っていたのです。
点はさらに発展させていただきたいと思うのです。も
のときにほかの先生からこのクラウドシステムがあ
ちろんわれわれも協力いたします。そういう意味で言
と聞いて、それだったらまず、そちらを最優先すべき
うと、こちらのセンターのほうは、特に学内のかただけ
はないかというので使用させていただいたわけで
前仲 予算とのバランスで、
いつも……
とですが、並列計算ではよくあることで、実はわれわれ
センターでも研究をしています。例えば今後のシステム
展開ということもありますけれども、クラウドシステム
─そうですね。われわれセンターもそうですけれども、
お使いになっていて、改善点とかご要望はございますで
予算とのバランスで、
現在かなり利用数が多く、
埋まってい
ょうか。
る状況ですので、場合によってはさらに規模拡大というこ
• Structure Based Drug Designに限定しているというよりは、
(SBDD)を用いて、医薬品候補化合物を探索する
が、われわれが想定していた、サーバを買って何とか
広く学外に……
てというコストよりはずっと安く、かつ常に非常にい
ためのシステムをクラウド上で構築（北大 創薬科学研究教育センター）
状態で使えるというのはかなり大きなことです。ま
とも考えられますね。
─全国に。
仲 サーバの台数その他は、いろいろ議論にはなる
に今、その恩恵を受けています。
斉藤 決まっている予算の中で使うのには、
1年単位で
前仲 われわれを通してクラウドシステムの恩恵を受
です。今お借りしているのが、たしか今年度に入って
あとは、一刻も早くということはあるのですけれ
• Management appとして、modeFRONTIER®を、Docking
appとして、
借りるほうが予算としては組みやすいと思います。
台ですが、創薬ターゲットが複数ありますので、それに
ける人は、これから多くなると思います。エクスパンド
ただ、年単位にしてしまうと、実際には休んでいる時
していただければと思います。
間もできてしまいます。
いて1ターゲット1つではないですけれども、
台数があ
も、同時に、in silicoスクリーニングをどのように
にやるかということがあります。先ほど斉藤先生が
AutoDockを使用している。（XLサーバへは、 AutoDockをインストール）
分だけいろんなことができるという点があります。
図1. AutoDockによるタンパク質のドッキングシミュレーション
われたみたいに、当てはめていくのですけれども、当
図 2 .北海道大学アカデミッククラウドを活用した創薬シミュレーションシステムの構成
創薬化学のためのシステム構築（北大薬学研究院 前仲教授： iiC-HPCニュース vol.30 より）
7
July 2013 iiC-HPC
情報基盤センター大型計算機システムニュース Vol.30
8
水産科学における応用：漁場予測データ処理
• 北大 水産科学研究院 齊藤誠一教授による研究（TBS「夢の扉＋」でも紹介）
• 漁船群からあつめたアカイカに関するデータを集約して、北大アカデミック
クラウドシステムを用いて公開 → ピンポイントでのアカイカ漁場予測・海洋
環境の提供を行えるシステム整備
漁場予測システムの概要（水産科学研究院 齊藤教授： iiC-HPCニュース Vol.32 より）
PaaSによる世界規模でのインタラクティブ進化計算
• PaaS (CloudFoundry) を用いることで、数百万人∼規模のユーザが協調して、
進化計算による最適解の「進化」を実現するフレームワークを構築している
Present
cadndates of
solutions from
the system
Users select
solutions according
to their preferences
・・・
Interactive Evolutionary
Computation using PaaS
CloudFoundry
Load Balancer
iGA
Redis
Database
Redis
Ubuntu
Ubuntu
VM
VM
・・・
iGA
iGA
Applycation resource
instance
instance
instance
Redis
Ubuntu
Ubuntu
Ubuntu
VM
VM
VM
・・・
Ubuntu
VM
CloudStack
Sever
Masaharu Munetomo, Shintaro Bando: A Scalable Infrastructure of Interactive Evolutionary Computation to Evolve Services Online with Data, Proceedings of the 2013 IEEE International Conference on Big Data
ペタバイト級データサイエンス統合クラウドストレージ
• 約 2PBのクラウドストレージ ＋ CloudStack 最新環境（500コア）
• 今年４月からサービス開始予定：研究プロジェクト（HPCI）向けに提供
• 高速大容量のオブジェクト
ストレージ・オンライン
ストレージ：1TB単位
100MB/s ∼ 1GB/s
• CloudStack 最新環境
との密な連携により、
データサイエンス、
ビッグデータ研究を支援
CloudStack and Academic Cloud in Japan
• 北海道大学の事例をきっかけに（相談を受ける事が多かった）多くの大学・
学術機関・研究所などでCloudStackの採用が進んでいる
例）九州大学、北陸先端大学、北見工大、産総研、JSTなど
• ユーザーインターフェイスが使いやすく、全体の完成度、安定性も優れている
ので、管理コストをあまりかけられない大学や研究所にもおすすめできる
• 学生でも簡単にインストールできるので、研究室レベルでの比較的小規模な
プライベートクラウドを構築するのに最適
• クラウド間の連携機能（パブリック、プライベート、コミュニティ）が、今後
ますます重要になる
「アカデミッククラウド」の個人的な定義
“Virtual community cloud for academic use built on
the inter-cloud environment consisting of private and
public clouds.”
「プライベートクラウドとパブリッククラウドの両方で構成され
るインタークラウド環境上に構築された、学術利用向けの仮想
的なコミュニティクラウド」
→ 学術利用に必要となるクラウド資源をプライベート、パブリ
ックを問わず連携し、大学等の教育研究に活用するための統合
情報基盤。先進的なクラウド利用を促す仕組みとして重要。
12
– 大学ICT推進協議会（中核コミュニティ）
– ICT に関わる様々な立場の人々が集うコミュニティに依拠
– 事業終了後のアカデミッククラウド実現フェーズと事業成果の波及・展開
を考慮
平成25年度国家課題対応型研究開発推進事業
「アカデミッククラウド環境構築に係るシステム研究」
• 研究支援に係るアカデミッククラウド＆基盤技術標準の調査を担当
→ 全国の研究者に対するアンケートを実施 ＆ 海外動向調査
1-1 実施体制
事務業務
棟朝教授（北海道大学）
副代表（基盤技術標準担当）
調査
結果
調整
提案
安浦理事（九州大学）
岡田教授（九州大学）
副代表（ｻｰﾋﾞｽ技術標準担当）
久志部長
（九州大学）
調査
内容
事業推進グループ
梶田教授（京都大学）
連携
事業代表 （全体統括・調査担当）
統括
契約業務
副代表（CIO連携担当）
連携
益森部長
（九州大学）
深澤教授（早稲田大学）
副代表（大学経営担当）
報告
調整
依頼
実施
報告
委託
契約
システム研究グループ
認証連携分野
事業代表: 山地准教授
（国立情報学研究所）
ネットワーク分野
事業代表: 菅沼教授
（東北大学）
プライ
バシ
分野
セキュリ
ティ
分野
事業代表:
中村教授
（慶應義塾）
事業代表:
西村教授
（広島大学）
コンテンツ分野
事務
分野
事業代表: 岡田教授
（九州大学）
研究分野
教育分野
事業代表: 棟朝教授
（北海道大学）
事業代表: 梶田教授
（京都大学）
Harvard-MIT Datacenter
事業代表:
森原特任教授
（大阪大学）
大学経営・システムアーキテクチャ分野
事業代表: 安浦理事 （九州大学）
コミュニティ連携
全国共同利用
情報基盤センター長会議
クラウドコンピューティング
研究会
事務局
久志事務局長
（九州大学）
クラウド部会
梶田主査（京都大学）
棟朝主査（北海道大学）
委託調査ﾀｽｸﾌｫｰｽ
岡田主査（九州大学）
各システム研究チームの
事業代表者・研究者
CIO部会
安浦会長
（九州大学）
facebook 本社にて
(キックオフミーティング 九大：岡田教授資料より）
13
研究支援に係るアカデミッククラウドの調査
• 科学研究費補助金を取得している研究者全員にアンケートを実施
→ 全体の 約 1/30 の課題代表者から回答
• データ総量：7.5 PB（回答合計）× 30 = 230 PB（推定値）
• 要求資源量：105,718コア（回答合計）× 30 = 300万コア（推定値）
• 要求ストレージ：118.8 PB（回答合計）× 30 = 3.5 EB（推定値）
• 全体として、大量のデータやファイルの取り扱いやバックアップに困難をき
たしており、ビッグデータ処理のためのインフラが決定的に不足している。
また、クラウド利用にあたって、技術面以外での不安が大きい。
14
アカデミッククラウド（研究支援）要求仕様案
• 必要とされる資源量：エクサバイト超級のストレージ、100万コア規模のビッグデータ処理
インフラ、100Gbps超のネットワーク
• スケーラブルなストレージと大規模並列データ処理システムが密に接続され、ビッグデータ
の連携処理が容易であること。さらに、スパコン等の大規模計算システムとも密に連携でき
ることが望ましい。
• 効率化のための資源の集約と、リスク・災害対応のための分散化、のバランスをとった地域
拠点型の配置を基本として、100Gbps超の高速ネットワークで相互接続されていること。
• 運用体制については、既存組織の体制を活用して運用の継続性を担保しつつ整備し、研究支
援体制なども含めた総合的な全国共同利用サービスとして提供すること。また、認証、セキ
ュリティなど管理面では統一的な仕様やポリシーを整備し、準拠すること。
• インフラを整備するだけではなく、それを最大限活用するためのプラットフォームやアプリ
ケーションを開発し、サービス（PaaS / SaaS）として提供するための研究開発を支援する
体制を有すること。さらに、民間や国際的な連携を含めた研究者の人的交流を促進する体制
を有することが望ましい。
棟朝雅晴：アカデミッククラウド委託調査最終報告会（2/13）スライドより
15
アカデミックインタークラウドの実現
• プライベートクラウドと、拠点大学のクラウドシステムや商用クラウドなどと
の連携・ハイブリッド化で、スケーラビリティ、規模の経済を確保するととも
に、それぞれの大学・研究所の特色や資源を生かしたシステム構築、研究開
発を推進する基盤を整備
（例）スパコン、実験機器、観測機器、センサー、データ、人材, etc.
• アカデミッククラウド連携により、
「インタークラウドシステム」の
インフラを全国レベルで実現し、
計算・情報科学の裾野を広げる
• 研究者の交流・共同研究の推進
関連分野の人材育成・教育の高度化
→ クラウドをその起爆剤とする
16
日本国内における「計算資源」の階層構造
National Leadership System
(The next “K” : 1 Exa Flops in 2018)
“HPCI”
systems
主要な大学センターや
研究機関のスパコン
(1∼100 Peta Flops in 2018)
その他研究室や
組織等のスパコ
ン、クラスタ
インタークラウド（Inter-Cloud）
• インターネット（Inter-net）がネットワークを相互接続することで世界規模の
インフラを構築したように、クラウドシステムが相互接続、連携することで
世界規模のインフラとしてのインタークラウド（Inter-Cloud）を実現
Cloud A
• 相互運用性（Inter-Operability）
Cloud B
IaaS
が重要な条件となる：APIの
VM
運用モデルの確立など、
運用システムとしての実現に
あたっては課題も多い
技術に加え、資源割当ポリシー、
IaaS
VM
共通化、認証連携などの要素
Cloud C
VM
IaaS
Internet
VPC 2
VPC 1
User
18
インタークラウド関連技術の開発
!
Heterogeneous !
!
Contr
oller
MapReduce/MPI
!
棟朝雅晴「分散クラウドシステムにおける遠隔連携技術」学際大規模情報基盤共同利用・共同研究拠点（JHPCN）H23∼25 共同研究採択課題
19
スパコン・インタークラウド連携による設計探査
• 全国規模の大規模分散設計探査
フレームワークの実現
• シミュレーション（スパコン）
Simulation,
(Supercomputer)
Distributed,
Database
と多目的最適化（クラウド）
を分散データベースで連携
Optimization)&,
DB)management,
(Cloud)system)
Visualization
• パレート最適解の
データベースを構築
Automated,
replication,
for)DR)and,
load)balancing
（有望な設計パラメータ）
→ 可視化、最適設計
(www.jaxa.jp)
Solutions)DB,
(distributed)
棟朝雅晴「スパコンとインタークラウドの連携による大規模分散設計探査フレームワークの構築」JHPCN H26 共同研究応募課題
20
アカデミックインタークラウド基盤の実現とその目的
• スパコンも含めたすべての情報資源、デバイス、データ等
を、インタークラウドの「エコシステム」として統合する
• 規模の経済による効率化と、オンデマンドサービスによる
研究開発プロセスのスピードアップ、研究者の交流促進
• 計算に加え（ビッグ）データの集約・処理・活用が本質的
• 「ネットワーク効果」による「予想外の組み合わせ」を促
し、イノベーション、進化を加速
まとめ：Academic Cloud + Big Data = Innovations
• 全国規模のアカデミッククラウド連携により、ありとあらゆるデータ、
コンテンツ、リソースなどを統一的な枠組みで利用できるようにする
→ これまでのホスティングを主としたクラウド基盤からの転換・発展
→ ネットワーク効果、規模の経済による研究開発の効率化
• データやリソースなど予想外の「組み合わせ」をうながす環境を整備
→ 新たな研究分野の開拓を支援するイノベーションの基盤として整備
• 基本的な技術は落ち着きつつあり、基盤となるソフトウェアも整備され
つつあるので、どれだけ徹底的かつ早く「やるのか」が重要
→ CloudStack を活用して、学術研究基盤のクラウド化を加速！