1. No category

GPUクラスタ上での実アプリケーションに対する
テンポラルブロッキングの実装と性能評価
高嵜 祐樹　遠藤 敏夫　松岡 聡
(東京工業大学)
目的と提案手法
目的：ステンシル計算における高性能＋大容量＋低プログラミングコストの実現
提案手法：局所性向上アルゴリズム(テンポラルブロッキング)＋メモリスワップ対応ランタイム(HHRT)
ステンシル計算
ステンシル計算(気流計算)
都市気流シミュレーション 小野寺直幸、青木尊之ら(東京工業大学)
Common
問題意識
ホスト⇒デバイス
シミュレーションの要求 •  高精度で、大規模な計算 •  大容量のメモリ
TB (+ Opt)
Naｉve
時間ループ (外) Nt/k回
時間ループ 部分領域ループ
部分領域ループ
ホスト⇒デバイス
ホスト⇒デバイス
時間ループ
GPUの問題点 •  デバイスメモリの容量による制限 •  PCIe通信が性能低下の原因(Naive) 各点計算 時間ループ (内) k回
デバイス⇒ホスト
各点計算 (冗長計算含む) 各点計算 境界をMPI通信
1GPU上での簡単なステンシル計算の性能
高プログラミングコスト
140 120 Speed (GFlops)
東京都心部(10km四方)
100 TB + 最適化
80 60 TB
40 20 0 0 10 低性能
境界をMPI通信
デバイス⇒ホスト
Common 20 30 Problem Size (GB)
Naïve TB 40 50 TB-­‐Opt 境界をMPI通信
デバイス⇒ホスト
※TB(Temporal Blocking)
HHRT(Hybrid Hierarchiccal Runtime)
•  変更は、main関数、MPI関数、CUDA関数を
HH()で囲うのみ •  MPIプロセスが１つのGPUを共有する •  メモリスワップ機構 •  デバイスメモリ容量を超えるデータの利用が
ほぼ透過的に可能
HHRTの実行モデル
通常のMPI+CUDA実行モデル
計算ノード
デバイスメモリ
デバイスメモリ
計算ノード
デバイスメモリ
TBS is not limited by the size of sub-
性能評価
cudaMemcpy
MPIプロセス
MPI通信
ホストメモリ
ホストメモリ
・HHRTにより、デバイスメモリを超えるデータを扱えるこ
評価環境
最適なTB Size
最大5.1〜8.7倍
A single GPU
評価対象
・program:元プログラム ・hhrt:HHRTライブラリのみ適用 ・hhrt_tb:HHRT+TBを適用 ・hhrt_tb_x:hhrt_tbの通信を１
つにまとめたプロトタイププログ
ラム
3
2
1
1GPUに同時に共有できる
プロセス数
ホストメモリ
考察
デバイスメモリの容量
・使用プログラム ・都市気流シミュレーション ・実行マシン ・TSUBAME2.5(Tesla K20X) ・プログラミング環境 ・gcc4.3.4 ・CUDA5.5 ・OpenMPI1.6.3
MPIプロセス
MPI通信
Weak Scalability
6 5 4
3
2
1
hhrt_x
hhrt_x
11.2GB(8Process)
11.2GB(16Process)
まとめと今後の課題
成果 •  実アプリケーションで、デバイスメモリを超えるデータを扱えることを確
認した •  TB+HHRTは、高性能+大容量+低プログラミングコストを実現する有効な
手法であることを確認した とを確認 ・TBでによるPCIe通信回数の削減で、性能向上を確認 ・斜めのMPI通信を逐次通信で実現するアプリケーショ
ンでは、MPI通信をまとめる必要がある ・ウィークスケーリングしていることを確認 ・ノード内プロセスをTB Sizeでについて8と16で比べると、 ・8プロセスの場合、Size11で最適となり、Size 12以
降で、GPU内に1プロセスしか共有できず、PCI通信が
隠蔽できないために性能低下していると考えられる ・16プロセスの場合は、Size15で最適となり、Size16
以降で、GPU内を2プロセスで共有しているが、性能低
下している(要件証) ・通信量の削減率よりも、冗長領域の増加による、
スワップ時のPCIe通信コストの増加が性能低下の要因
も考えられる ・本アプリのような３次元配列を多く必要とする場合、
冗長領域がメモリ容量を圧迫しするため、省メモリ化が
必要であると考えられる 今後の課題
•  斜めの通信を持つプログラムに対して、MPI通信を一つにまとめ
る最適化手法の提案
•  多くのメモリを使うアプリでは、1GPU内に複数のMPIプロセスが
共有し、かつ、TBサイズの増加を実現する省メモリ手法の提案
謝辞：本研究の一部はJST-­‐CREST「ポストペタスケール時代のメモリ階層の深化に対応するソフトウェア技術」の支援による