Performance Evaluation of All-to-all Communication on PC Cluster Systems with Multi-Stage InfiniBand Networks

本稿では、Fat-tree InfiniBand(IB)ネットワーク上で全対全通信時のHot-spot発 生頻度を削減するルーティング手法を提案 · 評価する。Fat-tree IB ネットワークで は適切に使用ノードを選択しないと Hot-spot 発生により実効通信バンド幅が低下す る。提案手法は、各計算ノードに複数の LID(Local Identifier) を割当てる手法の一 種であり、具体的には全対全通信でよく用いられるシフト通信パターンに着目し、計 算ノード毎に適切な LIDを一つ選択 ·使用することで Hot-spot発生頻度を削減する 手法である。提案手法を OpenMPIに組込み、全対全通信性能を評価する。30 台の 計算ノードを 6-ary-2-tree構成の Fat-tree IBネットワークに接続した PCクラスタ システム上にて、任意 16 ノードによる全対全通信性能は従来手法と比較して平均で 34%向上することを確認している。