CPUで5分半の地震波計算。公開GPU版で16秒、Astraで11秒へ|OpenAIのAstraでHPC高速化・第3回

SPECFEM3Dで同じ地震波を計算し、CPU 64コアの329.49秒から公開GPU版で16.09秒、Astra改良版で10.96秒へ。均質な地盤と二層地盤で、係数を表にまとめる工夫がどこまで使えたかを実測しました。

Share
地震波計算をCPUの5分半からGPU 4枚で11秒へ

震源から出た波が地盤を伝わり、6地点の揺れがファイルに残るまで、CPU 64コアで329.49秒。約5分半だ。同じ地盤を、SPECFEM3Dの開発元が提供しているGPU版で解くと、A100を4枚使って16.09秒だった。ここまででCPUの20.47倍の速さになる。

そこから、同じ4枚のままAstraとコードを改良し、10.96秒まで縮めた。公開GPU版からさらに1.47倍、CPUから通して見ると30.07倍だ。初期の改良は公開GPU比1.19倍で、一度は限界に近いかと思った。突破口の一つは、GPUが繰り返し読み出す係数を数え直したことだった。

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32コア483.87秒未測定—
CPU 64コア329.49秒未測定—
GPU 1枚54.09秒35.44秒1.53倍
GPU 2枚28.49秒19.17秒1.49倍
GPU 4枚16.09秒10.96秒1.47倍
CPU 32コアでも同じ計算を実行した。32コアは483.87秒、64コアは329.49秒で、速かった64コアを基準にした。準備済みメッシュを使い、ソルバーの起動から波形出力と終了までを計測。CPUは各2回の中央値。GPUも試行の中央値で比較した。 GPU 1・2枚は各2回、4枚は各3回。GPUはNVIDIA A100 PCIe 80 GB。CPU改良版の性能は今回未測定。
震源の4 km上を通る水平断面。青と橙は鉛直速度の向き、十字は震源の水平位置。可視化用の別実行(32³要素)で得た2,401点の記録。
震源の4 km上を通る水平断面。青と橙は鉛直速度の向き、十字は震源の水平位置。可視化用の別実行(32³要素)で得た2,401点の記録。
YouTubeで見る(日本語音声・字幕)

なぜ、均質な地盤で試すのか

使ったのはオープンソースの地震波シミュレーター、SPECFEM3Dだ。まず、密度も波の速さもどこで測っても同じ、仮想の地盤を用意した。実際の地下には異なる岩石や堆積物が重なり、その境目で波の一部が反射する。均質な地盤なら、震源から受け取る波形を理論式で別に求められる。プログラムを速くした結果、波が早く着きすぎたり、振幅が変わったりしていないかを、その波形と照合できる。

この一辺32 kmの立方体を、縦・横・高さの各方向に64分割した。64×64×64で262,144要素になる。中央の震源で揺れが生まれると、周囲の地盤が変形し、それを押し戻す力が隣へ伝わる。このモデルでP波の速度は秒速2,800 m、S波は秒速1,500 m。少し離れた観測点では、揺れの向きも到着時刻も違ってくる。

1ミリ秒ずつ14,000ステップ進め、6地点で東西・南北・上下の変位を保存する。公開版も改良版も、用意済みの同じメッシュを使う。時計はMPIプロセスの起動直前にスタートし、観測記録を書き終え、ソルバーが終了したところで止めた。

約1,280万個の係数を数え直した

最初の改良版をNsight Systemsで見ると、GPU 4枚のうちランク0では、1ステップ当たり、弾性力の計算に約422マイクロ秒、次の時刻の動きへの更新に約211マイクロ秒を使っていた。後者では、格子点にかかった力に「質量の逆数」を掛ける。力が同じなら、軽いものほど大きく加速する。今回の均質な地盤と規則的な格子では、GPU 1枚が使う約1,280万個の係数を調べると、値は29種類だった。

そこで、29種類の値を小さな表にまとめた。各格子点には1バイトの番号を持たせ、その番号で表から元の係数を取り出す。単精度で保存した値が完全に一致する場合だけ、同じ番号を割り当てる。

地層が変わっても、この表は使えるだろうか。密度が2,300 kg/m³と2,000 kg/m³で、波の速さも異なる二つの地層を水平に重ねて調べた。係数は4枚のGPUのそれぞれで73種類に収まり、表を使えた。ただし、実際の地形に沿って要素の形を変えたり、密度を地点ごとに与えたりすると、隣の点でも係数は少しずつ違いうる。今回の実装では、あるGPUの担当範囲で256種類を超えると、そのGPUは元の配列から係数を読み出す。実在地域の地盤モデルで何種類になるか、この工夫で何秒縮むかは未測定だ。

さらに地盤内部では、半ステップ前の運動量を次の計算に引き継ぎ、配列を読み書きする回数を減らした。吸収境界や診断出力に必要な箇所では通常の更新を使う。

効果を確かめるため、中規模モデルをA100 1枚で走らせ、同じ第4,150ステップをNsight Computeで測った。変更を重ねた後の更新処理は100.13マイクロ秒から64.35マイクロ秒へ。弾性力の計算も272.83から252.42マイクロ秒になった。一方、よく使う配列をGPUのL2キャッシュに優先して残す試作は遅くなり、採用を見送った。

公開GPU版から、あと5秒を縮める

4枚では公開版16.09秒、初期改良版13.64秒、最終版10.96秒。3つの版を順番を変えて各3回実行した中央値だ。9時時点の1.19倍はその時点の測定値で、上の3つの秒数は最終評価でそろえて測り直した値を使った。実行時間には、震源や観測点を探す準備、GPU初期化、通信、波形の保存も含まれる。

公開GPU版からの改良幅はA100 1枚でも1.53倍だった。格子点の読み書きを減らした効果は、GPU同士の通信が発生しない条件でも現れた。

計算しなかった場所の揺れも当たるか

もう一つ、実地震では条件が限られるが、このモデルで試す価値のある手があった。地盤が平坦で材質が一様、震源は中央にあり、その向きも決まっている。東西と南北に折り返すと、揺れのどの成分の符号が変わるかが分かる。対称面に合う境界条件を設け、震源の強さを4分の1にして、地盤の一象限だけを解いた。

要素の大きさも時間刻みも同じで、解く要素数は65,536個になる。実測は5.14秒。全領域の公開版16.09秒と比べて3.13倍だ。対称境界だけを追加した公開版も同じ一象限なら7.42秒で、両方を一象限にそろえたときの実装差は1.44倍だった。

計算を省いた側の観測点B1の鉛直変位。全領域の公開GPU版に、4分の1領域の計算から復元した波形を重ねた。振幅はこの観測点の参照波形の最大値で規格化。
計算を省いた側の観測点B1の鉛直変位。全領域の公開GPU版に、4分の1領域の計算から復元した波形を重ねた。振幅はこの観測点の参照波形の最大値で規格化。

全領域の4象限に24個の観測点を配置し、各点の3成分、計72波形を比較した。全領域の公開GPU版に対する復元波形の相対L2誤差は0.052〜0.066%。地下構造や震源にこの対称性がなければ、4分の1領域の実験で得た倍率は持ち込めない。そこで、性質の違う地層を水平に二つ重ねた、別の規模のモデルでも全領域を解いた。A100 4枚の公開版で5.22秒、改良版で3.87秒、1.35倍だった。この1.35倍には他の改良の効果も含まれる。係数を表にした工夫だけで何秒縮んだかは、この比較からは分からない。この二層地盤に33の震源を非対称に置いた試験では、A100 1枚で1.27倍だった。特定の地域の地下構造を入れたときの速度や、実際の観測記録との一致は、今回の試験には含まれていない。

波形の精度は、変位と加速度で違った

主評価の変位は、6地点×3成分×14,000時刻の252,000サンプルで確かめた。波形全体の差を参照波形の大きさで割った相対L2誤差は、最終版でCPU版に対して0.0324〜0.0344%、解析解に対して0.0920〜0.1018%。同じ条件で測った公開GPU版のCPU版に対する差は0.0308〜0.0514%だった。

一方、変位・速度・加速度をすべて保存する別の中規模試験では、全周波数を含む加速度のCPU版との差は公開GPU版で45.0%、改良版で42.6%だった。公開GPU版と改良版の間でも27.7%の差があり、2 Hz以下だけを比較すると0.064%に下がった。加速度の鋭いピークを使う解析には、別途検証が要る。

「1.19倍が限界か」という問いに、この地盤の変位計算については答えが出た。1回の更新で読み出す約1,280万個の係数を数え直す。最後は、元と同じ地盤を解き、同じ観測点に同じタイミングで揺れが届くかを確かめる。その往復で、同じ4枚の待ち時間を16.09秒から10.96秒まで縮められた。


SPECFEM3Dの公開ベンチマークと解析解

第2回 CalculiXで穴のあいた鋼板を解析する

Read more