OpenAIのAstraでHPCプログラムを高速化する 第7回

ICON 全球予報のGPU性能評価

ドイツ気象局の解析値を出発点に、同じ全球予報をCPUと1・2・4枚のA100で計算した。表の実時間はMPI起動から計算終了まで。格子・初期値の読み込み、モデルの準備、時間積分、NetCDFへの出力を含む。複数試行がある場合は中央値を使った。

全球6時間予報

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32物理コア271.74秒CPU独自改良なし—
CPU 64物理コア142.00秒CPU独自改良なし—
A100 GPU 1枚232.64秒209.46秒1.111倍
A100 GPU 2枚97.12秒91.21秒1.065倍
A100 GPU 4枚47.57秒46.85秒1.015倍
GPU構成GPU化の効果(公開CPU÷公開GPU)総合倍率(CPU比)
A100 GPU 1枚0.61倍0.68倍
A100 GPU 2枚1.46倍1.56倍
A100 GPU 4枚2.99倍3.03倍

全球1時間予報

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32物理コア62.77秒CPU独自改良なし—
CPU 64物理コア39.45秒CPU独自改良なし—
A100 GPU 1枚116.78秒111.77秒1.045倍
A100 GPU 2枚45.14秒44.28秒1.019倍
A100 GPU 4枚27.86秒27.82秒1.001倍
GPU構成GPU化の効果(公開CPU÷公開GPU)総合倍率(CPU比)
A100 GPU 1枚0.34倍0.35倍
A100 GPU 2枚0.87倍0.89倍
A100 GPU 4枚1.42倍1.42倍

計測条件と個々の実時間

全球約40 km、327,680セル、鉛直90層。初期時刻は2024年2月7日00 UTC。時間刻み360秒。1時間は10ステップ、6時間は60ステップ。公表された全球設定では海面の暖水層の処理がGPUで使えないため、CPU・GPUともに無効にした。

演算の作業精度は倍精度。CPUはecRadのMcICA、GPUは開発元のOpenACC対応McICAを使用した。開発元とAstraの比較では同じGPU用物理過程と同じ時刻を使った。地表気圧、地上2 m気温、10 mの東西・南北風、積算降水量の5変数を同じ格子に単精度で出力した。

Intel Xeon Gold 6430を2基、1基32物理コア、OSが認識するハードウェアスレッドは1物理コアにつき1本。GPUはNVIDIA A100 PCIe 80 GBを最大4枚使用した。NVHPC 26.1、Open MPI 4.1.9a1、CUDA 13.1。GPUを共有する構成では1 GPUあたりのMPIランク数、CPUスレッド数、ブロック幅を両版でそろえた。 CPUはコアごとにMPIランクを1個置き、公式入力のブロック幅16を使用。

表のGPU化の効果は、同じ予報期間で速かった公開CPU構成を分子、公開GPU版を分母にして求めた。開発元のMPI通信方式、Linuxのメモリ設定、NVIDIA MPSの効果は公開版の条件に含めた。

計算時間の内訳にある「予報計算部」はICONの内部タイマー total のMPIランク最大値。再現記録には、実時間の比較に使った各試行名と実行設定を保存した。

予報構成版完走数個別の実時間(秒)予報計算部の中央値(秒)格子点ブロック/放射ブロック実行設定
全球6時間予報CPU 32物理コア公開版3271.10 / 271.74 / 272.12252.99nproma=16 / 16標準
全球6時間予報CPU 64物理コア公開版3141.93 / 142.50 / 142.00123.56nproma=16 / 16標準
全球6時間予報A100 GPU 1枚公開版3234.35 / 232.64 / 232.14105.84nproma=32768 / 512OMP_NUM_THREADS=8 GLIBC_TUNABLES=glibc.malloc.hugetlb=1
全球6時間予報A100 GPU 1枚Astra3209.46 / 209.03 / 209.8196.20nproma=32768 / 512OMP_NUM_THREADS=8 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1
全球6時間予報A100 GPU 2枚公開版397.50 / 97.12 / 96.0553.57nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球6時間予報A100 GPU 2枚Astra392.15 / 91.21 / 90.6551.34nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球6時間予報A100 GPU 4枚公開版348.13 / 47.48 / 47.5724.11nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球6時間予報A100 GPU 4枚Astra346.57 / 47.36 / 46.8523.47nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報CPU 32物理コア公開版362.92 / 62.77 / 62.0643.65nproma=16 / 16標準
全球1時間予報CPU 64物理コア公開版339.73 / 39.45 / 38.5221.24nproma=16 / 16標準
全球1時間予報A100 GPU 1枚公開版3116.19 / 118.56 / 116.7844.53nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 1枚Astra3108.43 / 112.32 / 111.7743.76nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 2枚公開版345.07 / 45.90 / 45.1415.11nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 2枚Astra344.78 / 44.28 / 44.0514.84nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 4枚公開版327.98 / 27.86 / 27.754.28nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 4枚Astra327.71 / 27.92 / 27.824.16nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1

予報値の照合

最終出力の全セルを比較した。RMSEは格子点での二乗平均平方根誤差。複数の組み合わせがある欄は最大値を示す。

比較出力変数単位公開版同士のRMSE改良版対公開版のRMSE改良版対公開版の最大絶対差
six1pres_sfcPa3.931654.00407264.203
six1t_2mK0.03510640.03648412.24063
six1u_10mm s-10.05630080.0576263.12846
six1v_10mm s-10.05056240.05300082.98714
six1tot_preckg m-20.112880.1154617.68943
six2pres_sfcPa3.94994.11545263.656
six2t_2mK0.03568630.03610892.33206
six2u_10mm s-10.05543090.05855452.72363
six2v_10mm s-10.05067830.05356883.77523
six2tot_preckg m-20.1104760.1139367.44329
six4pres_sfcPa3.971823.94896251.367
six4t_2mK0.03655240.03538152.18561
six4u_10mm s-10.05659120.05681832.25251
six4v_10mm s-10.05184060.05186962.63851
six4tot_preckg m-20.1135110.1162386.47608
one1pres_sfcPa0.1807390.19149249.9453
one1t_2mK0.001041940.001103730.251007
one1u_10mm s-10.001366520.00170390.275077
one1v_10mm s-10.001081390.001176980.193647
one1tot_preckg m-20.002899970.003383771.33829
one2pres_sfcPa0.1960870.19989244.9844
one2t_2mK0.001236640.001220460.253601
one2u_10mm s-10.001628860.001507790.336154
one2v_10mm s-10.00153390.001564370.381158
one2tot_preckg m-20.003466210.003867681.33798
one4pres_sfcPa0.2599580.23522648.2734
one4t_2mK0.00114420.001074920.254395
one4u_10mm s-10.002098670.001812770.520408
one4v_10mm s-10.001957720.001414440.309943
one4tot_preckg m-20.004385120.003660671.44709

追加の格子ブロック幅試験

全球1時間予報・GPU 4枚で、一度に処理する格子点数を8,192から16,384へ増やした。主要比較の条件を決めた後に行った追加試験で、以下は完走して予報出力を検査できた試行の個別実時間。

版完走・検査済み試行数実時間(秒)
開発元の公開版230.45 / 29.20
Astra改良版129.20

10時の締め切りで中断した追加試行は late-astra4-large-b。上記の秒数は完走分のみ。

予備試験で除外した例

構成・試行記録採用条件に達しなかった理由
全球1時間・4 GPU直接通信934.05秒・終了コード0地表気圧に非数値があり、比較対象から除外
全球1時間・4 GPU・MPS・ブロック幅8192の予備試験CUDAエラー719放射計算で中断。同じ設定を再実行し、完走と出力を確認してから比較
ドイツ域2 kmの補足試験・1 GPUGPUメモリ不足完走していないため全球表には含めず
全球6時間・64コアCPUの初回226.45秒初期化中にビルドが同じCPUを使用。出力照合にのみ使用し、性能は単独実行で再測定

再現用の記録

入力はドイツ気象局の2024年2月7日00 UTCの解析値。ICON公開版は2026.10(7de853356c97)。公開設定の詳細はICON公式文書に掲載されている。試行別の秒数・構成・実行設定(JSON)