短縮はGPU 1枚で約23秒、4枚で0.72秒。OpenAIのAstraは天気予報モデルICONのどこを速くしたのか|OpenAIのAstraでHPCプログラムを高速化する 第7回

北大西洋の雨の帯を追いながら、ICONの全球6時間予報をCPUとA100で比較。公開版からAstraが縮めた時間はGPU 1枚で23.18秒、4枚で0.72秒だった。

Share
ICONが計算した北大西洋の風と雨。GPU 4枚で0.72秒を短縮。

バミューダの南東に、強い雨が細長い帯をつくっている。下の15秒の映像は、天気予報モデルICONが計算した北大西洋の6時間だ。出発点は2024年2月7日午前9時(日本時間)の大気。地球全体を計算し、その海域を拡大した。手元のサーバーで公開CPU版は64物理コアで142.00秒。公開GPU版はA100を4枚使って47.57秒だった。ここから、予報の格子も計算精度も変えずに何秒を縮められるだろうか。

北大西洋の6時間予報を15秒で再生。バミューダの南東で、黄やオレンジの強い降水が細長く連なる。色は各1時間に降った量。白い線は高度10 mの風で動く目印で、毎時の東西風・南北風を補間して描いた。2024年2月7日00〜06 UTC、公開4 GPU版。
YouTubeで本編を見る(日本語音声・字幕付き)

なぜ有名なWRFを選ばなかったのか

気象モデルの高速化と聞いて、まずWRFを思い浮かべた方もいるだろう。米国立大気研究センター(NCAR)が集計した2022年のWRFの新規登録は3,444件、関連論文は1,182本に上る。 NCARによるWRF利用状況の集計

今回、知りたかったのは「すでに毎日の天気予報に使われているGPUコードを、Astraはさらに何秒速くできるか」だ。スイスの気象当局MeteoSwissには、33時間先の予報を50分以内に計算するという締め切りがある。開発チームはICONを改良し、予報の一つのシナリオをA100 GPU 8枚で2,642秒、約44分で計算できたと報告している。そのGPU実装はICON本体に取り込まれており、性能試験の設定と入力データも公開されている。実運用で鍛えられた開発元のコードを手元で動かし、そこからさらに縮めた時間を測れる。これが今回ICONを選んだ理由だ。 MeteoSwissほかの査読論文(6.4節・コードとデータの公開範囲)

今回測ったのは、ドイツ気象局のデータを使う全球約40 km格子の1時間予報と6時間予報だ。スイスの2,642秒は現場で何が求められているかを示す数字で、今回の倍率の分母には、同じサーバーで私たちが測った公開版の秒数を使う。 ICON開発元による全球予報ケースの説明

モデルはどこに雨を予報したか

大気を水平方向に327,680個のセル、鉛直方向に90層に分け、風や温度、水蒸気などを6分刻みで進めた。下の図は、予報開始から雨や雪として地表に落ちた水の量を、1時間ごとに足し上げた計算結果だ。北太平洋や北大西洋に、帯状の降水域が現れる。

ICONが計算した全球の積算降水量。予報開始から6時間先までを1時間刻みで表示する。
2024年2月7日00 UTC開始。公開4 GPU版の出力を使用。1 kg/m²は水に換算して1 mm。

同じ6時間予報を、起動から書き出しまで測る

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32物理コア271.74秒CPU独自改良なし—
CPU 64物理コア142.00秒CPU独自改良なし—
A100 GPU 1枚232.64秒209.46秒1.111倍
A100 GPU 2枚97.12秒91.21秒1.065倍
A100 GPU 4枚47.57秒46.85秒1.015倍

各構成・各版を3回ずつ実行した。秒数は、MPI起動から結果の書き出し完了までの中央値。

公開版だけで比べると、4 GPUはCPUの2.99倍。Astraが同じ4 GPU構成で加えた短縮は0.72秒で、1.015倍だった。CPUから改良4 GPU版まで通した倍率はCPU比3.03倍になる。

1枚の公開GPU版では、232.64秒かかる。CPU 64物理コアの142.00秒を初めて下回ったのは2枚で、97.12秒だった。

構成GPU化の効果(公開CPU÷公開GPU)総合倍率(CPU比)
A100 GPU 1枚0.61倍0.68倍
A100 GPU 2枚1.46倍1.56倍
A100 GPU 4枚2.99倍3.03倍

Astraによる上積みが最も大きかったのはGPU 1枚だった。公開版232.64秒から改良版209.46秒へ、同じ予報で23.18秒を短縮した。

4枚の実時間は、公開版の3試行が47.48〜48.13秒、改良版の3試行が46.57〜47.36秒だった。倍率はそれぞれの中央値から求めた。

風を計算する前に、何を待っていたか

1枚のGPUで短い予報を走らせ、NVIDIA Nsight Systemsで処理を追った。GPUでは太陽光と赤外線が雲や大気を通るときの放射計算に時間を使っていた。一方、実際の全球予報を処理段階ごとに測ると、最初の時間ステップに入るまでにも待ち時間があった。初期データの高度と、予報モデルが使う層の高さが異なるため、風や温度をモデルの高さに合わせ直す必要がある。

この鉛直補間は公開GPU版でもCPUで動く。Astra版では、互いに独立した格子のまとまりを複数のCPUコアに割り振った。GPU側では、短波放射の細かい計算点をどの波長帯に合計するかを先に整理し、各地点で同じ対応表を走査する回数を減らした。大気運動の計算でも、上下に依存する処理の順番を保ちながら、別々の気柱を並列に進めた。表の上積みはこれらを組み合わせた実測値だ。

ICONの内部タイマーで予報計算部を見ると、1枚では公開版105.84秒から改良版96.20秒に短くなった。4枚では24.11秒から23.47秒だった。4枚の公開版は、すでに分担によってこの区間を1枚の約4.4分の1で終えていた。格子の分け方やMPI構成も異なるため、秒数の差を単独の変更だけに帰することはできない。

4枚でAstraの上積みが小さいのは、公開版の出発点がすでに高いことと整合する。スイスの開発チームは、放射や大気力学のGPU計算を段階的に改良し、同チームの地域予報ベンチマークを125.6秒から95.8秒に短縮していた。そこで得た改良が公開版に入っている。今回の全球予報では1枚にまだ短縮の余地があり、この測定が示す範囲は、この入力・機材・GPU枚数での結果までだ。 開発チームの性能評価(6.2節)

4枚挿せば、4枚とも速く使えるのか

最初に試したGPU間の直接通信では、プログラムが正常終了を返したにもかかわらず、地表気圧に非数値が混じっていた。この試行は表から外した。CPUメモリを経由する開発元の通信方式を使い、各プロセスを担当GPUに近いCPUに割り当てた。複数のプロセスが同じGPUを使う構成では、NVIDIA MPSも使った。これらの設定は公開版にも適用している。

予報期間を1時間にしたとき

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32物理コア62.77秒CPU独自改良なし—
CPU 64物理コア39.45秒CPU独自改良なし—
A100 GPU 1枚116.78秒111.77秒1.045倍
A100 GPU 2枚45.14秒44.28秒1.019倍
A100 GPU 4枚27.86秒27.82秒1.001倍
構成GPU化の効果(公開CPU÷公開GPU)総合倍率(CPU比)
A100 GPU 1枚0.34倍0.35倍
A100 GPU 2枚0.87倍0.89倍
A100 GPU 4枚1.42倍1.42倍

1時間予報の4枚では中央値の差は0.04秒だった。個別の実時間は公開版27.75〜27.98秒、改良版27.71〜27.92秒で、測定値の範囲が重なる。

入力を読み、格子や配列を準備する作業は、1時間予報にも6時間予報にも必要だ。短い予報で有利だった構成が長い予報にも有利かを確かめるため、GPUごとのMPIプロセス数や、一度に処理する格子点数を予備試験で調整した。同じ表の公開版と改良版では条件をそろえている。どちらの予報期間でも、改良版には鉛直補間とGPU側の改良を組み合わせた。

計算結果はどこまでそろったか

地表気圧、地上2 mの気温、10 mの東西・南北の風、積算降水量を、全格子点、全出力時刻で検査した。公開GPU版を同じ構成で繰り返しても、最終時刻の格子点の値には差が出た。そこで公開版同士の差と、公開版・改良版間の差を、気圧はPa、風はm/s、降水はmmで比較した。

公開版とAstra改良版の北大西洋の6時間積算降水量とその差。強い雨の帯は似た位置にあり、格子ごとの降水量にはばらつきがある。
同じ4 GPUで走らせた各版の最初の1試行を並べた。左と中央は同じ色尺度。右は差だけを拡大し、改良版が多く予報したセルを暖色、少なく予報したセルを青で示す。

6時間先の4 GPUの積算降水量では、全格子点のRMSEは公開版同士で最大0.114 mm、公開版と改良版で最大0.116 mmだった。後者の局地的な最大差は6.48 mmに達した。観測値を使った予報精度の評価は今回の範囲に含めていない。

CPUはXeon Gold 6430を2基、GPUはA100 PCIe 80 GB。作業精度は倍精度、NetCDF出力は単精度。CPUとGPUはそれぞれ開発元のMcICA放射ソルバーとそのOpenACC実装を使った。海面の暖水層を扱うオプションはGPU未対応のため両版で無効にした。成功した試行の実時間の中央値を掲載している。全試行の秒数・計測条件・予報値の照合

前回 AthenaKで衝撃波を追う

計測記録

ドイツ気象局の解析値を出発点に、同じ全球予報をCPUと1・2・4枚のA100で計算した。表の実時間はMPI起動から計算終了まで。格子・初期値の読み込み、モデルの準備、時間積分、NetCDFへの出力を含む。複数試行がある場合は中央値を使った。

全球6時間予報

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32物理コア271.74秒CPU独自改良なし—
CPU 64物理コア142.00秒CPU独自改良なし—
A100 GPU 1枚232.64秒209.46秒1.111倍
A100 GPU 2枚97.12秒91.21秒1.065倍
A100 GPU 4枚47.57秒46.85秒1.015倍
GPU構成GPU化の効果(公開CPU÷公開GPU)総合倍率(CPU比)
A100 GPU 1枚0.61倍0.68倍
A100 GPU 2枚1.46倍1.56倍
A100 GPU 4枚2.99倍3.03倍

全球1時間予報

実行構成開発元の公開版Astra改良版同じ構成での高速化倍率
CPU 32物理コア62.77秒CPU独自改良なし—
CPU 64物理コア39.45秒CPU独自改良なし—
A100 GPU 1枚116.78秒111.77秒1.045倍
A100 GPU 2枚45.14秒44.28秒1.019倍
A100 GPU 4枚27.86秒27.82秒1.001倍
GPU構成GPU化の効果(公開CPU÷公開GPU)総合倍率(CPU比)
A100 GPU 1枚0.34倍0.35倍
A100 GPU 2枚0.87倍0.89倍
A100 GPU 4枚1.42倍1.42倍

計測条件と個々の実時間

全球約40 km、327,680セル、鉛直90層。初期時刻は2024年2月7日00 UTC。時間刻み360秒。1時間は10ステップ、6時間は60ステップ。公表された全球設定では海面の暖水層の処理がGPUで使えないため、CPU・GPUともに無効にした。

演算の作業精度は倍精度。CPUはecRadのMcICA、GPUは開発元のOpenACC対応McICAを使用した。開発元とAstraの比較では同じGPU用物理過程と同じ時刻を使った。地表気圧、地上2 m気温、10 mの東西・南北風、積算降水量の5変数を同じ格子に単精度で出力した。

Intel Xeon Gold 6430を2基、1基32物理コア、OSが認識するハードウェアスレッドは1物理コアにつき1本。GPUはNVIDIA A100 PCIe 80 GBを最大4枚使用した。NVHPC 26.1、Open MPI 4.1.9a1、CUDA 13.1。GPUを共有する構成では1 GPUあたりのMPIランク数、CPUスレッド数、ブロック幅を両版でそろえた。 CPUはコアごとにMPIランクを1個置き、公式入力のブロック幅16を使用。

表のGPU化の効果は、同じ予報期間で速かった公開CPU構成を分子、公開GPU版を分母にして求めた。開発元のMPI通信方式、Linuxのメモリ設定、NVIDIA MPSの効果は公開版の条件に含めた。

計算時間の内訳にある「予報計算部」はICONの内部タイマー total のMPIランク最大値。再現記録には、実時間の比較に使った各試行名と実行設定を保存した。

予報構成版完走数個別の実時間(秒)予報計算部の中央値(秒)格子点ブロック/放射ブロック実行設定
全球6時間予報CPU 32物理コア公開版3271.10 / 271.74 / 272.12252.99nproma=16 / 16標準
全球6時間予報CPU 64物理コア公開版3141.93 / 142.50 / 142.00123.56nproma=16 / 16標準
全球6時間予報A100 GPU 1枚公開版3234.35 / 232.64 / 232.14105.84nproma=32768 / 512OMP_NUM_THREADS=8 GLIBC_TUNABLES=glibc.malloc.hugetlb=1
全球6時間予報A100 GPU 1枚Astra3209.46 / 209.03 / 209.8196.20nproma=32768 / 512OMP_NUM_THREADS=8 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1
全球6時間予報A100 GPU 2枚公開版397.50 / 97.12 / 96.0553.57nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球6時間予報A100 GPU 2枚Astra392.15 / 91.21 / 90.6551.34nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球6時間予報A100 GPU 4枚公開版348.13 / 47.48 / 47.5724.11nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球6時間予報A100 GPU 4枚Astra346.57 / 47.36 / 46.8523.47nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報CPU 32物理コア公開版362.92 / 62.77 / 62.0643.65nproma=16 / 16標準
全球1時間予報CPU 64物理コア公開版339.73 / 39.45 / 38.5221.24nproma=16 / 16標準
全球1時間予報A100 GPU 1枚公開版3116.19 / 118.56 / 116.7844.53nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 1枚Astra3108.43 / 112.32 / 111.7743.76nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 2枚公開版345.07 / 45.90 / 45.1415.11nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 2枚Astra344.78 / 44.28 / 44.0514.84nproma=2048 / 512GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 4枚公開版327.98 / 27.86 / 27.754.28nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1
全球1時間予報A100 GPU 4枚Astra327.71 / 27.92 / 27.824.16nproma=8192 / 1024GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1

予報値の照合

最終出力の全セルを比較した。RMSEは格子点での二乗平均平方根誤差。複数の組み合わせがある欄は最大値を示す。

比較出力変数単位公開版同士のRMSE改良版対公開版のRMSE改良版対公開版の最大絶対差
six1pres_sfcPa3.931654.00407264.203
six1t_2mK0.03510640.03648412.24063
six1u_10mm s-10.05630080.0576263.12846
six1v_10mm s-10.05056240.05300082.98714
six1tot_preckg m-20.112880.1154617.68943
six2pres_sfcPa3.94994.11545263.656
six2t_2mK0.03568630.03610892.33206
six2u_10mm s-10.05543090.05855452.72363
six2v_10mm s-10.05067830.05356883.77523
six2tot_preckg m-20.1104760.1139367.44329
six4pres_sfcPa3.971823.94896251.367
six4t_2mK0.03655240.03538152.18561
six4u_10mm s-10.05659120.05681832.25251
six4v_10mm s-10.05184060.05186962.63851
six4tot_preckg m-20.1135110.1162386.47608
one1pres_sfcPa0.1807390.19149249.9453
one1t_2mK0.001041940.001103730.251007
one1u_10mm s-10.001366520.00170390.275077
one1v_10mm s-10.001081390.001176980.193647
one1tot_preckg m-20.002899970.003383771.33829
one2pres_sfcPa0.1960870.19989244.9844
one2t_2mK0.001236640.001220460.253601
one2u_10mm s-10.001628860.001507790.336154
one2v_10mm s-10.00153390.001564370.381158
one2tot_preckg m-20.003466210.003867681.33798
one4pres_sfcPa0.2599580.23522648.2734
one4t_2mK0.00114420.001074920.254395
one4u_10mm s-10.002098670.001812770.520408
one4v_10mm s-10.001957720.001414440.309943
one4tot_preckg m-20.004385120.003660671.44709

追加の格子ブロック幅試験

全球1時間予報・GPU 4枚で、一度に処理する格子点数を8,192から16,384へ増やした。主要比較の条件を決めた後に行った追加試験で、以下は完走して予報出力を検査できた試行の個別実時間。

版完走・検査済み試行数実時間(秒)
開発元の公開版230.45 / 29.20
Astra改良版129.20

10時の締め切りで中断した追加試行は late-astra4-large-b。上記の秒数は完走分のみ。

予備試験で除外した例

構成・試行記録採用条件に達しなかった理由
全球1時間・4 GPU直接通信934.05秒・終了コード0地表気圧に非数値があり、比較対象から除外
全球1時間・4 GPU・MPS・ブロック幅8192の予備試験CUDAエラー719放射計算で中断。同じ設定を再実行し、完走と出力を確認してから比較
ドイツ域2 kmの補足試験・1 GPUGPUメモリ不足完走していないため全球表には含めず
全球6時間・64コアCPUの初回226.45秒初期化中にビルドが同じCPUを使用。出力照合にのみ使用し、性能は単独実行で再測定

再現用の記録

入力はドイツ気象局の2024年2月7日00 UTCの解析値。ICON公開版は2026.10(7de853356c97)。公開設定の詳細はICON公式文書に掲載されている。試行別の秒数・構成・実行設定(JSON・ZIP形式)

Read more