短縮はGPU 1枚で約23秒、4枚で0.72秒。OpenAIのAstraは天気予報モデルICONのどこを速くしたのか|OpenAIのAstraでHPCプログラムを高速化する 第7回
北大西洋の雨の帯を追いながら、ICONの全球6時間予報をCPUとA100で比較。公開版からAstraが縮めた時間はGPU 1枚で23.18秒、4枚で0.72秒だった。
バミューダの南東に、強い雨が細長い帯をつくっている。下の15秒の映像は、天気予報モデルICONが計算した北大西洋の6時間だ。出発点は2024年2月7日午前9時(日本時間)の大気。地球全体を計算し、その海域を拡大した。手元のサーバーで公開CPU版は64物理コアで142.00秒。公開GPU版はA100を4枚使って47.57秒だった。ここから、予報の格子も計算精度も変えずに何秒を縮められるだろうか。
なぜ有名なWRFを選ばなかったのか
気象モデルの高速化と聞いて、まずWRFを思い浮かべた方もいるだろう。米国立大気研究センター(NCAR)が集計した2022年のWRFの新規登録は3,444件、関連論文は1,182本に上る。 NCARによるWRF利用状況の集計
今回、知りたかったのは「すでに毎日の天気予報に使われているGPUコードを、Astraはさらに何秒速くできるか」だ。スイスの気象当局MeteoSwissには、33時間先の予報を50分以内に計算するという締め切りがある。開発チームはICONを改良し、予報の一つのシナリオをA100 GPU 8枚で2,642秒、約44分で計算できたと報告している。そのGPU実装はICON本体に取り込まれており、性能試験の設定と入力データも公開されている。実運用で鍛えられた開発元のコードを手元で動かし、そこからさらに縮めた時間を測れる。これが今回ICONを選んだ理由だ。 MeteoSwissほかの査読論文(6.4節・コードとデータの公開範囲)
今回測ったのは、ドイツ気象局のデータを使う全球約40 km格子の1時間予報と6時間予報だ。スイスの2,642秒は現場で何が求められているかを示す数字で、今回の倍率の分母には、同じサーバーで私たちが測った公開版の秒数を使う。 ICON開発元による全球予報ケースの説明
モデルはどこに雨を予報したか
大気を水平方向に327,680個のセル、鉛直方向に90層に分け、風や温度、水蒸気などを6分刻みで進めた。下の図は、予報開始から雨や雪として地表に落ちた水の量を、1時間ごとに足し上げた計算結果だ。北太平洋や北大西洋に、帯状の降水域が現れる。

同じ6時間予報を、起動から書き出しまで測る
| 実行構成 | 開発元の公開版 | Astra改良版 | 同じ構成での高速化倍率 |
|---|---|---|---|
| CPU 32物理コア | 271.74秒 | CPU独自改良なし | — |
| CPU 64物理コア | 142.00秒 | CPU独自改良なし | — |
| A100 GPU 1枚 | 232.64秒 | 209.46秒 | 1.111倍 |
| A100 GPU 2枚 | 97.12秒 | 91.21秒 | 1.065倍 |
| A100 GPU 4枚 | 47.57秒 | 46.85秒 | 1.015倍 |
各構成・各版を3回ずつ実行した。秒数は、MPI起動から結果の書き出し完了までの中央値。
公開版だけで比べると、4 GPUはCPUの2.99倍。Astraが同じ4 GPU構成で加えた短縮は0.72秒で、1.015倍だった。CPUから改良4 GPU版まで通した倍率はCPU比3.03倍になる。
1枚の公開GPU版では、232.64秒かかる。CPU 64物理コアの142.00秒を初めて下回ったのは2枚で、97.12秒だった。
| 構成 | GPU化の効果(公開CPU÷公開GPU) | 総合倍率(CPU比) |
|---|---|---|
| A100 GPU 1枚 | 0.61倍 | 0.68倍 |
| A100 GPU 2枚 | 1.46倍 | 1.56倍 |
| A100 GPU 4枚 | 2.99倍 | 3.03倍 |
Astraによる上積みが最も大きかったのはGPU 1枚だった。公開版232.64秒から改良版209.46秒へ、同じ予報で23.18秒を短縮した。
4枚の実時間は、公開版の3試行が47.48〜48.13秒、改良版の3試行が46.57〜47.36秒だった。倍率はそれぞれの中央値から求めた。
風を計算する前に、何を待っていたか
1枚のGPUで短い予報を走らせ、NVIDIA Nsight Systemsで処理を追った。GPUでは太陽光と赤外線が雲や大気を通るときの放射計算に時間を使っていた。一方、実際の全球予報を処理段階ごとに測ると、最初の時間ステップに入るまでにも待ち時間があった。初期データの高度と、予報モデルが使う層の高さが異なるため、風や温度をモデルの高さに合わせ直す必要がある。
この鉛直補間は公開GPU版でもCPUで動く。Astra版では、互いに独立した格子のまとまりを複数のCPUコアに割り振った。GPU側では、短波放射の細かい計算点をどの波長帯に合計するかを先に整理し、各地点で同じ対応表を走査する回数を減らした。大気運動の計算でも、上下に依存する処理の順番を保ちながら、別々の気柱を並列に進めた。表の上積みはこれらを組み合わせた実測値だ。
ICONの内部タイマーで予報計算部を見ると、1枚では公開版105.84秒から改良版96.20秒に短くなった。4枚では24.11秒から23.47秒だった。4枚の公開版は、すでに分担によってこの区間を1枚の約4.4分の1で終えていた。格子の分け方やMPI構成も異なるため、秒数の差を単独の変更だけに帰することはできない。
4枚でAstraの上積みが小さいのは、公開版の出発点がすでに高いことと整合する。スイスの開発チームは、放射や大気力学のGPU計算を段階的に改良し、同チームの地域予報ベンチマークを125.6秒から95.8秒に短縮していた。そこで得た改良が公開版に入っている。今回の全球予報では1枚にまだ短縮の余地があり、この測定が示す範囲は、この入力・機材・GPU枚数での結果までだ。 開発チームの性能評価(6.2節)
4枚挿せば、4枚とも速く使えるのか
最初に試したGPU間の直接通信では、プログラムが正常終了を返したにもかかわらず、地表気圧に非数値が混じっていた。この試行は表から外した。CPUメモリを経由する開発元の通信方式を使い、各プロセスを担当GPUに近いCPUに割り当てた。複数のプロセスが同じGPUを使う構成では、NVIDIA MPSも使った。これらの設定は公開版にも適用している。
予報期間を1時間にしたとき
| 実行構成 | 開発元の公開版 | Astra改良版 | 同じ構成での高速化倍率 |
|---|---|---|---|
| CPU 32物理コア | 62.77秒 | CPU独自改良なし | — |
| CPU 64物理コア | 39.45秒 | CPU独自改良なし | — |
| A100 GPU 1枚 | 116.78秒 | 111.77秒 | 1.045倍 |
| A100 GPU 2枚 | 45.14秒 | 44.28秒 | 1.019倍 |
| A100 GPU 4枚 | 27.86秒 | 27.82秒 | 1.001倍 |
| 構成 | GPU化の効果(公開CPU÷公開GPU) | 総合倍率(CPU比) |
|---|---|---|
| A100 GPU 1枚 | 0.34倍 | 0.35倍 |
| A100 GPU 2枚 | 0.87倍 | 0.89倍 |
| A100 GPU 4枚 | 1.42倍 | 1.42倍 |
1時間予報の4枚では中央値の差は0.04秒だった。個別の実時間は公開版27.75〜27.98秒、改良版27.71〜27.92秒で、測定値の範囲が重なる。
入力を読み、格子や配列を準備する作業は、1時間予報にも6時間予報にも必要だ。短い予報で有利だった構成が長い予報にも有利かを確かめるため、GPUごとのMPIプロセス数や、一度に処理する格子点数を予備試験で調整した。同じ表の公開版と改良版では条件をそろえている。どちらの予報期間でも、改良版には鉛直補間とGPU側の改良を組み合わせた。
計算結果はどこまでそろったか
地表気圧、地上2 mの気温、10 mの東西・南北の風、積算降水量を、全格子点、全出力時刻で検査した。公開GPU版を同じ構成で繰り返しても、最終時刻の格子点の値には差が出た。そこで公開版同士の差と、公開版・改良版間の差を、気圧はPa、風はm/s、降水はmmで比較した。

6時間先の4 GPUの積算降水量では、全格子点のRMSEは公開版同士で最大0.114 mm、公開版と改良版で最大0.116 mmだった。後者の局地的な最大差は6.48 mmに達した。観測値を使った予報精度の評価は今回の範囲に含めていない。
CPUはXeon Gold 6430を2基、GPUはA100 PCIe 80 GB。作業精度は倍精度、NetCDF出力は単精度。CPUとGPUはそれぞれ開発元のMcICA放射ソルバーとそのOpenACC実装を使った。海面の暖水層を扱うオプションはGPU未対応のため両版で無効にした。成功した試行の実時間の中央値を掲載している。全試行の秒数・計測条件・予報値の照合
計測記録
ドイツ気象局の解析値を出発点に、同じ全球予報をCPUと1・2・4枚のA100で計算した。表の実時間はMPI起動から計算終了まで。格子・初期値の読み込み、モデルの準備、時間積分、NetCDFへの出力を含む。複数試行がある場合は中央値を使った。
全球6時間予報
| 実行構成 | 開発元の公開版 | Astra改良版 | 同じ構成での高速化倍率 |
|---|---|---|---|
| CPU 32物理コア | 271.74秒 | CPU独自改良なし | — |
| CPU 64物理コア | 142.00秒 | CPU独自改良なし | — |
| A100 GPU 1枚 | 232.64秒 | 209.46秒 | 1.111倍 |
| A100 GPU 2枚 | 97.12秒 | 91.21秒 | 1.065倍 |
| A100 GPU 4枚 | 47.57秒 | 46.85秒 | 1.015倍 |
| GPU構成 | GPU化の効果(公開CPU÷公開GPU) | 総合倍率(CPU比) |
|---|---|---|
| A100 GPU 1枚 | 0.61倍 | 0.68倍 |
| A100 GPU 2枚 | 1.46倍 | 1.56倍 |
| A100 GPU 4枚 | 2.99倍 | 3.03倍 |
全球1時間予報
| 実行構成 | 開発元の公開版 | Astra改良版 | 同じ構成での高速化倍率 |
|---|---|---|---|
| CPU 32物理コア | 62.77秒 | CPU独自改良なし | — |
| CPU 64物理コア | 39.45秒 | CPU独自改良なし | — |
| A100 GPU 1枚 | 116.78秒 | 111.77秒 | 1.045倍 |
| A100 GPU 2枚 | 45.14秒 | 44.28秒 | 1.019倍 |
| A100 GPU 4枚 | 27.86秒 | 27.82秒 | 1.001倍 |
| GPU構成 | GPU化の効果(公開CPU÷公開GPU) | 総合倍率(CPU比) |
|---|---|---|
| A100 GPU 1枚 | 0.34倍 | 0.35倍 |
| A100 GPU 2枚 | 0.87倍 | 0.89倍 |
| A100 GPU 4枚 | 1.42倍 | 1.42倍 |
計測条件と個々の実時間
全球約40 km、327,680セル、鉛直90層。初期時刻は2024年2月7日00 UTC。時間刻み360秒。1時間は10ステップ、6時間は60ステップ。公表された全球設定では海面の暖水層の処理がGPUで使えないため、CPU・GPUともに無効にした。
演算の作業精度は倍精度。CPUはecRadのMcICA、GPUは開発元のOpenACC対応McICAを使用した。開発元とAstraの比較では同じGPU用物理過程と同じ時刻を使った。地表気圧、地上2 m気温、10 mの東西・南北風、積算降水量の5変数を同じ格子に単精度で出力した。
Intel Xeon Gold 6430を2基、1基32物理コア、OSが認識するハードウェアスレッドは1物理コアにつき1本。GPUはNVIDIA A100 PCIe 80 GBを最大4枚使用した。NVHPC 26.1、Open MPI 4.1.9a1、CUDA 13.1。GPUを共有する構成では1 GPUあたりのMPIランク数、CPUスレッド数、ブロック幅を両版でそろえた。 CPUはコアごとにMPIランクを1個置き、公式入力のブロック幅16を使用。
表のGPU化の効果は、同じ予報期間で速かった公開CPU構成を分子、公開GPU版を分母にして求めた。開発元のMPI通信方式、Linuxのメモリ設定、NVIDIA MPSの効果は公開版の条件に含めた。
計算時間の内訳にある「予報計算部」はICONの内部タイマー total のMPIランク最大値。再現記録には、実時間の比較に使った各試行名と実行設定を保存した。
| 予報 | 構成 | 版 | 完走数 | 個別の実時間(秒) | 予報計算部の中央値(秒) | 格子点ブロック/放射ブロック | 実行設定 |
|---|---|---|---|---|---|---|---|
| 全球6時間予報 | CPU 32物理コア | 公開版 | 3 | 271.10 / 271.74 / 272.12 | 252.99 | nproma=16 / 16 | 標準 |
| 全球6時間予報 | CPU 64物理コア | 公開版 | 3 | 141.93 / 142.50 / 142.00 | 123.56 | nproma=16 / 16 | 標準 |
| 全球6時間予報 | A100 GPU 1枚 | 公開版 | 3 | 234.35 / 232.64 / 232.14 | 105.84 | nproma=32768 / 512 | OMP_NUM_THREADS=8 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 |
| 全球6時間予報 | A100 GPU 1枚 | Astra | 3 | 209.46 / 209.03 / 209.81 | 96.20 | nproma=32768 / 512 | OMP_NUM_THREADS=8 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 |
| 全球6時間予報 | A100 GPU 2枚 | 公開版 | 3 | 97.50 / 97.12 / 96.05 | 53.57 | nproma=8192 / 1024 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球6時間予報 | A100 GPU 2枚 | Astra | 3 | 92.15 / 91.21 / 90.65 | 51.34 | nproma=8192 / 1024 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球6時間予報 | A100 GPU 4枚 | 公開版 | 3 | 48.13 / 47.48 / 47.57 | 24.11 | nproma=8192 / 1024 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球6時間予報 | A100 GPU 4枚 | Astra | 3 | 46.57 / 47.36 / 46.85 | 23.47 | nproma=8192 / 1024 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球1時間予報 | CPU 32物理コア | 公開版 | 3 | 62.92 / 62.77 / 62.06 | 43.65 | nproma=16 / 16 | 標準 |
| 全球1時間予報 | CPU 64物理コア | 公開版 | 3 | 39.73 / 39.45 / 38.52 | 21.24 | nproma=16 / 16 | 標準 |
| 全球1時間予報 | A100 GPU 1枚 | 公開版 | 3 | 116.19 / 118.56 / 116.78 | 44.53 | nproma=2048 / 512 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球1時間予報 | A100 GPU 1枚 | Astra | 3 | 108.43 / 112.32 / 111.77 | 43.76 | nproma=2048 / 512 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=2 OMP_NUM_THREADS=4 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球1時間予報 | A100 GPU 2枚 | 公開版 | 3 | 45.07 / 45.90 / 45.14 | 15.11 | nproma=2048 / 512 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球1時間予報 | A100 GPU 2枚 | Astra | 3 | 44.78 / 44.28 / 44.05 | 14.84 | nproma=2048 / 512 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球1時間予報 | A100 GPU 4枚 | 公開版 | 3 | 27.98 / 27.86 / 27.75 | 4.28 | nproma=8192 / 1024 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
| 全球1時間予報 | A100 GPU 4枚 | Astra | 3 | 27.71 / 27.92 / 27.82 | 4.16 | nproma=8192 / 1024 | GPU_LOCAL_CPU=1 RANKS_PER_GPU=4 OMP_NUM_THREADS=2 OMP_STACKSIZE=128M GLIBC_TUNABLES=glibc.malloc.hugetlb=1 USE_MPS=1 |
予報値の照合
最終出力の全セルを比較した。RMSEは格子点での二乗平均平方根誤差。複数の組み合わせがある欄は最大値を示す。
| 比較 | 出力変数 | 単位 | 公開版同士のRMSE | 改良版対公開版のRMSE | 改良版対公開版の最大絶対差 |
|---|---|---|---|---|---|
| six1 | pres_sfc | Pa | 3.93165 | 4.00407 | 264.203 |
| six1 | t_2m | K | 0.0351064 | 0.0364841 | 2.24063 |
| six1 | u_10m | m s-1 | 0.0563008 | 0.057626 | 3.12846 |
| six1 | v_10m | m s-1 | 0.0505624 | 0.0530008 | 2.98714 |
| six1 | tot_prec | kg m-2 | 0.11288 | 0.115461 | 7.68943 |
| six2 | pres_sfc | Pa | 3.9499 | 4.11545 | 263.656 |
| six2 | t_2m | K | 0.0356863 | 0.0361089 | 2.33206 |
| six2 | u_10m | m s-1 | 0.0554309 | 0.0585545 | 2.72363 |
| six2 | v_10m | m s-1 | 0.0506783 | 0.0535688 | 3.77523 |
| six2 | tot_prec | kg m-2 | 0.110476 | 0.113936 | 7.44329 |
| six4 | pres_sfc | Pa | 3.97182 | 3.94896 | 251.367 |
| six4 | t_2m | K | 0.0365524 | 0.0353815 | 2.18561 |
| six4 | u_10m | m s-1 | 0.0565912 | 0.0568183 | 2.25251 |
| six4 | v_10m | m s-1 | 0.0518406 | 0.0518696 | 2.63851 |
| six4 | tot_prec | kg m-2 | 0.113511 | 0.116238 | 6.47608 |
| one1 | pres_sfc | Pa | 0.180739 | 0.191492 | 49.9453 |
| one1 | t_2m | K | 0.00104194 | 0.00110373 | 0.251007 |
| one1 | u_10m | m s-1 | 0.00136652 | 0.0017039 | 0.275077 |
| one1 | v_10m | m s-1 | 0.00108139 | 0.00117698 | 0.193647 |
| one1 | tot_prec | kg m-2 | 0.00289997 | 0.00338377 | 1.33829 |
| one2 | pres_sfc | Pa | 0.196087 | 0.199892 | 44.9844 |
| one2 | t_2m | K | 0.00123664 | 0.00122046 | 0.253601 |
| one2 | u_10m | m s-1 | 0.00162886 | 0.00150779 | 0.336154 |
| one2 | v_10m | m s-1 | 0.0015339 | 0.00156437 | 0.381158 |
| one2 | tot_prec | kg m-2 | 0.00346621 | 0.00386768 | 1.33798 |
| one4 | pres_sfc | Pa | 0.259958 | 0.235226 | 48.2734 |
| one4 | t_2m | K | 0.0011442 | 0.00107492 | 0.254395 |
| one4 | u_10m | m s-1 | 0.00209867 | 0.00181277 | 0.520408 |
| one4 | v_10m | m s-1 | 0.00195772 | 0.00141444 | 0.309943 |
| one4 | tot_prec | kg m-2 | 0.00438512 | 0.00366067 | 1.44709 |
追加の格子ブロック幅試験
全球1時間予報・GPU 4枚で、一度に処理する格子点数を8,192から16,384へ増やした。主要比較の条件を決めた後に行った追加試験で、以下は完走して予報出力を検査できた試行の個別実時間。
| 版 | 完走・検査済み試行数 | 実時間(秒) |
|---|---|---|
| 開発元の公開版 | 2 | 30.45 / 29.20 |
| Astra改良版 | 1 | 29.20 |
10時の締め切りで中断した追加試行は late-astra4-large-b。上記の秒数は完走分のみ。
予備試験で除外した例
| 構成・試行 | 記録 | 採用条件に達しなかった理由 |
|---|---|---|
| 全球1時間・4 GPU直接通信 | 934.05秒・終了コード0 | 地表気圧に非数値があり、比較対象から除外 |
| 全球1時間・4 GPU・MPS・ブロック幅8192の予備試験 | CUDAエラー719 | 放射計算で中断。同じ設定を再実行し、完走と出力を確認してから比較 |
| ドイツ域2 kmの補足試験・1 GPU | GPUメモリ不足 | 完走していないため全球表には含めず |
| 全球6時間・64コアCPUの初回 | 226.45秒 | 初期化中にビルドが同じCPUを使用。出力照合にのみ使用し、性能は単独実行で再測定 |
再現用の記録
入力はドイツ気象局の2024年2月7日00 UTCの解析値。ICON公開版は2026.10(7de853356c97)。公開設定の詳細はICON公式文書に掲載されている。試行別の秒数・構成・実行設定(JSON・ZIP形式)