HPC 高速化実験 / CalculiX 2.23

A100 1枚で、構造解析は
どこまで速くなるか

入力読み込みから変位・応力などのファイルを出力して終了するまでを測った。規則的な引張モデル、円孔のある鋼板、二本のはりの動的接触を分けて比較する。

2026年11月12日・日本時間 17:00 計測終了 / 参照出力などとの数値照合に合格 582 / 584 実行(調整試行・CPU参照を含む。物理検証は別)

静的解析の比較

それぞれの条件で独立に3回実行した中央値(秒)。調整に使った試行は含まない。CPUにも粗い格子を使う解法を実装し、32コアと64コアを別々に調整した。右端の倍率は両CPU条件の速い方を基準にしている。

モデル従来GPU 秒新GPU 秒CPU32 秒CPU64 秒旧GPU比最速CPU比
引張・157万方程式3.652.202.452.131.66×0.97×
引張・344万方程式7.584.274.744.601.78×1.08×
引張・639万方程式14.496.378.747.872.27×1.24×
引張・908万方程式—7.4510.9211.66—1.47×
円孔平板・98.3万要素12.903.597.006.663.59×1.86×

— は3回の確認がそろっていないか、比較対象がない欄。908万方程式は従来GPU版の対応サイズ上限を超えるため、旧GPU比を示さない。時間は短いほどよい。GPU条件にも入力処理や出力処理のためのCPUを使う。

静的モデルの全体時間と各回の測定点

円孔平板で確かめたこと

10 kNで引く円孔平板の変形、応力分布、穴の縁の相当応力
静的な最終状態。変位は表示上100倍、応力は実値。色は上面の節点から求めた要素平均、右図は穴縁の節点値。
六面体要素数節点数穴縁の最大相当応力 MPa上面最大変位 mm
28,67233,408115.070.01587
76,80086,592116.060.01588
307,200327,936116.760.01589
983,0401,026,432117.120.01589

98万3,040要素の独立したCPU直接解を作り、GPUの全節点で変位3成分・応力6成分・ひずみ6成分を照合した。支持部の反力は荷重10 kNと逆向きに一致した。上面の穴縁の応力は、30万要素から98万要素に細分化して約0.31%変わった。

何が効いたか

従来は、各節点で局所的に誤差を直していた。離れた節点にまたがる緩やかな変形を粗い格子でまとめて補正すると、344万方程式の引張で816回だった反復が64回になった。穴のある板には、実際の曲がった要素と補助格子の間で力と変位を受け渡す方式を使った。補助格子が置き換えるのは解を求める途中の処理だけで、形状・荷重・元の釣り合い式は変えていない。

初期の切り分け・GPU同一実行系列従来の反復 秒粗格子・1回平滑化 秒粗格子・2回平滑化 秒従来/2回
引張・157万方程式4.073.962.831.44×
引張・344万方程式7.405.825.581.33×
引張・639万方程式14.5510.199.931.47×

単純な六面体格子では別の候補として、剛性行列の全成分を保存せずに積を求める処理も実装した。採用候補は実際の接続・座標・拘束・材料を検査する。行列を組まない場合は、各要素の8点で応力から内力を計算し直し、荷重と釣り合うことを確認する。適用できない入力は通常の経路に戻す。各実行で実際に選ばれた経路は証跡に記録した。

非線形の動的接触は別の問題

二本のはりが接触・離間すると、変形に応じて行列が変わる。静的引張の倍率はこのケースには転用できない。ここでは同じ入力で出力10時点の全節点変位、接触合力、受理した時間刻みを照合した。

モデル従来GPU 秒新GPU 秒CPU 秒(R3:12コア、R4:16コア)旧GPU比CPU比旧GPUとの範囲比較
二本のはり・R336.6431.8048.911.15×1.54×測定範囲に重なり
二本のはり・R499.8882.78131.721.21×1.59×3回とも短縮

GPUを支えるCPUは、従来条件がR3で12コア・R4で16コア、新条件はいずれも8コア。新旧の差にはホスト側のコア調整も含むため、行列分解の方式だけの効果とはみなさない。静的な本測定のGPU条件はいずれもホスト32コア。

圧力をかけた元モデルの最終エネルギー収支誤差はCPU参照でもR3で約229%、R4で約210%。CPUとGPUが一致しても、実際の衝突を精度よく予測できたことにはならない。

CPU同一モデル最大時間刻み µs出力10点の最大接触合力 N最終エネルギー収支誤差
pressure-r22.5181.926267.1%
pressure-r21.2572.667141.0%
pressure-r20.625107.261633.3%
pressure-r20.31250.0001401.5%
pressure-r32.5158.256228.8%
pressure-r31.2595.569160.7%
pressure-r30.625105.322581.7%
pressure-r30.312529.0401587.8%

この表だけ時間刻みを変えている。速度表の比較には使わない。試験条件の差は十時点に現れる最大接触力にも影響する。

元の刻みと8分の1の刻みを同じ解析時刻で比較。どちらも単一A100で実際に出力した結果。動画を開く
時間刻みを変えたCPU接触合力の比較
R3参照解。点は各出力時刻の実測値で、時刻間のピークを表すものではない。

測定と検証

Intel Xeon Gold 6430(32物理コア×2)、NVIDIA A100 PCIe 80 GB。GPUは0番の1枚だけを表示し、CPUのみの実行ではGPUを非表示にした。32コアは0–31、64コアは0–63に固定。ジョブ間は排他制御を行い、モデル単位で実行順を入れ替えた。同じ入力ファイル・同じ出力要求を使い、独立なプロセスを起動して終了まで単調時計で計時した。プロファイラの実行時間は倍率に含まない。

静的解析はメッシュの節点・要素の一致、出力の有限性、相対L2誤差(変位5×10⁻⁷未満、応力・ひずみ5×10⁻⁶未満)、反復解の相対残差10⁻¹¹以下を確認した。円孔平板はさらに反力の誤差0.05 N未満を要求した。344万方程式と98万要素円孔平板にはCPU直接法、639万・908万方程式には独立したCPU反復解を用いた。これらは指定ケースでの数値的一致の検証であり、あらゆる構造・材料を保証するものではない。

残った待ち時間

Nsight Systemsで測ったCPU側の区間(秒)。計測器を付けた別実行のため、速度表には加えない。要素の行列を保存しない経路では組み立て処理に代わって「専用解法」を使う。

モデル・実行経路行列構造通常の組み立て専用解法結果計算(合計)FRD出力
引張・344万(初期の粗格子版)1.650.59—0.980.47
円孔平板(初期の補助格子版)2.001.84—0.830.39
引張・344万(専用版)0.12—0.661.050.46
円孔平板(押し出し版)0.17—1.330.980.45
Nsight Computeのハードウェアカウンター

各カーネルを1回抽出して取得した値。アプリ全時間の使用率ではない。

カーネル所要時間演算器スループットDRAMスループット
細→粗格子(複数節点から加算)1.01 ms9.15 %3.50 %
細→粗格子(格子側に集約)327.26 us39.15 %26.73 %
直方体の格子転送205.54 us58.27 %7.73 %
直方体の剛性演算1.19 ms32.58 %7.97 %
押し出し断面の剛性演算3.12 ms5.63 %65.06 %
係数を並べ替えた断面演算1.54 ms9.34 %76.22 %
単精度の誤差補正76.29 us76.86 %24.24 %

行列の非ゼロ成分の位置を直接作る経路については、確認用の別実行で従来の構造を再構築し、全列の成分数・開始位置・行番号を照合した。全成分監査を通過した実行数:6。

各モデルの収束と独立参照解の照合(最終比較の1回目)
モデル実際の解法反復相対残差変位 相対L2応力 相対L2応力 最大差/最大値
引張・157万方程式GPU eight-point equilibrium PCG602.00e-121.31e-145.05e-113.36e-09
引張・344万方程式GPU eight-point equilibrium PCG602.26e-121.12e-143.01e-111.99e-09
引張・639万方程式GPU eight-point equilibrium PCG602.74e-123.75e-108.15e-091.27e-06
引張・908万方程式GPU eight-point equilibrium PCG602.91e-123.97e-102.15e-109.60e-09
円孔平板・98.3万要素GPU extruded equilibrium PCG1208.19e-122.68e-101.31e-117.92e-10
各回の全体時間と採用した実行条件
モデル条件実行版コア全測定 秒照合済み
引張・157万方程式oldcudss-post323.65, 4.39, 3.533/3
引張・157万方程式newcudss-release17v3322.20, 2.35, 2.183/3
引張・157万方程式cpu32pardiso-cleanprism321.98, 2.50, 2.453/3
引張・157万方程式cpu64pardiso-cleanprism642.10, 2.13, 2.613/3
引張・344万方程式oldcudss-post327.58, 8.37, 7.533/3
引張・344万方程式newcudss-release17v3323.21, 4.27, 5.323/3
引張・344万方程式cpu32pardiso-cleanprism324.82, 4.74, 4.393/3
引張・344万方程式cpu64pardiso-cleanprism644.60, 4.57, 5.733/3
引張・639万方程式oldcudss-post3214.31, 14.49, 14.793/3
引張・639万方程式newcudss-release17v3325.56, 6.38, 6.373/3
引張・639万方程式cpu32pardiso-cleanprism327.73, 8.74, 8.803/3
引張・639万方程式cpu64pardiso-cleanprism647.81, 9.63, 7.873/3
引張・908万方程式newcudss-release17v3327.43, 7.45, 7.963/3
引張・908万方程式cpu32pardiso-cleanprism3210.54, 10.92, 11.013/3
引張・908万方程式cpu64pardiso-cleanprism6411.64, 11.66, 12.513/3
円孔平板・98.3万要素oldcudss-post3212.36, 12.90, 13.563/3
円孔平板・98.3万要素newcudss-release17v3323.58, 3.59, 5.123/3
円孔平板・98.3万要素cpu32pardiso-cleanprism327.00, 7.04, 6.853/3
円孔平板・98.3万要素cpu64pardiso-cleanprism646.62, 6.66, 6.793/3
二本のはり・R3oldcudss-order1236.94, 36.64, 33.953/3
二本のはり・R3newcudss-release17v3850.48, 31.80, 31.803/3
二本のはり・R3cpupardiso-clean1249.03, 48.91, 48.673/3
二本のはり・R4oldcudss-order16100.02, 94.65, 99.883/3
二本のはり・R4newcudss-release17v3881.71, 82.78, 88.853/3
二本のはり・R4cpupardiso-clean16136.59, 131.00, 131.723/3

どの判断が効いたか

良くなった案と見送った案を同じ基準で比較した。カーネル単独の速さではなく、最終出力までの時間・メモリと計算結果を見た。

試した変更測定から分かったこと判断
剛性行列をGPUに丸ごと保存しない344万方程式でGPUメモリの観測ピーク増分 8.63 → 0.84 GiB規則的な形状で採用。全要素の釣り合いを別計算で検証
粗格子の補正だけを単精度にする円孔平板で 120 → 352 反復(各1回)円孔平板では採用せず。1回の演算より反復回数の増加が響いた
押し出し断面の係数をGPU向けに並べ替える円孔平板の全体時間 3.77 → 3.96 秒(各3回)本測定では従来の並びを維持
前の4種類の行列構造を保存し、再登場時に使うR3/R4の新規登録 45/49 回、切替後の再利用 0/0 回この2入力では追加の履歴を持つ利点を確認できず

公表基準値との比較:NAFEMS LE10

厚さ600 mmの楕円形の厚板の上面に1 MPaの面圧を加える。NAFEMS LE10の仕様・基準値から独自に入力を作り、内側の上面端 D(2000, 0, 600 mm)の y 方向応力を、基準値 −5.38 MPa と比較した。節点数や拘束条件を変えず、標準の面圧入力のまま計算した。

六面体要素数CPU直接解 σyy MPa基準値との差CPU直接法 1回・秒追加GPU版 1回・秒追加GPU版の実行経路
1,152-5.8168.10%0.110.47GPU extruded equilibrium PCG
9,216-5.6915.78%0.900.51GPU extruded equilibrium PCG
73,728-5.5473.10%7.480.89GPU extruded equilibrium PCG
248,832-5.4861.98%27.272.28GPU extruded equilibrium PCG
楕円厚板の上面応力と格子細分化による公表値との比較

ここに示した時間は工学的な照合時の単発測定で、主要な速度比較の中央値とは別。反力は平面を多角形で近似した実際の要素面積×圧力と比較した。

追加の反復測定:静的解析

最初の本測定を開始した後の改善候補を、別の比較計画で各3回実行した。調整に使った試行は中央値から除いた。比較GPU欄は最初の本測定の新GPU条件をこの実行群で改めて測った値。

モデル比較GPU 秒追加GPU 秒追加CPU32 秒追加CPU64 秒最速CPU比
cube1043.243.234.574.911.41×
plate-million4.453.587.176.781.89×
cube1448.196.3411.6211.981.83×
追加比較の全測定値と条件
モデル条件実行版コア各回 秒照合済み
cube104refGPUcudss-release17v3323.24, 4.33, 3.203/3
cube104GPUcudss-reduce17323.85, 3.23, 2.853/3
cube104CPU32pardiso-release17v3325.08, 4.57, 4.463/3
cube104CPU64pardiso-release17v3644.50, 6.73, 4.913/3
plate-millionrefGPUcudss-release17v3323.57, 4.45, 5.043/3
plate-millionGPUcudss-release17v3323.58, 3.53, 3.583/3
plate-millionCPU32pardiso-native17327.30, 7.17, 7.013/3
plate-millionCPU64pardiso-hostprism647.44, 6.60, 6.783/3
cube144refGPUcudss-release17v3327.57, 8.19, 8.333/3
cube144GPUcudss-span17326.34, 6.30, 7.303/3
cube144CPU32pardiso-hostprism3211.62, 10.63, 11.643/3
cube144CPU64pardiso-hostprism6412.14, 11.98, 11.293/3

平板(plate-million)は、追加選考でも同じGPU実行ファイル・設定が選ばれた。比較GPU列と追加GPU列の差は、同じ処理を別々に走らせた際の測定のばらつきで、追加の高速化ではない。

追加の反復測定:動的接触

最初の本測定を開始した後の改善候補を、別の比較計画で各3回実行した。調整に使った試行は中央値から除いた。比較GPU欄は最初の本測定の新GPU条件をこの実行群で改めて測った値。

モデル比較GPU 秒前回分解の再利用候補 秒比較GPU比
pressure-r332.8032.521.01×
pressure-r487.6684.631.04×
追加比較の全測定値と条件
モデル条件実行版コア各回 秒照合済み
pressure-r3refGPUcudss-release17v3832.80, 32.05, 33.343/3
pressure-r3GPUcudss-lag17832.52, 35.00, 32.463/3
pressure-r4refGPUcudss-release17v3886.02, 87.66, 91.543/3
pressure-r4GPUcudss-lag17881.94, 84.63, 85.153/3
専用経路を適用できない入力の照合
変えた条件実際の経路変位 相対L2応力 相対L2CPU直接解との比較
節点番号をシャッフル通常の行列を使用8.51e-106.37e-13合格
厚み方向で材料を変更通常の行列を使用1.06e-141.36e-10合格
ゼロでない強制変位通常の行列を使用8.51e-112.36e-09合格

追加の接触試験で、ばねを軟らかくした入力の一部はエネルギーが非数になり、速度評価から除外した。完走メッセージだけでは精度合格と見なしていない。

動的接触の時刻別照合

出力10時点の全節点変位と接触合力、およびログのエネルギー出力を独立CPU参照と比較した。変位は各時点の相対L2の最大、力は最大絶対差、エネルギー差は最大値で正規化。エネルギーのコード間一致は、力学系のエネルギー保存を意味しない。

モデル条件回数変位の相対差接触合力差 Nエネルギーの相対差受理した刻み数
pressure-r3old31.06e-080.00e+000.00e+0075
pressure-r3new31.84e-080.00e+003.48e-0875
pressure-r3cpu31.84e-080.00e+000.00e+0075
pressure-r3supplement31.85e-080.00e+003.48e-0875
pressure-r4old31.79e-080.00e+000.00e+0075
pressure-r4new31.68e-080.00e+000.00e+0075
pressure-r4cpu31.56e-080.00e+000.00e+0075
pressure-r4supplement31.27e-080.00e+000.00e+0075
前回の行列分解を何回使えたか

各条件の最初の検証済み実行から抽出。分解を使い回しても現在の行列で倍精度の残差を計算し、基準を満たせない場合はその時点の行列を分解し直した。分解が不要になった回数と、解析全体の時間短縮は分けて評価する。

モデル条件混合精度で解けた回数総補正回数前回分解の再利用成功前回分解を棄却再利用時の最大残差
pressure-r3比較GPU25044800—
pressure-r3前回分解を試すGPU25053276629.97e-12
pressure-r4比較GPU25259000—
pressure-r4前回分解を試すGPU25265372649.69e-12
どれだけメモリを使ったか

別実行でのLinux子プロセスの最大常駐メモリ(wait4)と、GPU 0 全体の使用メモリを約25 msごとに読んだ最大増分(NVML)。GPU値は起動前基準からの差で、サンプル間のピークを取り逃すことがある。これらの計測付き実行時間を速度表に含めていない。

モデル条件ホスト最大RSS GiBGPU使用量の増分 GiBサンプル数
cube104old5.588.63300
cube104new5.090.84131
cube104cpu324.68—219
plate-millionold6.555.88571
plate-millionnew4.580.87144
plate-millioncpu324.15—372
cube144new12.811.30298
cube144cpu3212.41—499

解析解がある大規模モデルでの規模検証

一辺110 mmの鋼の立方体に、軸方向120 MPa、側面に約51.43 MPaの引張り応力を与え、片側の面を固定。理論上は軸方向にだけ一様に伸びる。8積分点の要素内力に加えて、全節点の変位・応力・ひずみをこの独立な数式と照合し、支持反力 −1.452 MN も確認した。新たな規模に適用できるかを調べた別入力・各1回の実行であり、上の3回中央値と倍率を混ぜない。全場の対解析解相対L2誤差5×10⁻⁶を基準とした。標準版の六面体の節点換算係数は定数場に対する和が0.99996で、ソルバー残差が小さくても出力応力に約0.004%の偏りが生じる。高精度版ではこの係数を2点ガウス位置から理論式で求めた。主要な速度比較にはこの出力仕様の変更を入れていない。

自由方程式数実行条件節点値の換算全体 秒変位/解析解 相対L2応力/解析解 相対L2力の相対残差照合
104,544A100 1枚標準の出力換算0.599.22e-074.13e-051.89e-12基準外
104,544CPU 32コア標準の出力換算0.469.22e-074.13e-051.89e-12基準外
104,544A100 1枚高精度の出力換算0.559.22e-072.88e-071.89e-12合格
104,544CPU 32コア高精度の出力換算0.569.22e-072.88e-071.89e-12合格
12,442,080A100 1枚標準の出力換算10.739.43e-074.13e-053.29e-12基準外
12,442,080CPU 32コア標準の出力換算14.399.43e-074.13e-053.43e-12基準外
12,442,080CPU 32コア高精度の出力換算17.349.43e-072.88e-073.58e-12合格

立方体の6面に異なる一様圧力を与えた検算では、全6,144面のベクトル合力が手計算と一致(−9,000, −2,000, −8,000 N)。全節点の出力は独立CPU直接解と照合した。

厚みで材料が変わる平板を解く

上半分と下半分でヤング率とポアソン比が異なる平板。追加版は各層の厚さと全要素の材料定数を実際に比較して、等しい層の係数だけを共有した。元の均一厚板用の版は通常の行列を使用する。主要な中央値には入らない各1回の適用確認。

モデル条件全体 秒実際の経路応力の相対L2
厚み方向に材料2種類(2.87万要素)GPU・層別候補0.69GPU extruded equilibrium PCG1.38e-10
厚み方向に材料2種類(2.87万要素)CPU・層別候補1.12CPU extruded equilibrium PCG1.37e-10
厚み方向に材料2種類(2.87万要素)GPU・通常行列1.00GPU PCG1.35e-10
厚み方向に材料2種類(30.72万要素)GPU・層別候補15.83直接法に切替9.69e-10
厚み方向に材料2種類(30.72万要素)CPU・層別候補53.73直接法に切替6.05e-09
厚み方向に材料2種類(30.72万要素)GPU・通常行列15.32直接法に切替7.65e-10

配布ZIPから生成・復元した入力 11 件を実機で使用したファイルとSHA-256照合し、全件一致した。

配布ソースのGPU版 1216 ファイルとCPU版 1206 ファイルは、実機でクリーンビルドしたソースツリーと SHA-256 で一致。入力と実行バイナリの照合値は証跡に記録した。