CalculiX 2.23 / A100 1枚 追試用ソース
======================================

Linux x86-64 用。cudss/ と pardiso/ に、それぞれの実行ファイルに使った CalculiX のソース一式を収録した。変更した Fortran、C、C++、CUDA の各ファイルも含む。ライセンスは COPYING、LICENSE と各ファイルのヘッダーを参照。

ビルド
------
この計測は GCC / GFortran、CUDA 13.1、NVIDIA cuDSS 0.8.0、Intel oneMKL ILP64、OpenMP を使用した。GPU は A100 PCIe 80 GB。oneMKL には静的な libmkl_intel_ilp64.a, libmkl_gnu_thread.a, libmkl_core.a が必要。

例（ディレクトリは各環境に合わせる）

  export CUDA_HOME=/usr/local/cuda
  export CUDA_MATH_ROOT=$CUDA_HOME
  export CUDSS_ROOT=/path/to/cudss
  export MKL_ROOT=/opt/intel/oneapi/mkl/latest
  export PATH=$CUDA_HOME/bin:$PATH
  bash build.sh cudss build-gpu
  bash build.sh pardiso build-cpu

NVIDIA HPC SDK の分割配置では CUDA_MATH_ROOT を math_libs 内の CUDA バージョン別ディレクトリとする。cuDSS の共有ライブラリーは $CUDSS_ROOT/lib、ヘッダーは $CUDSS_ROOT/include を使う。実測の対象は sm_80。出力ディレクトリには未使用の名前を指定する。

入力と実行
----------
R2、R3、R4 は同じ二本のはりの圧力駆動接触を異なる分割数で解く。R3 の計測例は次のとおり。

  export CCX_CUDSS_THREADING_LIB=libcudss_mtlayer_gomp.so.0
  export CCX_ORDER_THREADS=4
  export GOMP_SPINCOUNT=1000
  bash run_case.sh build-gpu/ccx_2.23_cudss gpu 8 inputs/pressure-r3.inp r3-gpu

  unset CCX_CUDSS_THREADING_LIB CCX_ORDER_THREADS GOMP_SPINCOUNT
  bash run_case.sh build-cpu/ccx_2.23_pardiso cpu 12 inputs/pressure-r3.inp r3-cpu

引張モデルは次のように生成する。

  (cd inputs && python3 generate_cube.py --size 80 --out cube80)
  bash run_case.sh build-gpu/ccx_2.23_cudss gpu 32 inputs/cube80/cube80.inp cube80-gpu

--size 104 と 128 も同じ方法で生成できる。円孔平板の六面体・四面体・細分化版は python3 plate_input.py で inputs/ に生成する。2材料版の完成した入力は inputs/plate-dual.inp に収録した。run_case.sh は CPU 参照では GPU を非表示にする。GPU 版では CUDA_VISIBLE_DEVICES=0 とし、CPU は指定したコアにも固定する。入力読み込みから FRD 出力を含むプロセス終了までが計測範囲。GPU 用バイナリーと CPU 用バイナリーは静的対称問題では原則 PCG、非線形接触では cuDSS / PARDISO を使う。

実装の照合
----------
CCX_AUDIT_DEVICE_CSR=1 は GPU で展開した疎行列をホスト実装と全係数比較する。CCX_CHECK_ANY_SOLID=1 は GPU が組み立てた静的剛性行列を標準の要素処理と比較する。CCX_CHECK_GRAPH=1 はグラフを標準 CalculiX と照合する。CCX_VALIDATE_FRD_TEXT=1 は対応する出力行を元の書式で再構成して文字単位で確認する。これらの追加検査の時間は速度比較から外した。GPU 上の行列組み立ては、対応する線形等方弾性要素と境界条件に限る。実行ログの GPU solid assembly、Grouped brick assembly、GPU PCG accepted 等で実際に選んだ経路を確認できる。

  (cd checks && bash numeric_test.sh)

計測に使う入力、環境変数、測定順、所要時間、照合値は別添の測定記録と照合できる。静的引張の一様負荷入力は節点ごとの荷重を固定しており、異なるメッシュ数での所要時間は計算規模の比較用。円孔平板は分割数が変わっても荷重の総和を 10 kN に保つ。

追加の出力処理とGPU反復法を追試する
---------------------------------
速度表の「今回GPU」と「今回CPU」は標準の build.sh で作る。出力処理をさらに並列化した版には CCX_BUILD_POST=1 を指定する。

  CCX_BUILD_POST=1 bash build.sh cudss build-gpu-post
  CCX_BUILD_POST=1 bash build.sh pardiso build-cpu-post
  bash checks/audit_post.sh cudss build-gpu-post

追加実験のGPU版では次のビルドに対し、実行時に CCX_PCG_BATCH=1 または CCX_PCG_GRAPH=1 を設定できる。グラフ版はPCGの1反復をCUDAグラフに記録し、8反復ごとに残差を読み出す。終了時の真の残差判定は同一。環境変数を両方外すと、この版でもスカラーをCPUに返す従来の反復法を使用する。

  CCX_BUILD_POST=1 CCX_BUILD_BATCH=1 bash build.sh cudss build-gpu-batch
  CCX_PCG_GRAPH=1 bash run_case.sh build-gpu-batch/ccx_2.23_cudss gpu 32 inputs/plate-fine.inp plate-fine-graph

30万7200要素の円孔平板は以下で再生成できる。
  python3 -c "from plate_input import plate; plate('plate-scale',64,60,20)"

このビルドの検証対象は静的線形弾性と掲載した動的接触入力。ARPACKが必要な固有値解析などはこのベンチマーク用ビルドでは使用できない。

一様引張りの解析解テストは python3 inputs/patch_deck.py inputs で生成できる。
支点での反力は −48,000 N、応力の解析解は荷重方向120 MPa、他の5成分はゼロ。
