クリーンUbuntuからGROMACSのGPU計算へ：ComputeBuilder AIで構築からSlurmまで

## 現在の構成

| 項目 | 状態 |
|------|------|
| OS | Ubuntu 24.04.5 LTS x86_64 ✅ 対応 |
| GPU | RTX PRO 6000 Blackwell（PCI 0x2bb4、compute capability 12.0）× 1枚 |
| CPU / RAM / ディスク | 48スレッド / 503 GiB / 空き 843 GiB |
| NVIDIA ドライバー | **未導入**（580.178.04 open が必要） |
| CUDA Toolkit 13.0 | **未導入** |
| GROMACS 2026.3 | **未導入**（バイナリなし） |
| Slurm (slurm-wlm) | **未導入** |
| HPC SDK | 不要（本手順では GCC + CMake + nvcc で構築） |

---

## 内蔵手順の順序と目的

| 順 | step | 内容 |
|----|------|------|
| 1 | **driver** | NVIDIA 580.178.04 open をAPTで導入 |
| 2 | **activate_driver** | 再起動なしでドライバーを有効化 |
| 3 | **cuda_toolkit** | CUDA Toolkit 13.0（nvcc V13.0.88）＋ GCC/CMake/FFTW 等のビルド依存を導入 |
| 4 | **gromacs_source** | GROMACS 2026.3 ソースを取得・SHA256確認 |
| 5 | **gromacs_build** | Ninja + `--parallel 16` でビルド、`~/.local/opt/gromacs-2026.3-cuda` にインストール |
| 6 | **gromacs_test** | benchMEM（MPINAT公開、約8.2万原子、CC BY 4.0）で実GPU実行・Performance確認 |
| 7 | **slurm** | Slurm 23.11.x（munge / slurmctld / slurmd）を単一ノード gpumain パーティションで設定 |
| 8 | **slurm_test** | 各1GPU要求の2ジョブを sbatch 投入し、1つ RUNNING → 他 PENDING → 両方 COMPLETED/0:0 を検証 |

---

## ビルドの要点

- 精度: **mixed**（混合精度）
- GPU: CUDA（cuFFT）、CPU SIMD: AVX2_256
- 並列: thread-MPI（GMX_MPI=OFF）＋ OpenMP（GMX_OPENMP=ON）— 単一ノードのため外部MPI不要
- インストール先: `/home/dl/.local/opt/gromacs-2026.3-cuda`
- 環境読み込み: `source ~/.local/opt/gromacs-2026.3-cuda/bin/GMXRC`

---

## Slurm のポイント

- ConstrainCores / ConstrainDevices = yes（cgroup v2）
- ConstrainRAMSpace = **no**（スケジューラの割当管理のみ、メモリ強制制限ではない）
- 完了確認: `scontrol show job` と保存ログ（sacct は会計DB未設定のため使用しない）

---

すべて未導入の状態です。インストールを進める場合は、どの段階から実行するかお知らせください。

## 完了しました

再起動なしでドライバー有効化とGPU認識を確認できました。

| 項目 | 結果 |
|------|------|
| パッケージ | nvidia-driver-580-open 580.178.04-0ubuntu0.24.04.1 |
| 有効化 | 再起動不要（modprobe でカーネルモジュールロード） |
| GPU | NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition × 1 |
| ドライバーバージョン | 580.178.04 |
| Compute Capability | 12.0（sm_120） |
| 再起動 | 実施していません（boot_id 変化なし） |

**かかった時間**: driver ~130秒、activate_driver ~1.6秒

次の段階（cuda_toolkit 以降）を進める場合はお知らせください。

## GROMACS 2026.3 GPU ビルドに必要なもの

### HPC SDK・外部MPIは不要です

単一ノード・thread-MPI構成のため、**HPC SDKも外部MPIも不要**です。cuda_toolkit の段階で GCC/G++ 13・CMake・FFTW3 等のビルド依存がまとめて導入されます。

### ビルド環境

| 項目 | 内容 |
|------|------|
| C/C++ コンパイラー | GCC/G++ 13（Ubuntu 24.04 標準） |
| CUDA コンパイラー | nvcc V13.0.88（CUDA Toolkit 13.0） |
| CMake | 3.28以上（cuda_toolkit で導入） |
| FFT | システムFFTW3（CPU側）、GPU FFTはcuFFT |
| ビルドジェネレーター | Ninja |
| インストール先 | `~/.local/opt/gromacs-2026.3-cuda` |

### 主要ビルド設定

| オプション | 値 | 意味 |
|------------|---|------|
| GMX_GPU | CUDA | GPU計算を有効化 |
| CMAKE_CUDA_ARCHITECTURES | 120 | RTX PRO 6000 の sm_120 向け |
| GMX_MPI | OFF | 単一ノード内 thread-MPI |
| GMX_OPENMP | ON | CPU側マルチスレッド |
| GMX_FFT_LIBRARY | fftw3 | CPU FFTはFFTW3 |
| GMX_SIMD | AVX2_256 | CPU SIMD命令 |
| 精度 | mixed（混合精度） | 単精度と同一ではない |

### 実行する手順（3段階）

1. **cuda_toolkit** — CUDA Toolkit 13.0 とビルド依存（GCC、CMake、FFTW3、Ninja等）を一括導入
2. **gromacs_source** — GROMACS 2026.3 ソース取得・SHA256確認
3. **gromacs_build** — `cmake --build --parallel 16` でビルド → `cmake --install` で `~/.local/opt/` へインストール

ビルド完了後、`source ~/.local/opt/gromacs-2026.3-cuda/bin/GMXRC` で環境を通します。

### 補足

- 複数ノードで動かす場合は外部MPI対応での再ビルドが必要ですが、今回の1ノード構成では不要です。
- 「混合精度」はCPU/GPUの担当分けではなく、数値精度の指定です。
- 所要時間はビルド実行後に実測をお伝えします。

実行のご指示があればお申し付けください。

## 完了しました（約162秒）

CUDA Toolkit とビルドに必要なツール一式が導入され、正常終了（exit_code=0）です。

| ソフトウェア | バージョン |
|--------------|-----------|
| CUDA Toolkit | 13.0.3-1（パッケージ）/ **V13.0.88**（nvcc） |
| GCC | 13.3.0（Ubuntu 13.3.0-6ubuntu2~24.04.1） |
| CMake | 3.28.3 |
| FFTW3 | 3.3.10 |
| Ninja | 1.11.1 |

### 導入されたビルド依存

build-essential、cmake、ninja-build、libfftw3-dev、pkg-config、git

### 環境読み込み

```
source /etc/profile.d/computebuilder-cuda.sh
```

### 補足

- nvcc V13.0.88 は CUDA Toolkit 13.0 のコンパイラーです。ドライバーの CUDA 対応バージョンや GPU の Compute Capability 12.0（sm_120）とは別の概念です。
- HPC SDK は不要のままです。

---

次の段階は **gromacs_source**（ソース取得・SHA256確認）→ **gromacs_build**（ビルド）です。進めますか？

## 完了しました（約16秒）

正常終了（exit_code=0）です。

### GROMACS ソース

| 項目 | 内容 |
|------|------|
| バージョン | 2026.3 |
| 入手元 | `https://ftp.gromacs.org/gromacs/gromacs-2026.3.tar.gz`（公式FTP） |
| SHA256 | `1094b7bbc6a3960223827114626657110b40096cdf9598a727935fc84ebf8aa0` ✅ 一致 |
| キャッシュ再利用 | いいえ（新規取得） |

### ベンチマーク入力データ

| 項目 | 内容 |
|------|------|
| 名称 | benchMEM（膜タンパク質＋水、約82,000原子） |
| データSHA256 | `3c1c8cd4f274d532f48c4668e1490d389486850d6b3b258dfad4581aa11380a4` ✅ 一致 |
| TPRファイルSHA256 | `5099268bf3a3d948c03b3b78432f29a2c5d4207b54d02e7e294f8138b587d473` |
| 出所 | Max Planck Institute for Multidisciplinary Sciences（Göttingen）、理論・計算生物物理学部門 |
| リンク | https://www.mpinat.mpg.de/grubmueller/bench |
| ライセンス | CC BY 4.0 |

これは公開されているベンチマークであり、自作の研究データや独自の科学的成果ではありません。

---

次の段階は **gromacs_build**（Ninja で `--parallel 16` ビルド）です。進めますか？

## ビルド完了しました（約87秒）

正常終了（exit_code=0）です。

### 実行ファイル

```
/home/dl/.local/opt/gromacs-2026.3-cuda/bin/gmx
```

### 環境読み込み方法

```
source /home/dl/.local/opt/gromacs-2026.3-cuda/bin/GMXRC
```

### ビルド構成（gmx --version で確認済み）

| 項目 | 値 |
|------|---|
| GROMACS | 2026.3 |
| 精度 | mixed（混合精度） |
| MPI | thread-MPI（組み込み） |
| OpenMP | 有効（最大128スレッド） |
| GPU | CUDA |
| CUDA targets | **120**（sm_120 = RTX PRO 6000 Blackwell） |
| CUDA コンパイラー | nvcc V13.0.88 |
| CUDA driver / runtime | 13.0 / 13.0 |
| CPU SIMD | AVX2_256 |
| CPU FFT | fftw-3.3.10-sse2-avx |
| GPU FFT | cuFFT |
| C/C++ コンパイラー | GCC 13.3.0 |
| 外部MPI | 不使用（単一ノード） |
| バイナリ SHA256 | `492b1370ae604f558884206ec5cf939a848c36253af93c58d7a0ca4370db6310` |

---

次の段階は **gromacs_test**（benchMEM による実GPU実行・Performance確認）→ **slurm**（ジョブスケジューラ設定）→ **slurm_test** の順です。進めますか？

## GPU計算が完了しました（約16秒）

正常終了（exit_code=0, passed=true）です。

### 実行結果

| 項目 | 値 |
|------|---|
| 入力 | benchMEM（約82,000原子、膜タンパク質＋水） |
| ステップ数 | 20,000 |
| Performance | **249.166 ns/day** |
| 実時間 | 15.9秒 |

### GPU使用の証拠

**1. プロセス監視による確認（nvidia-smi）**

実行中に以下のGPUプロセスを検出：

| PID | GPU UUID | 実行ファイル | VRAM |
|-----|----------|-------------|------|
| 28127 | GPU-cf9e9e02-...（RTX PRO 6000 Blackwell） | gmx | **608 MiB** |

ピークGPU使用率: 45%（20,000ステップの短時間実行のため）

**2. GROMACSログ内のGPUマーカー**

```
Using GPU 8x4 nonbonded short-range kernels
NBNxM GPU setup: super-cluster 2x2x2
 Launch PP GPU ops.        1    8      39801       0.342   11.477   2.5%
 PME GPU mesh              1    8      20001       0.595   19.948   4.3%
 Wait GPU NB local         1    8      20001       0.246    8.242   1.8%
 Wait GPU state copy       1    8      18000       3.116  104.556  22.5%
 Launch PME GPU ops.       1    8     160008       0.408   13.699   2.9%
```

NBNxM（非結合）カーネル、PMEメッシュ計算、GPU間の状態コピーなど、複数のGPUカーネルが実際に起動されていることが確認できます。

### まとめ

「終了した」だけでなく、プロセス監視でGPUメモリを占有する gmx プロセスが検出され、ログ上でも非結合計算・PME・GPU演算が明示的に実行されています。RTX PRO 6000 Blackwell が実際に計算に使われていることが確認できました。

---

次の段階は **slurm**（単一ノード gpumain パーティション設定）です。進めますか？

## Slurm による単一GPU管理の仕組み

### 想定される動き

GPUが1枚のため、各1GPUを要求する2ジョブを投入すると：

1. **ジョブA** → RUNNING（GPUを専有して実行開始）
2. **ジョブB** → PENDING（GPU待ちで待機）
3. ジョブA完了 → COMPLETED/0:0
4. ジョブBが自動的にRUNNINGに移行 → COMPLETED/0:0

GPU共有（MPSやMIG）は設定しないため、同時実行にはなりません。順番に1つずつ処理されます。

### 必要な設定（slurm の段階で実施）

| 項目 | 内容 | 目的 |
|------|------|------|
| サービス | munge / slurmctld / slurmd | 認証・コントローラー・ノードデーモン |
| パーティション | gpumain | 計算ジョブの投入先 |
| GPUリソース | gres.conf: Name=gpu File=/dev/nvidia0 | 1基のGPUをスケジューラに認識させる |
| ノード定義 | Gres=gpu:1 | このノードがGPU×1を持つと宣言 |
| cgroup v2 | ConstrainCores=yes, ConstrainDevices=yes | CPUコアとGPUデバイスの割当を分離 |
| ConstrainRAMSpace | **no** | スケジューラがメモリを割当管理するが、cgroupで強制制限はしない |
| RealMemory | 検出RAM − 8192 MiB | OS予約分を除いた割当可能量 |
| 拓扑 | slurmd -C で自動検出 | CPU・メモリの実際の構成に基づく設定 |

### 検証手順（slurm_test の段階で実施）

各ジョブ: 1 GPU / 8 CPU / 8G メモリを要求

1. benchMEM で batch スクリプト（job.sh）を作成（内部で `srun gmx mdrun ...` を呼ぶ）
2. `sbatch --partition=gpumain --gres=gpu:1 --cpus-per-task=8 --mem=8G job.sh` を2回投入
3. `squeue` で1つが RUNNING、他が PENDING になることを確認
4. 完了後 `scontrol show job <JOBID>` で ExitCode=0:0 を確認
5. 保存ログで Performance 行を確認

### 注意点

- **sacct は使いません**。会計DBを設定しないため、完了確認は scontrol と保存ログで行います。
- sbatch はバッチスクリプト経由で srun を呼びます。gmx のコマンド引数を sbatch に直接は渡しません。
- `-ntmpi 1` は thread-MPI ランク数、`-ntomp 8` は OpenMP スレッド数です。

---

インストールのご指示があればお申し付けください。

## 完了しました（約8秒）

正常終了（exit_code=0）で、ノードが利用可能な状態になっています。

### 検出・設定されたトポロジー

| 項目 | 値 |
|------|---|
| Slurm バージョン | 23.11.4 |
| ノード名 | pro6k-clean |
| CPUs | 48（1ソケット × 24コア × 2スレッド） |
| RealMemory | 507,061 MiB（検出 515,253 MiB − OS予約 8,192 MiB） |
| GPU | 1（/dev/nvidia0） |
| パーティション | **gpumain**（デフォルト） |
| cgroup デバイス制限 | ConstrainDevices=yes |

### ノード状態

```
sinfo → gpumain*  idle  gpu:1
```

`idle` は正常にアイドルでジョブを受け付けられる状態です。GPU×1がリソースとして認識されています。

### 稼働サービス

| サービス | 役割 |
|----------|------|
| munge | ノード間認証 |
| slurmctld | ジョブスケジューラ |
| slurmd | ノードワーカー |

---

最後の段階 **slurm_test**（1GPUの2ジョブを sbatch で投入し、1つ RUNNING → 他 PENDING → 両方 COMPLETED/0:0 を検証）が残っています。進めますか？

## 完了しました（約93秒）

両ジョブが順番に正常終了し、すべての検証項目をパスしました（exit_code=0, passed=true）。

---

### ジョブ実行タイムライン

| | Job 1 | Job 2 |
|--|-------|-------|
| **状態遷移** | RUNNING → COMPLETED | PENDING（Job 1実行中待機） → RUNNING → COMPLETED |
| **ExitCode** | **0:0** ✅ | **0:0** ✅ |
| **開始 → 終了** | 10:41:10 → 10:41:43 | 10:42:10 → 10:42:42 |
| **ステップ数** | 50,000 | 50,000 |
| **Performance** | **280.634 ns/day** | **288.890 ns/day** |
| **実時間** | 32.9秒 | 32.1秒 |
| **割当** | cpu=8, mem=8G, node=1 | cpu=8, mem=8G, node=1 |
| **CUDA_VISIBLE_DEVICES** | 0 | 0 |

### 検証結果サマリー

| 検証項目 | 結果 |
|----------|------|
| 1つ実行中に他が PENDING | ✅ 観測済み |
| 同時 RUNNING は発生しない | ✅ 発生なし |
| 実行期間が重ならない（逐次実行） | ✅ 確認済み |
| Job 1 GPU使用 | ✅ PID 29311、VRAM 608 MiB、NBNxM/PME GPUカーネル起動 |
| Job 2 GPU使用 | ✅ PID 30258、VRAM 608 MiB、同様のGPUマーカー確認 |
| 両方 COMPLETED / ExitCode=0:0 | ✅ |

GPUは1枚のまま、Job 1 の GPU 確保が解放された後に Job 2 が同じ GPU（/dev/nvidia0）を順序拿到得て実行したことが、タイムラインとプロセス監視から確認できました。

---

## 構築全体のまとめ

| 段階 | 所要 | 状態 |
|------|------|------|
| driver | ~130秒 | ✅ 580.178.04 open |
| activate_driver | ~2秒 | ✅ 再起動なしでGPU認識 |
| cuda_toolkit | ~162秒 | ✅ V13.0.88 + ビルド依存 |
| gromacs_source | ~16秒 | ✅ 2026.3 + benchMEM |
| gromacs_build | ~87秒 | ✅ sm_120, mixed, CUDA |
| gromacs_test | ~16秒 | ✅ 249 ns/day |
| slurm | ~8秒 | ✅ gpumain, gpu:1 |
| slurm_test | ~93秒 | ✅ 2ジョブ逐次 COMPLETED |

### 利用開始のために

```bash
source /home/dl/.local/opt/gromacs-2026.3-cuda/bin/GMXRC
```

ジョブ投入例:
```bash
sbatch --partition=gpumain --gres=gpu:1 --cpus-per-task=8 --mem=8G job.sh
```

完了確認は `scontrol show job <JOBID>` と保存ログで行います（sacct は会計DB未設定のため使いません）。