GPUサーバーの状態を日本語レポートに｜無料点検スクリプトをA100・H100で検証

GPUサーバーの調子が気になるとき、温度、ECC、メモリ、保存領域を別々に調べ、相談用にまとめるのは手間がかかります。無料の ServerGear GPU Health 0.1.0 は、これらの情報を読み、日本語の点検レポートと相談用テキストを作ります。

設定変更・負荷試験・結果の自動送信は行いません。A100×4、H100×2、GPUなしBox PCで検証しました。この記事では、実際に見つかった「空き容量2.7%」と「温度判定が未確認になる例」も紹介します。

GPU健康診断スクリプトを無料ダウンロード

動画で手順を見る

YouTubeで動画を見る。約3分30秒。実機で生成したレポートの画面とコマンド例による解説です。連続した操作の画面録画ではありません。ナレーションにはOpenAIのAI音声「Marin」を使用しています。

用意する環境

• Ubuntu 24.04 / 26.04・x86_64、Python 3.10以上。
• GPU情報を取得する場合は、利用できるNVIDIAドライバーとnvidia-smi。
• 新しいレポートフォルダーを作成できる場所。

追加のPythonパッケージは不要です。通常は一般ユーザーで実行します。GPUなしでもOS・メモリ・容量を点検できますが、GPUの点検結果は「未実施」です。

本番環境での利用は運用ルールに従ってください。設定変更は行いませんが、情報照会による負荷がゼロになるわけではありません。ドライバーや権限の状態によって取得できない項目もあります。

1. ダウンロードして展開する

ダウンロードページでメールアドレスを入力し、配信内容と個人情報の取扱いを確認して同意します。無料スクリプトの更新、GPU・HPCの技術情報、関連する製品・構築サービスの案内を含みます。配信はいつでも停止できます。Slurm Starterと共通のお知らせ登録です。

届いた確認メールから手続きを進めると、確認したブラウザーでZIPを取得できます。確認リンクは24時間、確認後の取得権限は30分間・3回まで有効です。

ZIPをUbuntuサーバーへ置き、展開します。ダウンロードした場所に合わせてパスを変更してください。GUIで展開しても構いません。

unzip servergear-gpu-health-0.1.0.zip
cd servergear-gpu-health-0.1.0
sha256sum -c SHA256SUMS

unzipがない環境では、Pythonの標準機能も使えます。

python3 -m zipfile -e servergear-gpu-health-0.1.0.zip .

ZIPのSHA256はダウンロード画面に表示しています。展開後のチェックサムに不一致があれば、実行を止めて再取得してください。READMEとdocs/validation.mdにも対象範囲と注意点を記載しています。

2. 点検を実行する

展開したフォルダーで、次のコマンドを実行します。

python3 sg-gpu-health.py --output health-report

新しいhealth-reportフォルダーに、次の4ファイルが生成されます。

既存フォルダーは上書きしません。再実行するときは別名にするか、--outputを省略すると日時入りのフォルダーを作成できます。

python3 sg-gpu-health.py

終了コード0は「レポートを生成した」という意味です。要確認項目がないという意味ではありません。

3. report.htmlを開く

Ubuntuのデスクトップなら、ファイルマネージャーからhealth-report/report.htmlをブラウザーで開きます。外部画像・JavaScript・通信を使わずに読めます。

SSHで接続している場合は、手元のPCへレポートをコピーします。次は手元のPCで実行する例です。ユーザー名・接続先・絶対パスを自分の環境に置き換えます。

scp USER@SERVER:/ABSOLUTE/PATH/health-report/report.html ./gpu-report.html

コピーしたgpu-report.htmlを開いてください。レポートを公開Webフォルダーへ置く必要はありません。サーバー上の出力フォルダー・ファイルは所有者だけが読める権限で作成します。

4. 「要確認」と「未確認」の違いを読む

実例A：A100機の空き容量が約2.7%

今回のA100機では、ルート領域の利用可能容量が約2.7%でした。本ツールでは容量やinodeの残量10%未満を運用上の目安として「要確認」にします。不要データの有無や保存先を確認するきっかけになります。自動削除はしません。

実例B：H100機では温度29℃でも「未確認」

最終検証時のH100機は29℃でしたが、比較に使う「速度低下しきい値」を取得できませんでした。このため、温度が低そうに見えても「確認済み」とせず、「未確認」にしています。未取得を0へ置き換えません。

ECCは、ドライバーのロード以降のvolatile値と、過去からの累積を示すaggregate値を区別します。今回の点検処理で発生したエラー数ではありません。GPUの高い利用率だけを異常とも判定しません。nvidia-smiが表示するCUDAバージョンはドライバー側の対応情報であり、CUDA ToolkitやPyTorchの導入確認にはなりません。NVIDIA公式のnvidia-smi資料も参照してください。

5. データ用の保存領域も確認する

ルート領域は毎回確認します。追加のパスを指定する場合は次のように実行します。

python3 sg-gpu-health.py --disk /data --output health-report-data

/dataは実際の確認対象に置き換えてください。最大8領域を追加できます。指定パスそのものはレポートに記録せず、「追加領域1」などと表示します。同じファイルシステムの別フォルダーを指定すれば同じ容量になります。読み書き速度やディスク故障の診断ではありません。

6. 困ったらsupport.txtを確認して相談する

無料スクリプトの相談窓口は、script-support@server-gear.comです。AIによる一次対応を利用しています。取扱いと担当者への直接相談方法は窓口ページに記載しています。

support.txtを開いて内容を確認し、必要な箇所だけメール本文に貼ってください。次の情報があると確認しやすくなります。

• スクリプト名・版、困っている点。
• 期待した動作と実際の結果。
• 発生時刻と、再現する条件。

ホスト名、IP・MACアドレス、ユーザー名、GPU UUID・シリアル、プロセス名、コマンド行、ログ本文、指定パスは出力しません。ただし、型番・構成・日時・数値も機密になる場合があります。送信前に全体を確認し、パスワードや秘密鍵は追記しないでください。ツールからの自動送信はありません。

実機で検証した範囲

検証日：2026年10月25日。配布版：0.1.0。

取得失敗、N/A、新旧ECC形式、部分取得と既知エラー、タイムアウト、保存権限、上書き拒否などは21件のオフライン試験でも確認しています。GPU故障を意図的に発生させた試験ではありません。詳しい検証条件も公開しています。

この版ではCUDA計算、GPU間通信、NCCL、NVLink、InfiniBand、性能・負荷・長期安定性、SMART、RAID、BMC、全ログやXidの解析を行いません。H200・B200・RTX、MIG有効時の詳細、全ドライバー版は実機未検証です。GPU・サーバー全体の正常や故障、交換の要否を保証するツールではありません。

点検から、構築・運用の相談へ

点検結果を整理できると、「容量の増設が必要か」「計算用途に合うGPU構成か」「Slurmを含めた運用をどう整えるか」といった相談もしやすくなります。ServerGearでは、GPU・HPCサーバーの構築、構成の見直し、選定・購入の相談を受け付けています。

構築・選定・購入について相談する

ジョブ管理を整えたい方は、Slurm自動導入スクリプトの記事もご覧ください。GPU Healthだけでも利用でき、Slurmの導入は前提ではありません。

本ツールはMIT Licenseです。NVIDIAの認証製品ではありません。関連ソフトウェアには各ライセンスが適用されます。