AI・ローカルLLM

AI・ローカルLLM

A100 x4で大型ローカルLLMはどこまで使えるか: 実際の質問と回答例で比較

A100 80GB x4のGPUサーバで複数のローカルLLMを動かし、導入説明、障害メモ、要約、ブログ構成という実務寄りの質問で回答の違いを比較しました。

AI・ローカルLLM

GPUサーバーでローカルLLMはどこまで使えるか: 運用assistantからFortran/CUDA高速化まで

GPUマキシマイザー開発の一環として、巨大なローカルLLMをA100 GPUサーバー上で動かし、GPU運用assistant、agent loop、実Fortran/CUDA高速化支援までを検証しました。

AI・ローカルLLM

GLM-5.2 2bitはGPUサーバー運用AIに使えるか？ A100×4でDS4/Qwen3-14Bと比較

A100 80GB×4でGLM-5.2 2bit GGUFをロード・生成・OpenAI互換API応答まで確認。さらにDS4/Qwen3-14Bと、Slurm導入前判断、NVIDIA driver再インストール要求、vLLM OOMなど6つのGPUサーバー運用タスクで比較しました。

AI・ローカルLLM

A100×4は必須ではなかった：DS4 q2をA100 80GB×2 NVLinkで動かす

DS4 q2-imatrix / ctx131K の短時間smokeと8K benchmarkが、A100 80GB×2 NVLink接続ペアで完走しました。今回の結果は q2・短時間検証・NVLink接続ペアという条件付きですが、少なくとも入口構成としてはA100×4必須ではない可能性を確認できました。

AI・ローカルLLM

Local LLM controllerは未知の研究計算タスクを前進させられるか：LLZOとQuantum ESPRESSOで実践

Local LLM controller、Web検索、安全なCLI操作を組み合わせ、LLZOのLiイオン拡散評価に向けたQuantum ESPRESSO環境構築とbounded sanity runまでを実践しました。

AI・ローカルLLM

RTX PRO 6000 Blackwell 2枚で科学計算LLMを検証：72B BF16、120B FP8、235B NVFP4を比較

RTX PRO 6000 Blackwell 2GPU評価機で、Qwen2.5-72B BF16/FP8/NVFP4、Nemotron3 120B FP8、Qwen3 235B NVFP4をQE/LAMMPS入力生成タスクで比較しました。

AI・ローカルLLM

ローカルLLMはAllegro/NeQUIPの学習設定YAMLを作れるのか：Nemotronでmetadata-only preflightを検証

ローカルLLMはAllegro/NeQUIPの学習設定YAMLを作れるのか：Nemotronでmetadata-only preflightを検証 これは性能ベンチマークではありません。A100x4上のローカルLLMで、Allegro / NeQUIPの学習設定YAMLをどこまで安全に作り、実行前に確認できるかを調べた機能検証です。 結論から言うと、NemotronはAllegro / NeQUIPのtraining YAML候補を生成できました。既存SIF内で torch / nequip / allegro のimport、A100x4のCUDA可視

AI・ローカルLLM

ローカルLLMはHPC入力ファイルを作り、エラーを直せるのか：NemotronでQuantum ESPRESSOとLAMMPSを検証

ローカルLLMはHPC入力ファイルを作り、エラーを直せるのか：NemotronでQuantum ESPRESSOとLAMMPSを検証 この記事の位置づけ これは性能ベンチマークではなく、 ローカルLLMがHPC入力ファイルの生成、実行ログを使った修正、再実行まで支援できるか を確認した機能検証です。 H200 NVLやRTX PRO 6000 Blackwellへの一般化はせず、次回以降の別フェーズとして扱います。 結論 A100 80GB x4上で NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 をローカル配信し、Quantum

AI・ローカルLLM

DoMINOで“外部空力（CFD）”を秒オーダーで試す（初心者向け）

DoMINOで“外部空力（CFD）”を秒オーダーで試す（初心者向け） 結論（1分） DoMINO（DoMINO-Automotive-Aero NIM）は、車体形状（STL）から 抗力/揚力 と 表面圧力分布 を返す「CFDサロゲート（代理モデル）」です。 4GPUマシンでは、 同時リクエスト（並列） を増やすことでスループットがほぼ比例して伸びます。 実測では、H100 NVL 4GPUで conc=1→9.16 req/min、conc=4→36.92 req/min（約4倍）、conc=8→55.49 req/min でした。 --- 1) DoM

AI・ローカルLLM

オンプレLLMでログ一次切り分け：Llama 3.3 70Bでやってみた（根拠引用を強制）

オンプレLLMでログ一次切り分け：Llama 3.3 70Bでやってみた（根拠引用を強制） このページの狙い LLMに「障害の原因を当てさせる」よりも、 (1) ログから根拠を抜き出す → (2) 可能性を整理 → (3) 次に打つコマンドを提案 までを“オンプレで”完結させる例です。 --- 入力ログ（3行） 今回は、よくあるパターンの短いログ断片で試しました（抜粋）。 NVRM: Xid (PCI:0000:3b:00): 31, pid=1234, Ch 00000010, MMU Fault CUDA error: out of memory s

AI・ローカルLLM

AI推論サービング実測：A100×4 vs H100 NVL×4（vLLM / Qwen2.5-7B）TTFTと同時ユーザー

AI推論サービング実測：A100×4 vs H100 NVL×4（vLLM / Qwen2.5-7B）TTFTと同時ユーザー 結論（3行） 同時32の出力スループット： H100×4 = 5414 tok/s , A100×4 = 3723 tok/s （ 1.45× ） 同時32のTTFT（平均）： H100×4 = 66.66 ms , A100×4 = 82.11 ms （H100の方が短い） つまり 「同時ユーザーが増えるほど差が効く」 ＝社内AI・RAG・運用支援のような“多人数同時利用”でGPU選定の根拠にしやすい --- これは何の実測？

AI・ローカルLLM

大規模言語モデルMistral-NeMoにGPT4o作成の問題を回答させ、GPT4oで採点してみた

前回の記事では、Mistral AI社が開発したLLMを小規模なマシンでChatbotにすることを紹介しました。 今回はこのChatbotにGPT4o作成の問題を入力し、出力された回答をGPT4oで採点してみました。...