AI・ローカルLLM
GLM-5.2 2bitはGPUサーバー運用AIに使えるか？ A100×4でDS4/Qwen3-14Bと比較
A100 80GB×4でGLM-5.2 2bit GGUFをロード・生成・OpenAI互換API応答まで確認。さらにDS4/Qwen3-14Bと、Slurm導入前判断、NVIDIA driver再インストール要求、vLLM OOMなど6つのGPUサーバー運用タスクで比較しました。
ServerGear検証
ベンチマーク・検証
RTX A6000をそろそろ買い替えようとする場合、候補はRTX Pro 6000 Blackwell Max-Qだとして、両者を比較する
RTX A6000 と RTX PRO 6000 Blackwell Max-Q (デスクトップ向け) ― PyTorch 学習ワークロード向け比較表 指標 RTX A6000 RTX PRO 6000 Blackwell Max-Q アーキテクチャ Ampere (GA102) ...
AI・ローカルLLM
大規模言語モデルMistral-NeMoにGPT4o作成の問題を回答させ、GPT4oで採点してみた
前回の記事では、Mistral AI社が開発したLLMを小規模なマシンでChatbotにすることを紹介しました。 今回はこのChatbotにGPT4o作成の問題を入力し、出力された回答をGPT4oで採点してみました。...
ベンチマーク・検証
2GPU: GeForce RTX 4090 の nvidia-smi と deviceQuery
HPCDIY-ERMGPU8R4S（こちら）に GeForce RTX 4090 を 2 枚実装して、nvidia-smi と deviceQuery を実行してみました。