GPUサーバー
GLM-5.2 2bitはGPUサーバー運用AIに使えるか？ A100×4でDS4/Qwen3-14Bと比較
A100 80GB×4でGLM-5.2 2bit GGUFをロード・生成・OpenAI互換API応答まで確認。さらにDS4/Qwen3-14Bと、Slurm導入前判断、NVIDIA driver再インストール要求、vLLM OOMなど6つのGPUサーバー運用タスクで比較しました。
GPUサーバー
A100 80GB×4でGLM-5.2 2bit GGUFをロード・生成・OpenAI互換API応答まで確認。さらにDS4/Qwen3-14Bと、Slurm導入前判断、NVIDIA driver再インストール要求、vLLM OOMなど6つのGPUサーバー運用タスクで比較しました。
ARC GPU Maximizer
DS4 q2-imatrix / ctx131K の短時間smokeと8K benchmarkが、A100 80GB×2 NVLink接続ペアで完走しました。今回の結果は q2・短時間検証・NVLink接続ペアという条件付きですが、少なくとも入口構成としてはA100×4必須ではない可能性を確認できました。