AI・ローカルLLM
GPUサーバーでローカルLLMはどこまで使えるか: 運用assistantからFortran/CUDA高速化まで
GPUマキシマイザー開発の一環として、巨大なローカルLLMをA100 GPUサーバー上で動かし、GPU運用assistant、agent loop、実Fortran/CUDA高速化支援までを検証しました。
AI・ローカルLLM
GPUマキシマイザー開発の一環として、巨大なローカルLLMをA100 GPUサーバー上で動かし、GPU運用assistant、agent loop、実Fortran/CUDA高速化支援までを検証しました。
ベンチマーク・検証
HPCDIY-ERMGPU8R4S(こちら)に GeForce RTX 4090 を 2 枚実装して、nvidia-smi と deviceQuery を実行してみました。