# ローカルLLM評価手順(案)

## 1. 記録データから読み取れる傾向

- **入力長の増加**：記録00000の1024トークンから記録00159の12631トークンまで、約73トークンずつ単調に増加している。入力長が長いほど入力処理(プリフィル)時間が伸びるため、これを主軸に評価する。
- **同時利用数**：1〜4件が循環しており、同時数が増えるとGPUメモリ消費と待ち時間が増加する。
- **開始待ち時間**：1〜80秒の範囲で変動しており、混雑状況(同時利用数)と相関する可能性がある。
- **用途別の確認項目**は4種類(出力の正確性・応答時間の変動・GPUメモリ余裕・ログの保存)に対応している。

※上記は記録の並びからの推測であり、実データで相関を確認する必要がある。

## 2. 評価手順

**準備**
1. 評価用サーバにローカルLLMをデプロイし、バージョン・量子化設定(例：FP16/INT8/INT4)を記録する。
2. GPUの監視ツール(nvidia-smi等)を1秒間隔で収集するよう設定する。
3. 検証データとして、1024〜12800トークン程度まで段階的に長さを変えた入力を13部門分の用途(要約・コード説明・FAQ・議事録整理)ごとに用意する。

**計測項目と方法**
1. **生成速度**：各リクエストで出力トークン数÷生成所要時間を算出し、トークン/秒を記録する。入力長ごとに5回測定し平均を取る。
2. **入力処理時間**：リクエスト送信から最初のトークン受信までの時間(Time To First Token)を計測する。入力長との相関を散布図で確認する。
3. **GPUメモリ**：推論中の最大使用量と残り容量を記録する。同時利用数1〜4件でそれぞれ計測し、1リクエストあたりの増分を算出する。
4. **同時利用数の影響**：1件、2件、3件、4件の同時実行を各10回ずつ行い、応答時間の平均・最大・分散を比較する。待ち時間(キュー滞留)も記録する。

**品質確認**
5. 用途別に出力の正確性を人手または自動評価で採点する。
6. すべてのリクエストのログ(入力長・応答時間・メモリ使用量)を保存し、改ざん防止のためハッシュを記録する。

**まとめ**
7. 入力長×同時利用数のマトリクスで性能を整理し、許容応答時間を満たす最大同時数と最大入力長を運用基準として文書化する。