# ローカルLLM評価手順（まとめ）

**前提の明確化**：提示された記録は検証用の架空データです。記録00000〜00410で入力長が約73トークンずつ単調増加し、記録00411で約1027トークンに戻る不連続が確認できます（記録上の事実）。ただし生成待ち時間と同時利用数には因果関係を示す実測値がなく、以下の傾向はパターンから読み取れる推測です。

**推測される傾向**
- 開始待ち時間は同時利用数と明確な相関を示さず、1〜80秒で周期的に変動している。待ち時間がキュー待ちを反映しているなら、同時利用数4件時に長時間化する可能性がある（要実測）。
- 用途（要約・コード説明・FAQ・議事録整理）と確認項目は固定の4区分で循環しており、評価はこの4軸で設計すべき。

**評価手順**
1. **測定条件の固定**：同一プロンプトを用途別（4種）×入力長（約1000・5000・10000・20000トークン）で用意し、同時利用数を1件・2件・4件の3水準に分ける。乱数や temperature は固定する。
2. **生成速度の測定**：出力トークン数 ÷ 生成秒数でトークン/秒を算出する。同時利用数1件と4件で同じ計測を行い、スループットが何倍まで維持できるかで並列性能を判定する。判定基準の例として、4件同時でも1件時の70%以上を合格とする。
3. **入力処理時間の測定**：リクエスト送信から最初のトークン受信までの時間（Time to First Token）を入力長別に計測する。入力長が10倍になると処理時間が約何倍になるかを記録し、二次関数的な増加を示す境界のトークン長を特定する。
4. **GPUメモリの測定**：nvidia-smi または torch.cuda.max_memory_allocated() を1秒間隔で記録する。同時利用数4件・最大入力長時のピーク使用量を求め、実装搭載量の80%を上限とする。超過する場合はバッチサイズの縮小または量子化（FP16→INT8等）を検証する。
5. **同時利用の負荷試験**：同時利用数を4件→8件へ段階的に増やし、応答時間の変動（分散）とタイムアウト発生率を記録する。各部門の用途（要約・コード説明等）を混在させて実運用に近い負荷とする。
6. **結果の集計**：上記1〜5を3回繰り返して平均と標準偏差を報告する。架空データと実測データは必ず区別して記録し、推測と根拠を明示する。

**注意**：本手順は記録パターンからの設計であり、実際の性能値は実機での測定で確定させてください。