# ローカルLLM評価手順のまとめ

## 記録から読み取れる傾向（根拠）

- **入力長と待ち時間**: 記録0〜410では入力長が1024トークンから約3万トークンまで直線的に増加しており、開始待ち時間も1秒〜80秒の範囲で周期的に推移しています。入力長が大きいほど前処理（トークナイズ・プリフィル）に時間がかかる傾向が**推測**されます。
- **同時利用数**: 1〜4件で、同時利用数が多いほどGPUメモリ消費が増え、応答時間が延びる（=開始待ちが伸びる）可能性があります（推測であり、記録単体では因果を断定できません）。
- **用途別の確認項目**: 要約→正確性、コード説明→応答時間の変動、FAQ→GPUメモリ余裕、議事録→ログ保存、という評価観点の対応が設計されています。

## 評価手順（実行可能な具体手順）

1. **準備**: GPU搭載サーバを用意し、nvidia-smiでメモリ使用量を記録するスクリプト（1秒間隔でログ出力）を配置する。
2. **テストケース作成**: 入力長を1024、4096、8192、16384トークンの4段階に固定した社内文書・コード・FAQ・議事録のサンプルを各用途ごとに用意する。
3. **単発測定（同時利用1件）**: 各入力長について10回実行し、(a) プリフィル時間＝リクエスト送信から最初のトークン受信まで、(b) 生成速度＝1秒あたりの出力トークン数、を測定し平均と標準偏差を記録する。
4. **同時負荷測定**: 同時利用数を1→2→3→4件と段階的に増やし、各水準で手順3と同じ指標を測定する。全リクエストの応答時間が完了するまで計測を続ける。
5. **GPUメモリ計測**: 各水準でピークメモリ使用量と余裕（総容量−ピーク）を記録する。余裕が全容量の10%未満になる水準を「最大同時数の上限候補」とする。
6. **出力の正確性確認**: 要約・議事録タスクでは、元文書の要点抽出漏れや数値誤りを人手でチェックし、正確率（正しい要点数/抽出要点评数）を算出する。
7. **ログ保存**: 手順2〜6のすべての結果をJSON形式で保存する（タイムスタンプ、入力長、同時数、指標値を含む）。
8. **判定**: 入力長と同時数ごとの応答時間・メモリ・正確性を表に整理し、本番想定負荷（ピーク時の同時数）を下回る安全な構成を決定する。

## 注意点

- 上記の傾向は架空データに基づく推測を含むため、実機での再測定を必ず行ってください。