# ローカルLLM評価手順（検証用記録に基づく整理）

## 記録から読み取れる傾向
- **入力長**：記録00109以前は1件あたり約73トークンずつ増加し、約1,024〜30,974トークンの範囲。記録00411以降は再び1,027トークン付近から増加しており、系列が周期的に反復される構造（推測。仕様書での確認が必要）。
- **同時利用数**：1〜4件が規則的に循環。
- **開始待ち**：1〜80秒の範囲で1秒ずつ変動。同時利用数との相関は記録上は明示されていない（推測にとどめる）。
- **用途と確認項目**：4用途（要約・コード説明・FAQ・議事録）と4確認項目（正確性・応答変動・GPUメモリ・ログ保存）が対応づけられている。

## 評価手順
1. **準備**：評価用プロンプトを入力長1,000 / 5,000 / 10,000 / 20,000 / 30,000トークンの5段階で作成し、用途ごとに3種類ずつ用意する。
2. **単発計測**：同時利用1件で各入力長を実行し、初トークン応答時間（入力処理時間）と生成速度（トークン/秒）を3回ずつ測定して平均を取る。タイムスタンプはアプリケーションログから取得し、秒単位で記録する。
3. **同時実行計測**：同時利用数を1・2・3・4件に段階的に増やし、各条件で手順2と同じ指標を測定する。応答時間の最大値・最小値・平均を分けて記録し、変動幅（最大−最小）を算出する。
4. **GPUメモリ計測**：`nvidia-smi`（またはベンダー提供の監視ツール）を1秒間隔で実行し、各条件のピーク使用量と空き容量を記録する。同時利用4件×最大入力長の組み合わせでメモリ不足が発生しないことを確認する。
5. **出力の正確性確認**：要約タスクでは要約元の要点5項目を事前に定義し、出力に含まれる数でスコア化する（5点満点）。
6. **ログ保存確認**：全リクエストの入力長・開始時刻・応答時間・エラー有無がログに記録されることを抜き取り検査（10件以上）で確認する。
7. **判定**：開始待ちが80秒を超える条件、変動幅が平均の50%を超える条件、メモリ余裕が10%未満の条件を「要改善」とし、同時利用上限と最大入力長の推奨値をまとめて報告書に記載する。

注意：本記録は人工的に生成された架空データであり、実際の性能特性は別途実測による検証が必要です。