# ローカルLLM評価手順（まとめ）

## データの前提と注意
提供された記録は検証用の架空データであり、入力長が73トークンずつ増加、開始待ちが11秒周期で循環するなど人工的なパターンが見られます。この傾向そのものは実運用の根拠にはならず、評価手順の設計材料として参照するに留めます。

## 評価手順

### 1. 測定条件の固定
- 用途ごと（社内文書要約、コード説明、FAQ作成、議事録整理）に代表プロンプトを10件ずつ用意し、入力長を512／1024／2048／4096トークンの4段階に揃えます。
- 確認項目（出力の正確性、応答時間の変動、GPUメモリ余裕、ログの保存）に応じた計測スクリプトを事前に準備します。
- 温度やmax_tokensなど推論パラメータは固定し、全条件で同一にします。

### 2. 生成速度の測定
- 各条件で10回実行し、トークン/秒（生成スループット）と初トークンまでの時間（TTFT）を記録します。
- 架空データでも「入力長増加に伴う性能劣化有無」を確認する設計が必要なため、最小・最大入力長での差を統計的に比較します（t検定または信頼区間）。

### 3. 入力処理時間の測定
- プロンプト送信から最初の処理開始までの時間を計測します。開始待ちが長い条件（データでは最大80秒相当）はキューイングや前処理がボトルネックの可能性があるため、プレフィックスキャッシュの有効／無効で比較します。

### 4. GPUメモリの測定
- `nvidia-smi`を1秒間隔でサンプリングし、ピーク使用量と余裕量を記録します。入力長が最大のケースでOOM（メモリ不足）が発生しないか必ず確認します。

### 5. 同時利用数の違いの確認
- 同時1〜4件で段階的に負荷試験を行います（データの設計に倣い4段階）。各水準でスループット、待ち時間、メモリを計測し、直線的に劣化するか、ある水準で急落するか（閾値）を特定します。

### 6. 記録と報告
- すべての測定値はCSVに時刻・条件・値付きで保存し、出力正確性は人手または採点基準付きで評価します。最終的に「入力長×同時数」の性能マトリクスとして報告書にまとめます。

（約1000文字）