# ローカルLLM評価手順（検証用記録に基づく整理）

## 1. 記録から読み取れる傾向
本記録は、入力長が約1,024トークンから約12,700トークンまで約73トークンずつ増加する規則的なデータセットである（※これは記録の構造から確認できる事実）。同時利用数は1〜4件が周期的に出現し、開始待ち時間は1〜80秒の間で変動している。ただし、本記録は架空的なデータであり、応答速度やGPUメモリ実測値は含まれていない。したがって以下は、記録の傾向（入力長の増加、同時利用数のばらつき）を踏まえた評価手順の提案であり、性能値そのものは推測である点に注意されたい。

## 2. 評価手順

### （1）準備
- 対象LLMと推論フレームワーク（llama.cpp、vLLM等）をバージョン固定で導入する。
- テスト用プロンプトを、1,024・2,048・4,096・8,192・12,288トークン付近の5段階で用意する。
- 記録をCSV化し、入力長・同時利用数・開始待ち時間を列として管理する。

### （2）生成速度（トークン/秒）の測定
- 各入力長について同時利用1件の条件で1リクエストを送り、出力トークン数を生成時間で割る。
- 各条件3回繰り返し、中央値を採用する。長文入力で速度が低下するかを確認する。

### （3）入力処理時間（プレフィル時間）の測定
- リクエスト送信時刻から最初のトークンが出るまでを計測する。これが「開始待ち時間」に相当する。
- 入力長1,024と12,288を比較し、入力長増加に伴う待ち時間の伸び率を算出する。

### （4）GPUメモリの測定
- `nvidia-smi --query-gpu=memory.used --format=csv -l 1` をバックグラウンド実行し、推論中のピーク値を記録する。
- 入力長ごとのピーク値から、コンテキスト長あたりのメモリ増加量を推定する。

### （5）同時利用数の影響
- 同時利用1〜4件の各条件で同じテストを並列実行し、（2）（3）の指標を再測定する。
- 同時数を増やした際の速度低下率とメモリ増加率を表にまとめ、1〜4件のスループットを比較する。

### （6）確認項目ごとの検証
- 出力の正確性：要約タスクで原文との一致度を人力＋ROUGEで確認。
- 応答時間の変動：同一条件10回の分散を算出。
- GPUメモリ余裕：ピーク値と搭載量の差を記録。
- ログの保存：全測定結果をタイムスタンプ付きでJSONに保存。

## 3. 注意点
本記録の開始待ち時間は架空値であり、実測との相関は未確認である。実機での再計測を必ず行うこと。