# ローカルLLM評価手順（1000字程度）

## 記録から確認できる事実と限界

まず注意点として、上記の記録は一定の規則で機械的に生成された架空データです（入力長が約73トークンずつ増加、開始待ちが11秒周期で増減、用途と確認項目が4種で循環）。したがって記録自体には測定の偶然性がなく、実機での再現性検証が必須です。傾向として「入力長の増加に応じた処理時間の推移」「同時利用数1〜4件での待ち時間の変化」を評価軸とすることが妥当だと推測されます。

## 評価手順

### 1. 事前準備
- 評価対象モデルと推論フレームワーク（例：llama.cpp、vLLM）を固定する。バージョンを記録する。
- 入力長を約1000〜30000トークンの範囲で複数水準に設定したテキスト群を用意する。トークン数はトケナイザで事前に計測し記録する。
- 用途別（要約、コード説明、FAQ作成、議事録整理）にプロンプト雛形を固定し、出力トークン上限も統一する。

### 2. 測定項目の定義
- **生成速度**：トークン/秒を出力開始後の累積トークン数÷経過時間で算出する。
- **入力処理時間**：リクエスト送信から最初のトークンが返るまでの時間（Time To First Token）を計測する。これは入力長に強く依存するため、入力長ごとに分けて集計する。
- **GPUメモリ**：nvidia-smi等でプロンプト処理中と生成中の使用量を1秒間隔で記録し、ピーク値と残り余裕を確認する。コンテキスト長の倍率計算も併記する。
- **同時利用数**：1件、2件、3件、4件の各水準で同一テストを実施する。

### 3. 実施方法
1. 同時利用数1件で入力長最小のケースを実行し、TTFT・生成速度・メモリピークを記録する。
2. 同一設定のまま、入力長を段階的に増やして繰り返す。各ケース3回実行し平均を取る（1回目はキャッシュの影響を除外するか、意図的にキャッシュありとして分ける）。
3. 同時利用数を2件→3件→4件と増やし、各水準で待ち時間（キュー投入から処理開始まで）を記録する。バッチ処理の有効化・無効化を切り替えて比較する。
4. メモリ余裕が設定値（例：総VRAMの20%）を下回った同時利用数を上限として報告する。

### 4. 出力品質の確認
確認項目（出力の正確性、応答時間の変動、メモリ余裕、ログ保存）に応じた評価を行う。出力の正確性は人手評価または別モデルによる採点で5段階評価とし、応答時間の変動は各ケースの標準偏差を算出する。すべての測定結果はタイムスタンプ付きで保存し、再実行可能な状態にする。

### 5. 判定基準
- 同時利用4件でもTTFTが許容値内か。
- 最大入力長でメモリ不足が発生しないか。
- 上記が満たされた場合のみ、同時利用数を増やした追加検証を実施する。