# ローカルLLM評価手順（検証用記録に基づく）

## 前提の整理
本記録は架空の検証用データであり、実測値ではない点に注意する。記録上の傾向として、①入力長が記録ごとに約73トークンずつ増加し約1,000〜30,000トークンの範囲をカバーする、②同時利用数は1〜4件で周期的に変化する、③開始待ち時間は1〜80秒で周期的に循環する、④用途と確認項目は「社内文書の要約（出力の正確性）」「コードの説明（応答時間の変動）」「FAQの作成（GPUメモリ余裕）」「議事録の整理（ログの保存）」の4種が周期的に割り当てられている。

## 評価手順

**1. テスト条件の定義**
入力長を約1,000・5,000・10,000・20,000・30,000トークンの5水準に、同時利用数を1・2・3・4件の4水準に設定し、計20条件を各3回ずつ実施する。

**2. 生成速度（トークン/秒）の測定**
各条件で出力トークン数を処理時間で割り、生成速度を算出する。入力長が増えると生成速度が低下するか、同時利用数を増やすと1リクエストあたりの速度が下がるかを記録する。

**3. 入力処理時間（Time To First Token）の測定**
リクエスト送信から最初のトークン受信までの時間を測る。入力長に比例して増加するかを確認し、30,000トークン時の値を許容閾値と比較する。記録上の「開始待ち」はこの指標に対応する。

**4. GPUメモリの評価**
nvidia-smi等で各条件のピークメモリ使用量を記録する。同時利用数を4件に増やした際にVRAM枯渇（OOM）が発生するか確認し、入力長最大時の余裕率を算出する。

**5. 応答時間の変動の評価**
同一条件を複数回実施し、応答時間の平均・標準偏差・最大値を求める。標準偏差が大きい条件を特定し、同時利用数との相関を確認する。

**6. 出力の正確性の確認**
要約・FAQ・議事録タスクについて、事前に用意した正解要点との一致度を人手または別のLLMで評価する。

**7. ログの保存**
全測定値（タイムスタンプ・入力長・同時数・速度・メモリ）をCSVで保存し、再現可能な手順として残す。

## 判定基準
各指標について許容閾値を事前に決め、全条件を満たす構成を本番採用とする。