# ローカルLLM評価手順（検証用運用記録に基づく整理）

## 1. 記録から読み取れる傾向（根拠と推測の区別）

**根拠（記録から確認できる事実）**
- 入力長は記録00000の1,024トークンから記録00159の12,631トークンまで、ほぼ73トークンずつ直線的に増加している。
- 同時利用数は1〜4件の周期で推移し、開始待ち時間は1〜80秒の間で規則的に変動している。
- 用途は「社内文書の要約」「コードの説明」「FAQの作成」「議事録の整理」の4種類が固定パターンで巡っている。

**推測（検証意図として考えられること）**
- 入力長・同時利用数・開始待ち時間を意図的に組み合わせ、負荷条件ごとの性能劣化を測定する設計と推測される。
- 開始待ち時間の周期性は、キューイング（同時要求の待ち行列）の影響を分離するための条件設定と推測される。ただし記録だけでは因果関係は確定しない。

## 2. 評価手順

### 手順1：測定条件の整理
各記録の4条件（入力長・同時利用数・用途・待ち時間）を表にまとめる。同時利用数を1〜4件の4水準、入力長を約1,000／5,000／10,000／12,000トークンの4水準として分類し、条件ごとのグループを作る。

### 手順2：生成速度の測定
条件ごとに、出力トークン数を計測し「生成トークン数÷所要秒」で算出する。同時利用数を1件→4件に変えながら同一条件で3回ずつ実行し、平均とばらつきを記録する。同時数が増えたとき生成速度がどう低下するかを確認する。

### 手順3：入力処理時間の測定
要求送信から最初のトークンが返るまでの時間（Time To First Token）を計測する。入力長が約1,000トークンと約12,000トークンのケースを比較し、入力長に比例して処理時間が増えるかを検証する。開始待ち時間が長い記録と短い記録を分けて集計し、待ち時間の影響を除外する。

### 手順4：GPUメモリの計測
`nvidia-smi` を1秒間隔で実行し、推論中のメモリ使用量の最大値を記録する。特に「入力長が長い × 同時利用数が多い」組み合わせでメモリ枯渇（OOM）が発生しないかを確認する。余裕率（（総メモリ−最大使用量）÷総メモリ）を算出し、20%未満の条件を要注意とする。

### 手順5：同時利用数の影響分析
同時利用1件時の速度を基準（1.0）とし、2・3・4件時の相対速度を求める。相対速度の低下が同時数に比例するか、それ以上に劣化するかで、バッチ処理の効率を評価する。

### 手順6：用途別の品質確認
記録の確認項目に従い、要約は「出力の正確性」を原文と突合、コード説明は「応答時間の変動」を標準偏差で評価、FAQ作成は「GPUメモリ余裕」を手順4の値で判定、議事録整理は「ログの保存」をログファイルの完全性で確認する。

### 手順7：結果のまとめ
条件別の一覧表、劣化が顕著な条件の特定、同時利用の上限推奨値を報告書に記載する。

（約1,000字）