# ローカルLLM評価手順（案）

## 1. 記録データの傾向（根拠）

架空記録00000〜00160から読み取れる規則的な傾向は次のとおりです。

- **入力長**：ほぼ一定幅（約73トークン）で増加し、1024〜12804トークンの範囲。
- **同時利用数**：1〜4件が循環。
- **開始待ち**：11秒刻みで増減を繰り返す（1〜80秒）。
- **用途と確認項目**：社内文書要約→出力正確性、コード説明→応答時間変動、FAQ作成→GPUメモリ余裕、議事録整理→ログ保存、が対応。

なお、この記録は架空データであり、実際の性能値を示すものではありません（推測を含む点に注意）。

## 2. 評価手順

**（1）計測準備**
評価用プロンプトを4種類（要約・コード説明・FAQ・議事録整理）用意し、入力長を約1000・2500・5000・10000トークンの4段階に調整する。各条件下でGPUのメモリ使用量と時刻をログに記録するスクリプトを用意する。

**（2）単一リクエストの計測**
同時利用1件の状態で、各入力長・各用途について次を測定する。
- 開始待ち時間（リクエスト送信から最初のトークン生成まで）
- 生成速度（トークン/秒）

入力長を段階的に増やし、入力処理時間が入力長に比例して増えるか、短入力（1024トークン）と長入力（12000トークン超）の差を記録する。3回ずつ実行し平均を取る。

**（3）同時実行の計測**
同時利用数を1・2・3・4件に変更し、同じプロンプトを並列送信する。各件の開始待ち時間、生成速度の低下率、応答時間のばらつき（最大値−最小値）を記録する。同時数を増やした際に生成速度がどう変化するかを比較表にまとめる。

**（4）GPUメモリの確認**
各同時実行条件で推論中のGPUメモリ使用量と空き容量を記録する。同時数4件・最長入力でメモリ不足（OOM）が発生しないことを確認し、余裕率を算出する。

**（5）出力品質とログの確認**
要約・議事録整理の出力が入力内容と一致しているかを人手で検証する。全計測のログ（時刻・入力長・同時数・応答時間・メモリ量）をファイルに保存し、後から再解析できることを確認する。

**（6）結果の整理**
横軸に入力長・縦軸に所要時間、同時数別の速度比較、メモリ余裕の一覧表を作成し、許容できる運用条件（最大同時数・最大入力長）を決定する。

（約1000文字）