# ローカルLLM評価手順のまとめ（検証用データ分析に基づく）

## 1. データの傾向整理

まず、160件の記録を確認した結果、以下の傾向が読み取れます（いずれも架空データからの推測であり、実測値ではありません）。

- **入力長**：1024〜12800トークン程度まで、約73トークン刻みで単調増加している
- **開始待ち時間**：1〜80秒で規則的に変動しており、入力長との相関は記録上は明示されていない
- **同時利用数**：1〜4件で循環しており、部門番号や用途とは独立して変化している
- **用途**：4種類（要約・コード説明・FAQ作成・議事録整理）が循環しており、確認項目もこれに対応している

**推測**：開始待ち時間の変動要因は、同時利用数によるキュー待ちと、入力長の増大に伴う前処理コストの両方が考えられます。両者を切り分けて評価する必要があります。

## 2. 評価手順

### ステップ1：単発実行によるベースライン計測
同時利用1件の条件で、入力長1024／2048／4096／8192／12800トークンの5段階サンプルを用意し、それぞれ5回ずつ実行する。各回で以下を記録する。
- 最初のトークンが出力されるまでの時間（入力処理時間・Time to First Token）
- 生成速度（1秒あたりの出力トークン数）
- 最大GPUメモリ使用量（`nvidia-smi`を1秒間隔でポーリングして記録）

### ステップ2：同時利用数による負荷試験
同時利用数を1件・2件・3件・4件に変え、同一入力で並列実行する。各条件で以下を比較する。
- 応答時間の平均と最大値の差（ばらつき＝応答時間の変動）
- GPUメモリの合計使用量がVRAM容量に達するかどうか
- スループット（全体の処理トークン数÷経過時間）が線形に伸びるか

### ステップ3：用途別の確認項目チェック
- **社内文書の要約**：出力の正確性を、元文書との要点一致を人手で確認する
- **コードの説明**：応答時間の変動を、ステップ2の記録から分散で評価する
- **FAQの作成**：GPUメモリ余裕を、ピーク使用量とVRAM容量の差で確認する
- **議事録の整理**：ログの保存を、全リクエストの入出力とタイムスタンプがファイルに残るか検証する

### ステップ4：開始待ち時間の要因分解
開始待ち時間を「モデルロード時間」「キュー待ち時間」「入力前処理時間」に分けて計測する。同時利用数が増えた場合に待ち時間がどう増大するかを、入力長ごとに表にまとめる。

## 3. 注意事項

本データは架空の検証用記録であり、数値そのものは参考にならない。評価は必ず自社環境での実測に基づいて行い、測定条件（モデル名、量子化設定、GPU型番、ドライバ版本）をすべて記録すること。