# ローカルLLM評価手順（架空データに基づく整理）

## 注意（根拠と推測の区別）
本記録は検証用の架空データであり、実際の性能測定値ではありません。したがって以下の手順は「この形式の記録を分析する場合の評価方法」として提示する推測ベースの整理です。

## 記録から読み取れる構造的傾向
1. 入力長は記録番号にほぼ比例して増加（記録00000の1024トークンから約73トークン/件ずつ増加）。
2. 同時利用数は1〜4件で周期的に変動。
3. 開始待ちは1〜80秒で周期的に変動し、同時利用数や入力長との明確な相関は架空データのため確認できない。
4. 用途・確認項目は4種類が周期的に循環。

## 評価手順（実行手順）

**ステップ1：計測環境の固定**
評価用サーバーでGPUドライバー、推論フレームワークのバージョンを固定し、`nvidia-smi`でメモリ使用量を常時計測する設定を行う。バックグラウンド処理を停止する。

**ステップ2：測定条件の設定**
入力長を1024／4096／8192／16384トークンの4水準に固定し、同時利用数を1／2／3／4件の4水準に設定する。4×4＝16条件について各5回ずつ測定する。

**ステップ3：測定項目の取得**
- **生成速度**：1秒あたりの出力トークン数をタイムスタンプから算出する。
- **入力処理時間**：リクエスト送信から最初のトークン生成までの時間を測定し、prefill処理時間として記録する。
- **GPUメモリ**：推論中の最大メモリ使用量を記録し、空きメモリ残量を算出する。
- **開始待ち**：キュー投入から処理開始までの時間を記録する。

**ステップ4：同時利用数の比較**
同時利用数を増やした場合、（a）生成速度の低下率、（b）開始待ちの増加倍率、（c）メモリ使用量の増加を条件ごとに比較する。リクエスト直列化の有無をログで確認する。

**ステップ5：入力長の影響の切り分け**
同時利用数1件に固定した状態で入力長のみを変え、入力処理時間が入力長に線形かつ比例して増えるか（トークン数あたり処理速度）を検証する。

**ステップ6：品質確認**
用途別（要約・コード説明・FAQ作成・議事録整理）に出力の正確性を人手評価し、ログの完全性と応答時間の変動（分散）も併記する。

**ステップ7：まとめ**
結果を表形式で整理し、「同時利用数×入力長」の組み合わせごとに許容可能な上限構成を報告する。

（約1000字）