# ローカルLLM評価手順(検証記録の傾向に基づく)

## 1. 記録から読み取れる傾向(根拠)

- **入力長**：1024トークンから約12,400トークンまで記録00160まで一貫して73トークンずつ増加している。長文入力の影響を段階的に評価できる構成である。
- **同時利用数**:1〜4件が循環しており、負荷レベルを4段階で比較できる。
- **開始待ち**:1〜80秒が約11秒周期で循環している。これは推測であるが、キュー待機時間の変動を意図的に組み込んだ検証設計と考えられる。
- **用途**:要約・コード説明・FAQ作成・議事録整理の4種が固定されており、確認項目(出力の正確性・応答時間の変動・GPUメモリ余裕・ログの保存)と1対1に対応している。

## 2. 評価手順

### 手順1:測定環境の固定
GPUモデル、ドライバ、推論エンジン、モデルの量子化方式を文書化し、全テストで同一条件を保つ。電力設定を「高パフォーマンス」に固定する。

### 手順2:生成速度の測定
各用途ごとに50トークン以上の出力を生成し、1秒あたりの生成トークン数を計測する。同時利用数を1件→4件と変え、それぞれ10回ずつ測定して平均とばらつきを記録する。同時数が増えると速度が低下するため、**件数ごとの速度低下率**を比較表にする。

### 手順3:入力処理時間の測定
1024・2048・4096・8192・12288トークン近傍の入力を用意し、プロンプト投入から最初のトークン出力までの時間(Time to First Token)を計測する。入力長が約12倍になっても処理時間が線形増加か、それ以上かを確認する。

### 手順4:GPUメモリの確認
`nvidia-smi`を5秒間隔で実行し、同時利用1件時と4件時のメモリ使用量のピークを記録する。用途別(特にFAQ作成)でメモリ余裕が最も小さくなる条件を特定し、搭載メモリの90%を超えないか検証する。

### 手順5:開始待ち(キュー待機)の評価
待機時間を1秒・20秒・40秒・80秒に模擬し、待機後の応答が劣化しない(タイムアウトやキャッシュ喪失がない)ことを確認する。

### 手順6:ログ保存と総合判定
すべての測定値をCSVに記録する(項目:記録番号、入力長、同時数、待ち時間、用途、速度、メモリ、結果)。確認項目ごとに合格基準を事前定義し、4用途×4同時数の16条件で総合評価する。

## 3. 注意点
本記録は架空データであり、実際の性能傾向は環境依存で変わる。上記は測定手順の枠組みであり、数値の妥当性は実測でのみ確定する。