# ローカルLLM評価手順（検証用記録の傾向に基づく整理）

## 1. 記録から読み取れる傾向

- 入力長は1024トークンから概ね73トークンずつ増加し、12,700トークン超まで推移している。
- 同時利用数は1〜4件で周期的に変動しており、開始待ち時間は0〜80秒の範囲で規則的に繰り返されている。
- 用途は「社内文書の要約」「コードの説明」「FAQの作成」「議事録の整理」の4種類に固定されており、確認項目も「出力の正確性」「応答時間の変動」「GPUメモリ余裕」「ログの保存」に対応している。
- 推測を明確に区別すると、開始待ち時間と同時利用数・入力長の相関は記録上の規則性から示唆されるが、因果関係は未検証である。

## 2. 評価手順

### （1）準備
1. 評価対象モデルとGPU搭載マシンを用意し、nvidia-smiまたは同等のコマンドでベースラインのGPUメモリ使用量を記録する。
2. 入力長を約1,000・3,000・6,000・12,000トークンの4段階に固定したテスト用テキストを作成する。これは記録の入力長範囲を網羅するためである。

### （2）生成速度の測定
1. 各入力長について、単一リクエストで10回生成を実行し、トークン/秒を平均と標準偏差で記録する。
2. 出力の正確性は、要約タスクでは要点の抜け、コード説明では動作の記述誤りをチェックリストで判定する。

### （3）入力処理時間の測定
1. リクエスト送信から最初のトークンが返るまでの時間（Time to First Token）を各入力長で測定する。
2. 入力長を横軸、処理時間を縦軸にプロットし、線形に増加するか、閾値を超える急増（コンテキスト長の制約等）がないかを確認する。

### （4）同時利用数の違いの評価
1. 同時1件・2件・3件・4件の4条件で同一テストを実行する。記録上の同時利用数は1〜4件であるため、この範囲を優先する。
2. 各条件でスループット（全体の完了数/秒）と1リクエストあたりの応答時間を測定し、応答時間の変動を確認項目とする。
3. 開始待ち（キュー待ち）時間を同時数ごとに記録し、同時数増加に応じた遅延の伸び方を定量評価する。

### （5）GPUメモリの確認
1. 各同時数・入力長の組合せ実行中に、nvidia-smiを1秒間隔でサンプリングしピーク使用量を記録する。
2. GPUメモリ余裕が総容量の20%未満となる条件を特定し、その条件を運用上限の候補として報告する。

### （6）ログの保存
1. すべての測定結果（タイムスタンプ、入力長、同時数、応答時間、メモリ使用量）をCSVで保存する。
2. 議事録の整理タスクのように長文を扱う条件では、個人情報のマスキング後に出力ログを保管する。

## 3. 報告
各確認項目（出力の正確性、応答時間の変動、GPUメモリ余裕、ログの保存）について、測定値と判定基準を添えて部門別ではなく条件別にまとめ、開始待ち時間が許容値を超える運用条件を明示する。