# ローカルLLM評価手順(案)

## 1. 記録データの傾向(根拠)
記録00000〜00648は、次の周期パターンで構成されている。入力長は記録ごとに約73トークンずつ増加し、約3万トークン超で再び約1000トークン台に戻る。同時利用数は1〜4件が順に循環し、開始待ち時間は約11秒刻みで1〜80秒の範囲を循環する。用途(社内文書の要約・コードの説明・FAQの作成・議事録の整理)と確認項目(出力の正確性・応答時間の変動・GPUメモリ余裕・ログの保存)は4組が対応して繰り返される。

## 2. 評価手順
**(1) 条件の固定と計測項目の定義**
同一のモデル・量子化・コンテキスト長設定で評価を実施する。計測項目は(a)生成速度(トークン/秒)、(b)入力処理時間(プロンプト投入から最初のトークン生成まで)、(c)ピークGPUメモリ使用量、(d)同時利用数別の応答時間とする。

**(2) 入力長の影響の測定**
約1000・5000・10000・15000・20000トークン程度の区切りごとに同一文書を投入し、入力処理時間を記録する。一般に入力長に比例して処理時間が増える(推測)。本データでは最大約30,051トークン(記録00397)まであるため、モデルのコンテキスト上限がこれを超えるか確認する。

**(3) 生成速度の測定**
各用途(要約・コード説明・FAQ作成・議事録整理)について代表プロンプトを用意し、出力トークン数÷所要時間で生成速度を算出する。用途別の速度差を比較する。

**(4) 同時利用数の影響の測定**
同時1・2・3・4件の順でリクエストを発行し、単独実行時との応答時間比を測る。本データでは待ち時間が11秒刻みで増えている(根拠)。同時数の増加に応じた待ち時間・速度の劣化率を求め、直線的か飽和するかを確認する(傾向の判定は推測を含む)。

**(5) GPUメモリの確認**
同時4件・最大入力長の条件でピークメモリを記録し、空き余裕が20%以上残るか判定する。

**(6) ログの保存**
各試行の時刻・条件・計測値をCSV等に記録し、後で再現できるようにする。

**(7) 判定**
項目ごとに基準値を定め、正確性は人手または別モデルで検証し、総合評価表にまとめる。