サーバーギア / 2026年11月2日実測開始 / 公開前原稿

GLM-5.3 Flashは3ビットと4ビットでどう変わるか RTX PRO 6000 Max-Q 2枚で比較

同じRTX PRO 6000 Blackwell Max-Q 96GB×2で、GLM-5.3 FlashのUD-IQ3_XXSとUD-IQ4_XSを測りました。llama.cpp、MTPなし／あり、同じ入力で比較しています。32K入力・MTPありの生成速度は、3ビット版が72.4、4ビット版が72.8 tokens/秒でした。MTPなしの16問では、3ビット版が15問、4ビット版が16問で完全正解しました。4ビットだけが完全正解した問題は1問、3ビットだけが完全正解した問題は0問でした。この問題セットでは4ビット版の完全正解数が多い結果でした。

192GBのGPUメモリで4ビット版を使う

配布ファイルの合計は3ビット系UD-IQ3_XXSが120.37GB、4ビット系UD-IQ4_XSが156.82GB。4ビット版は約36.45GB、30.3%大きくなります。いずれも同じモデルの量子化版です。精度の異なる重みを含む形式なので、全重みが一律3ビットまたは4ビットという意味ではありません。配布元

モデルファイルが収まる容量に加え、KVキャッシュや計算用バッファ、MTPに必要なメモリを見込む必要があります。GBとGiBも区別し、実際のGPU使用量を測定ログに残しました。

さらに大きいUD-Q4_K_XLは約199.71GB（185.99GiB）で、2枚構成でも推論用の余裕が小さくなる候補です。今回の実測対象には含めていません。ファイル容量とGPUの実使用量は一致しないため、名称の「4ビット」だけで実行可否を判断することはできません。

速度は同じ条件で比較する

8K・32Kは過去のH100試験で使ったリクエストをそのまま再使用しています。コンテキスト容量は40,960、同時処理は1、各条件3回。出力上限1,024トークン、temperature 1.0、top_p 0.95です。キャッシュ再利用は無効で、遅い試行や出力上限に達した試行も除外していません。

生成速度はllama.cppが報告する生成区間の平均で、思考トークンも含みます。入力処理を含む全体の速度でも、日本語の文字数毎秒でもありません。本文が出始めるまでの時間は、サーバー上のローカルAPIで別に測りました。

同じ3ビットGGUFでH100の過去実測と比較

各3回の中央値、単位はtokens/秒です。同じモデル・イメージ・リクエストを用いた比較ですが、CPU、ドライバー、GPUメモリ容量、コンテナのホストメモリ上限なども異なります。GPU単体だけの差を切り出した結果ではありません。

約25.8万トークンの長文も実際に入力

3ビットはMTPなし55.3、あり36.5 tokens/秒。4ビットはMTPなし52.3、あり34.8 tokens/秒。MTPで速くなるとは限らず、今回の実装・設定では長文で速度が下がる条件がありました。50 tokens/秒の達成範囲は入力長・設定を指定して判断する必要があります。

コンテキスト容量262,144を確保し、実入力131,072を1回、258,047を3回測定しました。上限2,048トークンで、資料中の6レコード抽出と合計計算を行う固定課題です。容量だけを確保した試験ではありません。過去のH100長文試験と同じ資料ですが、旧試験は各1回で埋め込み配置にも設定差があるため、厳密なGPU単体の速度倍率比較には使いません。

長文で速く生成できても、正しく完了するとは限らない

長文課題では、合計値の誤りや、訂正を繰り返して出力上限に達する回答も観察しました。以下は6件の照合記号・数値、合計、missingの値を照合した結果です。配列順序・形状・自然終了も確認していますが、0/14には複数JSONや未完了などでJSON全体を解析できない回答も含み、14値すべてが誤りという意味ではありません。説明文全体の一貫性は自動判定に含みません。失敗を含む長文試験の全回答も確認できます。

4ビットで回答は正確になるのか

MTPなしの16問では、3ビット版が15問、4ビット版が16問で完全正解しました。4ビットだけが完全正解した問題は1問、3ビットだけが完全正解した問題は0問でした。この問題セットでは4ビット版の完全正解数が多い結果でした。

情報抽出・条件判断・数値計算・構造化出力を各4問、計16問用意し、推論前に問題と正解を固定しました。ここはgreedy、出力上限2,048の別試験です。速度測定用の文章と混ぜて集計していません。量子化の主比較はMTPなし同士で、MTPありの結果は別に示しています。

採点仕様の修正：最初の3ビット・MTPなしの回答確認で、情報抽出4問のrecords要素をオブジェクトとするか3要素配列とするかが問題文で明確ではないことが分かりました。この4問は両形式を受け入れて値・順序を照合する採点に修正し、全条件に同じ基準を適用しています。入力・正解の値は変更せず、元の厳密な形式一致結果も残しています。

完全正解は、期待した全値・配列順序・キーが正しく、JSON形式を守り、出力上限に達せずに終了した場合です。全16問の入力と出力を公開用資料に保存しています。これは自作合成課題の結果で、顧客業務の再現、一般的な正解率、統計的な優位性を示すものではありません。

4ビットだけが完全正解した例 · extract-1

離れた6レコード、識別子の転記、3値の加算、存在しない値の扱い。3ビット：不正解または形式不適合 / フィールド 19/20。4ビット：完全正解 / フィールド 20/20。

入力・固定した正解・両方の回答を読む

3ビットだけが完全正解した例：今回の16問にはありませんでした。

完全正解の判定が同じだった例 · calculate-1

取消行除外、行ごとの丸め、合計後の丸め、桁数の大きい整数演算。3ビット：完全正解 / フィールド 17/17。4ビット：完全正解 / フィールド 17/17。

入力・固定した正解・両方の回答を読む

例は事前に決めた順序で選びました。4ビットだけ正解、3ビットだけ正解、同点のそれぞれについて、該当する最初の問題を掲載しています。都合のよい出力だけを選んだ比較ではありません。

実機と再現条件

GPUはRTX PRO 6000 Blackwell Max-Q Workstation Edition 96GB×2、電力上限は各300Wです。CPUはThreadripper PRO 7965WX。Ubuntu 24.04.4 LTS、ドライバー580.173.02、llama.cpp build 11870（commit 74bca3950）を使用しました。通常の600W Workstation EditionやServer Editionとは区別してください。

ホストメモリは物理512GB。今回の推論コンテナには256GiBの上限を設定しています。販売構成を256GBに変更する場合は、OSを含む実構成で最終確認が必要です。GPU ECCは測定時に無効、ホストメモリはDDR5 ECC RDIMMです。

ターゲットモデルはlayer分割1:1、全47層と埋め込みをGPUに配置。MTPありでは候補3トークン、probabilistic samplingを使用し、ドラフト側もGPUに配置しました。CPUモデル重み・CPU KV/RSバッファがないことをログで検査しています。MTPなしはspec-type noneです。

量子化ファイルのリビジョン、SHA-256、Dockerイメージ、リクエスト、SSEの生ログ、終了理由、GPUメモリ・電力・温度を保存しています。GPU電力はボードの計測値で、コンセント側のサーバー全体の消費電力ではありません。騒音は今回測定していません。

構成選びで見るポイント

この2枚構成では、3ビット版に加えて4ビット版も実測で比較できます。選択は生成速度だけでなく、入力処理の待ち時間、メモリ余裕、必要な回答品質を合わせて判断します。今回の試行平均が50 tokens/秒を超えていても、あらゆる瞬間・入力・同時利用人数での速度を保証するものではありません。

先行のExLlamaV3試験は別の構成として扱う

同じRTX Max-Q×2で先に測定したExLlamaV3＋EXL3 sc_3.10bpwは、エンジンと量子化形式が異なる別試験です。各3回の中央値は、実入力4,096でMTPなし64.6／あり109.7、32,768でなし64.4／あり113.3 tokens/秒でした。容量1Mを確保しましたが、100万トークンを実際に入力した結果ではありません。今回のllama.cppの表には混ぜません。

先行試験の全試行CSVも資料に収録しました。32KではMTPなし・ありで各1試行が1,024出力上限に達しており、速度と回答の完成・正確さは分けて確認します。関連する過去のH100検証記事も参照できます。

全16問の回答比較 / 全試行CSV / 集計JSON