B200 8GPUでDeepSeek V4.1 FlashとGLM-5.3を比較――科学的推論、20同時要求、長文入力

2026年10月27日の測定・改訂。GLMの約78万入力・10件／20件同時の補完試験を反映し、1件対20件の待ち時間と生成速度の説明を追加した。動画は日本語原稿を見直し、OpenAI Marinの合成音声で作り直した。専門家による回答レビューは未完了である。

社内で科学的な検討にLLMを使うなら、正答率だけでなく、回答の根拠、待ち時間、最後まで答えられるかを一緒に見る必要がある。HGX B200 8GPUで、DeepSeek V4.1 Flashの公式1017更新版とGLM-5.3を同じ問題群で測定した。

今回のGPQAでは、両モデルが完了した問題に限る正答率は約92.9%だった。20同時要求では、短い科学質問の回答開始はGLMが早く、長文照合と独自の科学的推論の完了はDeepSeekが早かった。一方、GLMにはGPQAで出力上限に達した2問があった。長文容量試験は、当初の作業上の時間枠で打ち切った条件を補完し、約78万入力・20件同時の結果も取得した。以下ではそれぞれの分母と条件を示す。

比較条件

重みを追加量子化せず、モデルのリビジョンとコンテナを固定した。Flash配布元、GLM配布元。版・起動条件の詳細は再現条件ファイルに記録する。モデル別の推論量の名称は同じ計算量を意味せず、トークナイザー、attention実装、KV精度にも違いがある。

GLMはメモリー割当0.80では1,048,576コンテキストに必要なKV領域を確保できず、要求受付前に起動検査で停止した。0.82に調整して起動したため、この割当差も比較条件に含める。ホストのドライバーや既存環境は変更していない。

各問題は固定した順序と乱数種の規則で1回ずつ実行し、成功するまでやり直して最良の回答を選ぶ採点はしていない。先行する32K・8K生成枠および1M・64K生成枠の試験は別記録として保持し、この記事の1M・262,144生成枠の結果へ混ぜていない。

科学問題とコードの結果

GPQA Diamondは公開の物理・化学・生物の選択問題198問を使った公開ベンチマークのローカル評価である。提供元の公式スコアを再現したものではなく、学習時の問題既知性も除外できない。

両方が完了した196問では、177問が両方正解、9問が両方不正解、DeepSeekだけ正解が5問、GLMだけ正解も5問だった。残る2問はDeepSeekが正解し、GLMは未完了だった。この一回の測定から、制約のない科学的能力の順位や統計的な優位は主張しない。

GPQAの完了時間は、完了した回答だけの中央値でDeepSeek 58.4秒、GLM 123.4秒、p95は359.5秒と954.2秒だった。全198問の計測区間は約18分34秒と約76分34秒。GLMの完了時間統計からは未完了2件を除いているため、その2件を隠さず上表に併記する。独自の短い科学問題の応答時間とは別に扱う。

答えの中身を比べる

独自の科学的推論は、ベイズ推定、熱収支、誤差伝播、数値解析、因果関係、実験設計、情報不足、データリークなど20問で構成した。数値の答えを自動照合する12問と、論述を読む8問を分ける。コード群は独自の小さな科学計算関数10問であり、公式SciCodeのスコアではない。

数値照合の不合格をすべて「科学的な計算を間違えた」と扱うと、丸めの差を誤読する。上の不確かさ2例では式を確認できるが、固定済みの自動採点は変更せず、説明上の評価を分けて示す。

コードの不合格は、TP=0、FP=0、FN=3、TN=2のケースだった。固定した採点仕様はF1=2TP/(2TP+FP+FN)=0を期待したが、GLMはprecisionが未定義であることからF1もnullにした。通常入力で動いても、境界条件の扱いに差が出る例である。これは「コードが全く動かない」という失敗ではない。

パラメータ同定の例は、ab=6にa+b=5を加えても(2,3)と(3,2)が残ることを代入で確認できる。両モデルとも結論部分が正しくても、付け加えた説明まで確認する必要がある。ここでの内容点検はCodexによる補助レビューであり、独立した専門家の採点ではない。専門家の点数は未記入のまま保持する。

密度・交絡・情報不足・長文照合・拡散コードは事前に選んだ提示候補。指数減衰、相関する不確かさ、同定、分類指標は結果を確認してから差や注意点を説明するために追加した。これらの例だけからモデル全体の優劣は決めない。

両モデルの独自20問の問題文と最終回答は、左右比較の回答資料で確認できる。内部の長い推論文やGPQAの問題全文はこの資料に転載しない。

20人が使うと、どのくらい待つか

同時要求1・5・10・20で、短文、約1.7万トークンの合成資料の照合、独自の科学的推論を比較した。各条件は同じ20問を1回ずつ使う。初期に最大C件を送り、完了した枠に次の要求を入れる方式であり、20人同時利用は毎秒20件の到着を意味しない。多ターン会話履歴は含めていない。

「開始」は推論表示の開始ではなく、最終回答の最初の出力を受け取るまでの時間である。要求送信直前から測り、サーバーの待ち行列を含む。同じホストのループバック接続を使うため、利用者側のネットワークと業務アプリの遅延は含まない。

以下は秒。開始・完了は中央値、p95は20件の記述値である。両モデルとも全12条件で20/20件が回答完了し、通信失敗・時間切れ・出力打ち切りは0件だった。これは全件正答という意味ではない。

20同時の短い科学質問では、開始中央値はGLM 0.23秒、DeepSeek 2.01秒。完了中央値もGLM 2.60秒、DeepSeek 2.89秒だった。一方、長文照合の完了中央値はDeepSeek 7.35秒、GLM 17.88秒、独自の科学的推論では5.97秒と14.06秒だった。短文の開始の早さを全課題の優位に広げず、用途ごとに見る。

1件から20件になると、待ち時間は何秒増えるか

「20人でも使える」だけでは、1人の待ち時間が伝わらない。以下は、同じ問題群で同時要求が1件から20件に増えたときの変化である。秒数は各条件20件の中央値。差と倍率は丸める前の中央値から計算したもので、個々の問題の差を取った中央値ではない。

短文では完了までの中央値は両モデルとも3秒以内だったが、約1.7万トークンの長文ではDeepSeekで約5.61秒、GLMで約15.22秒待ち時間が増えた。「20倍待つ」といった単純な関係ではなく、入力の長さや要求の内容で違いがある。回答開始には順番待ち・入力処理・回答前の推論が含まれ、この測定だけでは、それぞれを個別に分離できない。

1人あたりの生成速度と、サーバー全体の処理量

1件あたりの生成速度の概算も、同時要求を増やすと低下した。以下は、各要求について「推論を含む生成トークン数から1を引いた値 ÷ 最初の生成出力から完了までの秒数」を求め、その中央値を取った値。処理中の休止やスケジューリングを含み、トークン単位の厳密なTPOT、GPUカーネルの速度、最終回答が画面に表示される速さとは異なる。

短文でのサーバー全体の生成量は、DeepSeek V4.1 Flashで毎秒224.0から1287.4トークンへ、約5.75倍に増えた。

短文でのサーバー全体の生成量は、GLM-5.3で毎秒115.3から845.1トークンへ、約7.33倍に増えた。

この全体値は、全20件の生成トークン数を条件全体の所要時間で割ったもの。1人あたりの速度の20倍として計算したものではない。1人が待つ時間が長くなっても、全体では多くの要求を処理できる場合がある。生成長は試行ごとに変わり、モデルごとにトークンの区切り方も異なるため、モデル間のtokens/sを同じ文字量の速度とみなさない。各条件1回・20件の記述値であり、本番のSLAや混雑時の保証ではない。

自動照合の結果も併記する。科学的推論は数値12問だけの分母であり、残る論述8問の専門家評価は含まない。同じ20問でも並列度ごとの生成は別の試行で、実行順による数値・生成差があり得るため、合格数の変化を並列度の因果効果と断定しない。

長文入力の確認範囲

設定上限1,048,576は入力と生成の合計枠であり、100万トークンを実入力した成功を意味しない。262,144の生成枠を残し、約13万・26万・52万・78万トークンの入力を順に試した。各モデルのトークナイザーで実入力を計測しており、トークン数は同一ではない。

課題は、離れた場所に置いた測定値・ブランク・希釈倍率を合成資料から見つけ、数値と三つの引用IDを返すもの。長い実在論文の全体を科学的に理解できるかとは別の、検索と計算の試験である。

GLMの約78万入力・10件および20件同時の行は、時間枠を見直した補完試験の結果である。10件同時は10/10件、20件同時は20/20件が完了した。指定形式・数値・引用IDを含む自動採点は、それぞれ10/10件、19/20件が合格した。20件同時では、回答完了までの中央値は1140.61秒（約19.0分）、最大は2173.38秒（約36.2分）だった。最終回答の開始までの中央値は1138.58秒で、順番待ちと入力処理、回答前の推論を含む。20件は同時に送った要求数であり、20件分の文脈がGPUメモリーに同時に載ったことを示すものではない。

GLMの不合格1件は、最初のJSONで388 mg/Lと回答した後、説明文と二つ目のJSONで380 mg/Lへ訂正した。訂正後の値は正解だが、指定した単一JSONの形式から外れたため、固定した採点処理では不合格となった。回答の完了、形式への適合、内容の正しさを分けて読み、後から訂正部分だけを取り出して合格へ変更することはしない。

DeepSeekは実入力785,876で20/20件が完了・数値と引用に合格し、完了中央値249.03秒、最大414.30秒だった。実生成は280〜421トークンで、GLMの補完20件は161〜645トークン。設定した生成上限262,144を全量、20件同時に出力した試験ではない。約13万入力のGLMは20件すべて完了したが、自動照合の合格は19件であり、この結果も保持する。

最初の試験を打ち切った理由と、補完した条件

最初は容量を探索する作業全体に30分の枠を設けた。しかし、この作業上の枠には、利用者が許容する応答時間やモデルの限界としての根拠はなかった。GLMの約78万入力・10件同時を始めた時点では約738秒しか残っておらず、6件が完了したところで4件を打ち切った。20件同時は開始していなかった。この履歴を、モデルが処理できなかった証拠として扱うのは適切ではない。

そこで共通の30分枠を外し、補完の各要求には本来の90分（5,400秒）の上限を確保した。重みの版・精度、実行環境、保存済みの入力、採点基準、推論量、コンテキストと生成上限は維持し、10件同時、20件同時の順に別試験として実施した。90分は無制限の停止待ちを避ける運用上の上限であり、サービスの合格基準ではない。今回の全要求はその上限に達する前に完了した。旧試験の6/10件完了・4件時間切れと20件未実施の記録は、当初の集計に残し、補完結果と分けて公開する。GPQAの未完了2問や同時利用試験の点数は差し替えていない。

各容量条件は1波だけの探索的測定である。成功した最長値は今回の確認範囲であり、ハードウェアの絶対限界でも運用SLAでもない。待ち行列込みで完了したことは、20件が同時にKV領域へ常駐した証明でもない。

長い推論が終わらなかった問題

GLMの最初のGPQA評価では、2問が生成上限262,144トークンに達し、最終回答を出せなかった。保存ストリームとの照合では、一方に同じ段落が774回、もう一方に約4,200文字の同じ段落が155回あった。単に長く考えた成功例とは区別し、未完了として残した。

その2問と正常終了した対照2問を、3種類の乱数種・推論設定max/highで比較した追加24回答は、すべて完了した。maxは11/12正答、highは12/12正答で、200文字以上の同一段落が10回以上現れる検知基準には両設定とも該当しなかった。生成を検知器で途中停止した結果ではない。

ただし元のmaxでも反復が再現しなかったため、highへの変更が問題を解消したとは判定できない。highでも最大206,892トークン・約36.5分を要した回答があり、設定を下げれば常に短くなるわけではない。同じ乱数種でも要求の組み合わせやバッチ実行順まで同一とは限らず、意味的な堂々巡りがないことも保証しない。原因は未確定であり、選択した4問の追加診断を元の198問のスコアに差し替えない。

導入提案にどう使うか

この構成では、DeepSeekは今回の科学問題の完了、長文処理、コードの固定テストで有望な結果を得た。GLMは短い質問の回答開始が早く、GPQAでもDeepSeekが誤答した5問に正答した。採用を決めるには、実際の業務に近い問題と許容待ち時間を決め、両モデルの説明・根拠・失敗例を確認する必要がある。

GLMの約78万入力・20件同時の補完は完了した。残るのは、独自問題の論述回答に対する専門家のレビューと、実際の業務データを使った評価である。回答が完了したことや数値・引用IDが合ったことだけで、科学的な説明全体が正しいとは判断しない。

今回の結果は、B200を8基搭載したHGXサーバーで測定したものです。他のGPUや構成では性能が変わるため、同じ結果を保証するものではありません。

数値を確認する資料

• 両モデルの集計値・完了数・制限条件
• モデルの版・精度・実行設定
• 独自20問の両モデル回答とコード失敗例

図表と数値の照合は完了している。回答内容の点検はCodexによる補助レビューであり、独立した専門家の評価ではない。

• 1件対20件の待ち時間・概算生成速度
• GLM長文容量の補完結果・条件

図表・集計値・再現条件・独自問題の回答をまとめてダウンロード（ZIP）