最大級LLMは小型ローカルLLMに勝てるか――5モデルによる3本のFortranコードCPU高速化を完全ブラインド比較

動画版はこちら

本記事の比較条件と結果をYouTube動画でも紹介しています。

最大級LLM対ローカルLLM――5モデルが3本のFortranをどこまで高速化できたか（YouTubeで見る）

先に結論――小型モデルにもできた。しかし最大級モデルの総合到達点は高かった

公開可能な合成Fortranベンチマークを3本用意し、Kimi K3、GLM-5.3 Max、GPT-5.6 Sol Max、DeepSeek-V4-Flash / DS4 Q4、Qwen3.8-27B Q4へ、ソースコードのCPU高速化を完全ブラインドで任せました。

科学技術計算に携わったことのある人であれば、一度はプログラムの高速化に挑戦した経験があるのではないでしょうか。計算時間の短縮は、同じ期間に試せる条件を増やし、より大きな問題や高精度な計算へ進むために重要です。その一方で、ボトルネックの特定、並列化、データ配置、計算順序、そして正解の維持を同時に成立させる必要があり、本格的な高速化は簡単ではありません。

この記事の目的は、単にLLMへコードを書かせることではありません。これまで専門家が試行錯誤してきた科学技術計算コードの高速化を、最近のLLMは実際に行えるのか。その問いを、公開可能なコード、固定条件、実測値、完全一致検証によって確かめることです。

なお、Kimi K3とGLM-5.3 Maxは重みが公開されているため、原理的には自社設備でローカルLLMとして運用できます。ただし、最大級の重みと長いコンテキストを実用的に扱うには、例えばNVIDIA B300を8基搭載するクラスの非常に大規模なGPUサーバーが現実的な候補になります。当社はそのクラスの設備を保有していないため、今回はKimi K3をFireworks、GLM-5.3 MaxをZ.aiのクラウドサービス経由で利用しました。したがって本記事でいう「公開重みモデル」は、モデルのライセンス・配布形態を指しており、今回の推論を当社内で実行したという意味ではありません。

結果は次の通りです。

Kimi K3は3戦全勝です。3コードの高速化率を幾何平均すると29.125倍で、GLM-5.3 Maxの21.740倍、GPT-5.6 Sol Maxの21.576倍を上回りました。

一方、Qwen3.8-27B Q4も9.448倍、DS4 Q4も10.828倍です。小型・量子化モデルでも、フラグ変更だけではない本格的なソース高速化に成功しました。ただしKimiの幾何平均はQwenの3.083倍、DS4の2.690倍に相当します。最大級モデルは、異なる3種類のコードを通じて高い到達点を安定して見つけました。

さらにDS4 Q4はSIKB-Bで31.763倍を達成し、GLM-5.3 Maxの30.041倍を上回りました。モデルの総合規模だけで、個別コードの順位が決まるわけでもありません。

すべての最終結果は、固定したIntel ifx 2026.1.1、固定フラグ、同一の評価用40物理コア環境で3回測定した中央値です。5モデル×3コード×3回、合計45回の最終出力はすべて正解と完全一致しました。

しかし、この記事で伝えたいのは「Kimi K3が絶対に最強」という単純な話ではありません。

SIKB-BではKimiとSolの差は実行時間で約1.58%しかありません。一方、Original SIKBではGLMがSolを上回り、SIKB-BではSolがGLMを上回り、SIKB-Cでは再びGLMがSolを上回りました。

Kimi K3は今回の3本で一貫して強かった。しかし、2位以下の順位は計算構造によって入れ替わった。LLMのコーディング能力を1本のベンチマークだけで判断するのは危険である。

これが今回の最も重要な結論です。

追試：GPT-6 Astraではどこまで高速化できたか

同じ3本の公開Fortranコードと評価条件を使い、GPT-6 Astraを追加評価しました。単体では最大49.715倍、3本の高速化率の幾何平均は26.814倍でした。先行5モデルの結果との比較、コードによる得意不得意、追試の条件をまとめています。

GPT-6 AstraによるFortran CPU高速化の追加評価を読む

なぜ1本で終わらせず、3本作ったのか

前回の記事では、Original SIKBを使い、公開重みのKimi K3とGPT-5.6 Solの最高到達点を比較しました。

Kimi K3は22.967倍。独立した第2探索でのGPT-5.6 Sol最高到達点は23.257倍。差はわずか1.247%で、ほぼ五分という結果でした。

非常に面白い結果ですが、問題もあります。

たまたま一つのモデルが、そのコードに適した高速化パターンを早く発見しただけかもしれません。別の計算構造では順位が逆転する可能性があります。また、同じモデルでも探索経路によって到達点が大きく変わります。

そこで今回は、前回のOriginal SIKBに、異なるボトルネックを持つSIKB-BとSIKB-Cを加えました。

なお、前回の「Sol最高到達点」は独立した第2探索を含む結果です。今回の5モデル表では、事前登録した公平な一回勝負にそろえるため、各コードにつき各モデル1回、探索時間1,943秒の単一エージェント結果だけを使っています。そのためOriginal SIKBのSol欄は、第1探索の11.371倍です。

条件の違う最高記録を混ぜず、同じルールの結果だけで比較しました。

3本のSIKBは何が違うのか

SIKBはScientific Irregular Kernel Benchmarkの略です。実研究コードの名前だけを変えたものではありません。

公開できない研究コードからソース、式、定数、データ、識別子を持ち出さず、一般的な計算上の難しさだけを性能仕様として抽出し、ソースコードを独立して新規作成しました。3本とも物理的な意味を持たない合成データを使います。

Original SIKB――不規則なpairとテンソル収縮

• ブロックごとに長さが異なる三角pair列挙
• 4チャネルのテンソル収縮
• pairごとに異なる反復回数
• 間接参照とキャッシュに不利なデータ配置
• 40コアに対して4個しかない外側並列タスク

SIKB-B――Sparse Indirect Transport

• 行ごとに長さが違う疎なエッジ列
• 間接的なstate読み出し
• まれに長い反復を持つlong-tail処理
• 同じ不変計算の繰り返し
• 5フィールドしかない外側並列性

SIKB-C――Staged Irregular Evolution

• 100万セル、8成分の状態配列
• predict、correct、couple、commitの段階依存
• 不規則な隣接セル参照
• 成分ごとに異なる漸化式の末尾長
• 細かく繰り返されるOpenMP領域

3本は同じ問題を少し変えただけではありません。並列化の粒度、メモリアクセス、漸化式、段階依存を変え、異なる最適化能力を試すよう設計しています。

公平にするため固定した条件

各モデルへ、他モデルの答えは一切渡していません。

LLMの推論環境は、Kimi K3がFireworks、GLM-5.3 MaxがZ.ai、GPT-5.6 Sol MaxがOpenAIです。Kimi K3とGLM-5.3 Maxは公開重みモデルですが、今回は当社にB300×8級のGPUサーバーがないためクラウド推論を利用しています。

Qwen3.8-27B Q4とDS4 Q4は、当社のA100 80GB×4環境でローカル実行しました。DS4は旧版ではなく、ファイル名に-0731を含む2026年7月31日版を使い、約1,010,000 tokenのコンテキストで動かしました。旧Q4ファイルは別に存在しますが、今回の評価には使っていません。

生成されたFortranの性能測定は、5モデルとも同じ評価用CPU環境へ集約しています。表の高速化率は、クラウドGPUやローカルGPUの推論速度を比較したものではありません。

モデルが編集できるのは公開ベンチマークのソースだけです。Makefile、フラグ、入力、計算量、正解ファイル、評価器は変更できません。

候補を提出すると、モデルから隔離した固定評価器がコンパイル、実行、完全一致判定を行います。モデルが正解ファイルや別モデルの候補を見ることはできません。

モデル探索終了後に人間が高速化を追加することもしていません。時間内に提出され、完全一致した候補をハッシュで凍結し、コントローラーが同一条件で3回測っただけです。

何をモデルに渡したのか――比較対象は「モデル＋エージェント＋道具」

今回比較したのは、チャット画面へソースを貼り付けて一回答えを返させる方法ではありません。全モデルを同じエージェント型ループへ接続しました。

モデルは公開ソースと共通プロンプトを読み、ソースを編集して候補をgitへ保存し、固定評価器へ提出します。評価器はコンパイル、実行、完全一致判定を行い、モデルへ返すのは候補自身の実行時間とPASS/FAILです。モデルはその結果と、必要ならVTune・ifxレポートを使って次の候補を作ります。この反復を1,943秒で打ち切りました。

共通プロンプトの核は次の通りです。

公開FortranのCPU実行時間を短縮し、出力を完全一致で維持する。
ifx 2026.1.1と固定フラグを使い、ソース変更だけで高速化する。
Makefile、入力、計算量、validator、referenceは変更しない。
VTuneとifx最適化レポートを利用できる。
候補は固定評価器だけで測り、正しい有力候補をgitで保存する。
他モデルの候補、reference、コントローラー資料へアクセスしない。

モデル名、ベンチマーク名、未変更版の基準時間以外は共通です。完全なプロンプト、エージェント規約、ツールの呼び出し方法、ガード、実行スクリプトは、最終監査後に公開する再現性パッケージへ収録します。

ここは追試で特に重要です。同じソースと同じモデルを用意しても、単発のチャットにするか、測定結果を受け取って自律的に再編集するエージェントにするかで到達点は変わります。したがって本記事の結果は、モデル単体の順位ではなく、モデル、エージェント、共通プロンプト、利用可能ツール、評価ハーネスを一体にした最適化システムの比較です。

最終監査後に公開する再現性パッケージには、要約版ではなく次を収録します。

• 実際に使った完全な共通プロンプトとエージェント規約
• モデルごとの正確なモデルID、量子化、コンテキスト長、接続方式
• ソース閲覧、編集、git保存、評価、プロファイルを反復するエージェントランナー
• 固定コンパイラ、固定フラグ、OpenMP設定、CPU固定方法
• referenceをモデルから隠したままPASS/FAILだけを返すvalidatorとブラインドガード
• 成功候補だけでなく、ビルド失敗、完全一致失敗、性能後退を含む試行履歴
• 最終ソース、未変更版との差分、SHA-256、3回の実測値

APIキー、秘密値、非公開ホスト名、内部パスは含めません。読者が自分のAPIキーと計算環境を設定すれば、同じ公開ソースから同じ1,943秒の評価を再実行できる構成にします。

詳細結果――3コードすべてで完全一致

Original SIKB

未変更版の中央値は276.053566秒です。

Kimiはpairへ並列軸を移し、4チャネルを融合し、厳密にゼロとなるinteractionの漸化式をメモ化しました。

GLMは有効行を先に構築し、pairをまとめて処理して基底値と分母を再利用し、gatherをSIMD化しました。

Solもpair並列化、基底配列の転置、有効三角列の事前構築、チャネル融合、ゼロ漸化式の再利用へ進みましたが、1,943秒の第1探索ではKimiの到達点まで進みませんでした。

SIKB-B

未変更版の中央値は76.443163秒です。

ここではKimiとSolがほぼ並びました。実行時間の差は約1.58%です。

Kimiは疎行を外側の並列単位へ変更し、16エッジ単位で複数の独立漸化式をSIMD実行しました。反復ごとの外力値も事前計算しています。

Solは行並列、edge-weight構築とstate更新の並列化、複数fieldの漸化式の交互実行、共通反復部分とmasked tailの分離、エッジのバッチ化へ進みました。

GLMも行並列とエッジ構築の並列化、field方向のSIMD化を実現しました。30倍は非常に大きな成果ですが、このコードではKimiとSolがさらに先へ進みました。

DS4もこのコードでは非常に強い結果でした。最初に外側5フィールド並列を24万行並列へ変えて39.54秒、次に直列だったedge-weight生成を並列化して8.50秒。最後に行内の独立エッジを配列へまとめ、各エッジの演算順序を保ったまま漸化式をSIMD化し、最終中央値2.407秒へ到達しました。GLMの30.041倍を上回る31.763倍です。

Qwen 27Bも行方向への並列軸変更などで15.096倍を達成しましたが、制限時間内にDS4のエッジSIMDと同等の構造まで進めず、ここで大きな差が出ました。

SIKB-C

未変更版の中央値は73.028400秒です。

Kimiは8成分だけを並列化する構造から、100万セルを40コアへ分ける構造へ変更しました。一つのOpenMPチームを全stepで維持し、不要なstate-copyを除去。8本の独立漸化式をSIMD化し、2セルを交互に処理しました。

最後の決め手は、セルclassから決まるtail長とmask、stepから決まるforcingを先に表へしたことです。ホットループ内で何度も行われていた整数mod、変換、分岐を除去し、16.94倍から28.76倍へ伸ばしました。

GLMはセルをblock化し、同じ反復長を持つセルをまとめ、predictorとcorrectorをベクトル化しました。correct、couple、state updateも融合し、中間配列への書き戻しを削減しました。

Solはcell並列化、冗長コピー除去、8成分SIMD、共通反復とmasked tailの分離、256セル単位のdynamic scheduleを採用しました。

Qwen 27Bはcell方向への並列軸変更などで6.984倍、DS4はcollapse(2)、状態コピーの除去、predict/correct漸化式の4段アンロール、実測で選んだdynamic 8192によって5.172倍でした。どちらも正しい大幅高速化ですが、Kimi・GLM・Solが発見した段階融合、複数セル同時処理、class別前計算まで制限時間内に到達せず、Cでは最大級モデルとの差が広がりました。

実際のソースはどう変わったのか

これはコンパイラフラグだけの高速化ではありません。

SIKB-Bの未変更版は、5個しかないfieldを外側で並列化していました。

!$omp parallel do schedule(dynamic,1)
do field = 1, n_fields
   do row = 1, system%n_rows
      do edge = row_begin, row_end
         ! 不規則な間接参照と漸化式
      end do
   end do
end do

Kimi K3の最終版は、多数存在するrowを40コアへ分け、16エッジの独立計算をSIMD化しました。

-do field = 1, n_fields
-   do row = 1, system%n_rows
-      do edge = row_begin, row_end
+do row = 1, system%n_rows
+   do e0 = row_begin, row_end, 16
+      do field = 1, n_fields
+         do repeat_id = 1, repeats
+!$omp simd
+            do j = 1, 16
+               xv(j) = (xv(j) + a_vals(repeat_id)) / denv(j)
+            end do

SIKB-Cでは、predict、correct、coupleの各段階で8成分だけを並列化し、毎回OpenMP領域を作っていました。

-call stage_predict(step, repeats, system)
-call stage_correct(step, repeats, system)
-call stage_couple(step, system)
-call advance_state(system)
+!$omp parallel
+do step = 1, config%n_steps
+!$omp do schedule(static)
+   do cell0 = 1, n_cells, 2
+      ! 2セル×8成分の独立漸化式をSIMD実行
+   end do
+!$omp end do
+end do
+!$omp end parallel

さらに、classごとに同じ結果になる判定を前計算しました。

do component = 1, n_components
   do cls = 0, 16
      t5(cls,component) = mod(cls + 3 * component, 5)
      t4(cls,component) = mod(2 * cls + component, 4)
      do source = 1, n_components
         keep9(cls,component,source) = &
            mod(cls + component + source, 9) /= 0
      end do
   end do
end do

仕事の分け方、データ再利用、反復構造、中間配列を変えています。-O3や-fastへ変更しただけでは得られない高速化です。

なぜKimi K3は3本で勝てたのか

3本を通して見ると、Kimi K3には共通する行動がありました。

1. 少数の外側ループではなく、大量にあるrow、pair、cellへ並列軸を移す。
2. 漸化式を壊さず、独立な複数チェーンをSIMDレーンへ配置する。
3. 内側で繰り返す整数判定、不変量、厳密なゼロ計算を表へ移す。
4. 中間配列と不要なコピーを減らし、段階を安全に融合する。
5. プロファイルを取り直し、正しいが遅い候補を捨てる。

特に重要なのは5番目です。

SIKB-Cでは、Kimiは正解完全一致の候補を複数作りました。しかし、4成分ずつに分けた版は3.836秒、単一セル版は3.539秒で、採用版の2.539秒より遅い結果でした。

「正しい変更」でも「速い変更」とは限りません。LLMは仮説を実装し、実測し、失敗を捨てる必要があります。

Kimiは今回、短い制限時間の中で、その探索ループを3種類のコードすべてでうまく回しました。

GLMとSolはほぼ同じ総合点、しかし得意なコードが違った

3コードの幾何平均は、GLM-5.3 Maxが21.740倍、GPT-5.6 Sol Maxが21.576倍です。差は約0.76%で、総合点はほぼ同じです。

しかし内訳は違います。

• Original SIKB: GLMがSolより上
• SIKB-B: SolがGLMより上
• SIKB-C: GLMがSolより上

モデル名を一列に並べた総合ランキングだけでは、この違いが消えてしまいます。

疎行と独立エッジのバッチ化ではSolが強く、段階依存と不規則な漸化式のblock化ではGLMが強かった。少なくとも今回の結果からは、そう解釈できます。

これは3本の結果からの推測であり、一般的な能力を断定するものではありません。しかし「一つのスコアだけではモデルの性格を説明できない」ことは明瞭です。

正しさをどう保証したか

科学計算の高速化では、速さだけなら簡単に作れます。

計算を減らす。反復回数を変える。浮動小数点の順序を変える。都合の悪い出力を消す。これらでも実行時間は短くなりますが、高速化ではありません。

今回の評価器は、次を固定しました。

• workloadと入力
• コンパイラとフラグ
• 実行スレッド数
• 出力形式
• 正解reference
• 完全一致validator

最終候補はソースSHA-256で固定し、同じソースを3回実行しました。全15個のモデル×コード結果、合計45回の最終実行で、すべてmax_abs=0、rms=0です。

許容誤差内ではなく完全一致です。

費用は性能ランキングへ混ぜなかった

Original SIKBのKimi K3評価では、Fireworksの請求画面で2.51ドルを確認しました。

ただし今回、Kimi K3はFireworksの従量課金、GLM-5.3 MaxはZ.aiのTrial Pack、GPT-5.6 Sol MaxはOpenAIの利用環境です。課金単位、キャッシュ、契約、付帯サービスが異なるため、一つの「1回あたり価格」として公平に並べられません。

そのため本記事の順位は性能だけで計算しました。費用は各社の請求画面へ反映された実額と、入力・出力・キャッシュtokenを整理できた段階で、別表として扱う予定です。

この結果で言えること、言えないこと

言えることは次の通りです。

• Kimi K3は今回の3本すべてで首位だった。
• Kimi、GLM、Solはすべて、フラグ変更ではない本格的なソース改編で20倍以上の幾何平均高速化を達成した。
• Qwen3.8-27B Q4とDS4 Q4も、同じ完全ブラインド条件で幾何平均9.448倍、10.828倍を達成し、小型・量子化ローカルモデルにも実質的なソース高速化能力がある。
• ただし最大級モデル群は3種類のコードを通した総合到達点が高く、Kimiの幾何平均はQwenの3.083倍、DS4の2.690倍だった。
• モデル順位はコード構造によって変わった。
• 正解完全一致を維持した短時間の自律探索が、実用的なCPU高速化へ到達した。

一方、次のことは証明していません。

• Kimi K3があらゆるコードで最強である。
• SIKBの倍率が実研究コードでそのまま再現する。
• 32分23秒の一回勝負が各モデルの能力上限である。
• API費用や応答速度まで含めてKimiが総合的に最安である。

3本は1本より強い証拠ですが、統計的にはまだ小規模です。今後は各モデルの独立走行回数を増やし、最高値だけでなく成功率と分布を見る必要があります。

公開ベンチマークと再現性パッケージをダウンロード

3本の公開用SIKBをまとめた承認済みアーカイブは次のものです。

• ファイル名: sikb-suite-owner-review-r1.tar.gz
• SHA-256: 8e46a97c91ced195bfceac3c1b0f44f1a389458017147037bb231de5e0b32567

ソースアーカイブには3本の公開ソース、Makefile、説明資料が含まれます。記事末尾のダウンロードカードから取得できます。

• 再現性パッケージ: 最終監査後に追加予定
• 現在の状態: レビュー候補（未配布）
• 監査項目: 抽出、ビルド、検証、機密情報

公開版には、非公開研究コード、非公開入出力、物理定数、APIキー、秘密の接続情報、内部ホスト名を含めません。

完全な再現性パッケージの公開後は、読者がREADMEに従ってAPI接続先と評価CPUを設定し、同じ未変更ソース、同じプロンプト、同じエージェントループから追試できる構成にします。CPUが異なれば秒数は一致しませんが、固定条件内での高速化率、完全一致、探索経路を比較できます。

まとめ

今回の勝者はKimi K3です。

Original SIKBで22.97倍。SIKB-Bで37.40倍。SIKB-Cで28.76倍。3本の幾何平均は29.12倍。3戦全勝でした。

しかし、私がより重要だと感じたのは二点です。GLM-5.3 MaxとGPT-5.6 Sol Maxも3本の幾何平均で約21.7倍に到達し、コードによって順位が入れ替わりました。そしてQwen 27BとDS4 Q4も9.45倍、10.83倍に到達し、「どんな小さなモデルでも同じ結果になる」わけではない一方、「小型モデルには本格的な高速化はできない」とも言えない結果になりました。

LLMへ「このコードを速くしてください」と一度頼み、返ってきた答えを見るだけでは、本当の能力は測れません。

同じ開始ソース。同じ時間。同じプロファイラ。同じコンパイラ。同じ評価CPU。同じ完全一致validator。そして他モデルの答えを見せない完全ブラインド環境。

この条件を固定して初めて、モデルがどこを見て、何を変え、どの失敗から立て直したかが比較できます。

3本の結果ではKimi K3が明確に勝った。しかし5モデルすべてが、公開可能な科学計算ベンチマークを完全一致のまま大幅に高速化できた。最大級モデルには総合到達点の優位があり、小型・量子化モデルにも実用的な高速化能力があった。これは順位以上に重要な結果である。

次は、独立走行を増やしたときの成功率、費用、到達時間まで含めて比較したいと思います。

ベンチマーク・ソースをダウンロード

この記事への質問・感想をお寄せください

「自分のFortranコードでも速くなる？」「この比較条件ではどうなる？」など、一言から歓迎します。

この記事について質問・感想をメールで送る

会員登録は不要です。記事名とURLが入ったメール作成画面が開きます。

メールアプリが開かない場合は、ken@server-gear.com 宛に記事名を添えてお送りください。お送りいただいた内容は、公開コメントには掲載されません。