応答速度と加速

Arc Pro B70の公開性能測定を読む:XeStrataとSYCL

同じArc Pro B70とIQ3_XXSでも、入力を読むprefillと回答を生成するdecodeは分けて比較します。

XeStrata xe0.1.43.1のIntel Arc Pro B70 32GB測定では、Qwen3.8-Flash-Next IQ3_XXSに4K入力を与えて256トークン1を生成した場合、prefill2は1,511 tok/s、decode3は81.1 tok/sでした。同条件のupstream v0.1.43 SYCL経路はそれぞれ1,259 tok/sと62.2 tok/sです。これはリリースに記載された比較結果であり、他のGPU4や通常の会話の完了時間をそのまま示すものではありません。

Arc Pro B70の入力処理と回答生成の違いを見ます。XeStrata xe0.1.43.1は同じ4K入力・256トークン出力でQwen3.8-Flash-Next IQ3_XXSをupstream v0.1.43 SYCLと比較しています。公開数値は表にまとめ、日常会話の記録と版の修正は別に読みます。

実行条件と要点
  • 4K generate IQ3_XXS:XeStrataはprefill 1,511 tok/s・decode 81.1 tok/s、upstream SYCLは1,259・62.2 tok/sでした。
  • 各値は交互に2回実行した中央値で、generateはtemperature 0で256トークンを出力しました。
  • serve、日本語チャット、コーディングエージェントはgenerateと異なる入出力フローで個別に測定されています。

4K入力テストの2つの数値は異なる処理時間を示します

XeStrata xe0.1.43.1のリリースはArc Pro B70 32GBでQwen3.8-Flash-Next IQ3_XXSをupstream v0.1.43 Intel SYCLビルドと比較しています。以下は約4Kトークン入力・256トークン出力の公開generate測定です。prefillは入力処理、decodeは続くトークン生成の速度です。

Arc Pro B70 32GBにおけるIQ3_XXS 4K generate比較
測定XeStrata xe0.1.43.1upstream v0.1.43 SYCL
prefill1,511 tok/s1,259 tok/s
decode81.1 tok/s62.2 tok/s

この表はtemperature 0のgenerateで、同じIQ3_XXSモデルと約4K入力を使い256トークンを生成した中央値です。リリースでは2つのランタイム5を交互に2回測定しており、異なるコンテキスト長や通常のチャット経路の結果は含みません。

入力が短いとprefill差が全体の待ち時間に占める割合は小さく、回答が長いとdecode速度の影響が長く続きます。短い質問では最初のトークンまでの時間を、長いコード依頼では生成速度と全体の完了時間も記録すると、実作業でどのような差があるか分かります。

画面が空白のモニター、デスクトップタワー、RAMモジュールの作業台
入力を読む速度をprefill、回答トークンを生成する速度をdecodeとして比較します。

このリリースはArcのprefill回帰を修正しました

xe0.1.43ではArc Pro B70上のQwen3.8-Flash-Next 32K prefillがXMX行列エンジンではなく、遅いDP4a経路に切り替わり、リリースノートによると約3分の1遅くなっていました。XeStrata xe0.1.43.1はこの問題を修正し、32K IQ3_XXS prefillを1,590から2,415 tok/sに戻しました。これは以前のXeStrataバージョンとの比較であり、上記の4K upstream比較とは測定条件が異なります。

リリース表にはgenerateのほかにserveと日常利用の測定もあります。32K会話のserveではprefill、次の質問への応答待ち、decodeを個別に記録します。日本語チャットとコーディングエージェントはserve/server.pyを通して最初のトークンまでの時間とdecodeを測定します。たとえば日本語チャットは最初のトークンまで0.58秒、decodeは62.7 tok/sでした。各ランタイムが独自の回答を生成し、temperature 0.7で交互に2回測定したため、単一のgenerate数値と混ぜずに扱います。

デュアルファンのグラフィックカード、RAMモジュール、NVMe SSD、開いた白紙のノート
xe0.1.43.1はIntel ArcでXMX prefill経路を復旧しました。

自分のインストール環境を記録する

公開SYCL比較はリリース表で読み、自分の環境はxestrata --benchで別に記録します。インストール済みIQ3_XXSを約40分測ります。実行中のサーバーを先に終了し、必要なら--bench-verboseで段階別時間・GPU負荷・温度を記録します。

記録はプログラムのデータディレクトリ内のrecords/bench-<time>/に保存されます。summary.mdとtables.mdを読み、record.jsonでハードウェアとエンジン経路を確認してください。既定の測定回数は2回で、より多く繰り返す場合は--bench-rounds 3のように指定できます。混在GPUのレイヤー分割構成ではgenerateとserveではなく日常利用のみ測定するため、比較表の範囲を先に確認してください。

グラフィックカード2枚を搭載した開いたPCと、箱、ノート、ドライバー
自分で測定する場合も、モデル、プロンプト、入力長、生成トークン数を揃えて比較します。

用語の注釈

  1. トークン — モデルが入力や出力を分けて処理する単位です。

    本文に戻る
  2. プリフィル — LLMが入力プロンプトを読み、各トークンの内部表現を計算する段階です。プロンプトが長いほど処理するトークンが増えます。

    本文に戻る
  3. トークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。

    本文に戻る
  4. GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。

    本文に戻る
  5. ランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。

    本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか?
XeStrata xe0.1.43.1のIntel Arc Pro B70 32GB測定では、Qwen3.8-Flash-Next IQ3_XXSに4K入力を与えて256トークンを生成した場合、prefillは1,511 tok/s、decodeは81.1 tok/sでした。同条件のupstream v0.1.43 SYCL経路はそれぞれ1,259 tok/sと62.2 tok/sです。これはリリースに記載された比較結果であり、他のGPUや通常の会話の完了時間をそのまま示すものではありません。