応答速度と加速
最終更新
Nemotron BoltとQwen3.8-27B、エージェント作業が速いのはどっち？
短いベンチマークと複数段階の処理では、速度順位が異なることがあります。
NVIDIAのRTX Spark測定におけるNemotron BoltとQwen3.8-27Bのtoken1処理量・agentタスク再生時間を比較し、自分のプロンプト2とツールで試す方法を説明します。
NVIDIAの同じRTX Sparkテストでは、BoltはQwen3.8-27Bより高いTPSと短いagent処理時間を記録し、Qwen3.6とGemma4はBoltより高いTPSと短い処理時間を示しました。表では4モデルの量子化3・高速化構成と2つの指標を比べ、自分の用途に近い測定値を確認します。NVIDIA測定結果
公開結果でモデルごとの量子化・高速化構成を確認します。自分で比べる際は同じ文書・質問・ツールを両モデルに使います。短いプロンプトから始めて普段の文書長まで延ばし、回答精度・ツール呼び出し4・メモリ使用量を記録してください。
2つの指標が示す異なる待ち時間
AIPerf SPEED-Bench-CodingのTPSは、一定のベンチマーク入力で生成したトークン処理量です。テキストの生成速度を示しますが、ツールの選択・実行、結果を読んだ後の計画修正まで含む全工程ではありません。体感待ち時間には最初のトークンまでの時間と出力長も影響します。
AA-AgentPerf Localのreplay durationは複数のagent軌跡を再実行する時間です。プロンプトやツール使用の段階を含むため、コーディングTPSより自動化全体の所要時間に近い指標ですが、固定シナリオと特定ランタイム5に限られます。別のツールや長い文書を使うと順位が変わる可能性があります。
公開測定でBoltがQwen3.8を上回った指標は？
測定は同じRTX SparkのSurface Laptop Ultra 128GB上で、Windows 11 ARM x64とllama.cppを使いました。TPSはAIPerf SPEED-Bench-Coding、再生時間はAA-AgentPerf Localの固定タスクセットの結果です。
| モデルと構成 | AIPerfコーディングTPS | AA-AgentPerf Local再生時間（秒） |
|---|---|---|
| Nemotron Bolt IQ2_XXS + LiLiCorr | 83.99 | 600.80 |
| Qwen3.8-27B UD-Q4_K_M + DFlash | 28.26 | 1,043.28 |
| Qwen3.6-35B-A3B UD-Q4_K_M + MTP | 96.63 | 453.97 |
| Gemma 4 26B-A4B UD-Q4_K_M + MTP | 100.56 | 480.68 |
自分の作業に合わせた小さな比較表を作る
表ではBoltの生成TPSがQwen3.8の約3倍で、固定されたagent処理も約42%短い時間で完了しました。一方、Qwen3.6とGemma4はBoltよりTPSが高く、再生時間も短い結果です。連続生成の補助用途ではTPSを、複数回ツールを使う自動化ではreplay durationを先に見ます。
各モデルを公式配布元から取得し、Qwen3.8-27Bの量子化とDFlash設定は公開表と同じ名称に合わせます。BoltでもIQ2_XXSとLiLiCorrを使うか記録します。各構成のファイル容量、ランタイム版、メモリ使用量を残せば再現しやすくなります。drafterが異なる場合、基盤モデルだけでなく高速化構成全体の比較になります。
代表的な処理を一つ選び、同じ文書・質問・ツール・出力上限を両モデルに使います。短い対話で動作と回答精度を確認し、その後実際の文書長とツール呼び出しを加えます。最初のトークンまでの時間、生成速度、全工程時間、VRAM6最大値、失敗数を記録してください。回答が異なる場合は同じ評価表で採点し、速度と品質を合わせて比べます。
どちらを選ぶか
段階が多く、ツール結果をもとに次の行動を選ぶ処理では、使用するツール形式で安定して呼び出せるかと全工程時間を優先します。公開測定でBoltがQwen3.8-27BよりAA-AgentPerf Localを短時間で完了した点は候補選定に役立ちますが、ツールが異なればそのまま当てはまりません。ファイル編集やウェブ取得を行う自動化はサンドボックス7で試します。
短いコード補完を繰り返す、または一定の入力にすばやく回答を生成する作業では、TPSと最初のトークンまでの時間を別々に測ります。公開表ではQwen3.6とGemma4のTPSがBoltより高い結果でした。入力長とGPU8構成を揃えて繰り返し測定すると、自分の処理に適した結果が分かります。
用語の注釈
トークン — モデルが入力や出力を分けて処理する単位です。
本文に戻るプロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻る量子化 — モデルの重みや計算値を少ないビット数で表し、保存容量やメモリ使用量を減らす方法です。表現が粗くなるため、精度にも影響することがあります。
本文に戻るツール呼び出し — ファイル読み取り、検索、コマンド実行などの外部機能を、名前と引数でモデルが要求する形式です。実行の有無はエージェントランタイムと権限設定が決めます。
本文に戻るランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。
本文に戻るVRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻るサンドボックス — プログラムがファイル、ネットワーク、ホスト機能にアクセスできる範囲を制限する隔離環境です。保護範囲はマウント、ネットワーク、実行権限の設定で変わります。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- NVIDIAのRTX Spark測定におけるNemotron BoltとQwen3.8-27Bのtoken処理量・agentタスク再生時間を比較し、自分のプロンプトとツールで試す方法を説明します。
- 必要なメモリはどのくらいですか？
- 各モデルを公式配布元から取得し、Qwen3.8-27Bの量子化とDFlash設定は公開表と同じ名称に合わせます。BoltでもIQ2_XXSとLiLiCorrを使うか記録します。各構成のファイル容量、ランタイム版、メモリ使用量を残せば再現しやすくなります。drafterが異なる場合、基盤モデルだけでなく高速化構成全体の比較になります。