ローカルAI速度レポート：2026年9月

9月の表はQwen3.6 35B-A3B 4bit、入力4096token、回答302tokenを基準に機器を比較します。入力や出力の長さが変われば待ち時間の内訳も変わるため、最高記録のランキングではなく同じ作業仮定で候補を絞る資料です。

数値は機器仕様とbenchmark補正を使った推定であり、全機器を同じ依頼で直接測定した結果ではありません。同じ仮定でどの段階が有利かを見る参考値です。

重みがぎりぎり読み込めても、context cache、runtime³、OS、他アプリ用の領域が足りなければ表の条件で作業できません。Macのユニファイドメモリ⁴やNVIDIA VRAM⁵の表示容量が全てモデル用に使えるわけではありません。

35B-A3BはMoE⁶モデルです。tokenごとに一部のexpertだけが計算しても、実行経路は重み全体へアクセスできる必要があるため、active parameter数だけで小型モデルと判断しません。この比較を他モデルに一般化せず、使用するファイルとcontext長が実際に収まるか確認します。

長いrepositoryを読み短く答える作業では入力処理と最初のtokenまでが重要な場合があります。長いcode reviewでは最初の文字以降のdecode⁷も完了時刻に影響します。prefill時間、TTFT⁸、生成速度、完了時間を同じものとして扱いません。

説明用に出力302token、毎秒50tokenと仮定すると生成区間は約6.04秒、毎秒100tokenなら約3.02秒です。一定速度を仮定した計算で、モデル読み込みやqueueを除き、機器の実測ではありません。全体時間には最初のtoken前の入力処理も加わります。

アプリが入力token数を表示する場合は記録し、4096tokenの基準と比較します。表示しない場合は同じfile、指示、会話contextを両候補に送り、入力を記録します。file容量だけではtoken数は分かりません。

この表は2026年9月5日に保存した計算記録です。後の表と比べる際はモデル、精度、入力・回答長、runtimeが同じか確認します。条件変更も順位に影響するため、過去の数値は日付とともに読みます。

この比較に一律のMTP⁹倍率は適用していません。複数機器構成は対応runtimeがモデルを分割実行する仮定の推定です。MTPやモデル分割に非対応の経路にはそのまま適用できないため、機能ごとの実行条件を確認します。

直接比較では同じQ4 fileと4096token入力から始め、最初のtoken、生成長、終了時刻を分けて記録します。次の実行で入力やruntimeを変えたら条件も記録し、結果を変えた要因を特定します。

長い依頼を毎日何度も送るならdecode差を感じやすく、repositoryを一度読み短く答える作業ではprefillとモデル読み込みが重要な場合があります。比較画面ではモデルと入力長を固定し、全体と生成区間を分けて確認します。

サイトの数値は推定体感です。購入前に使用予定のモデルfileとruntimeで繰り返し実行し、読み込み可能かと回答品質を確認します。待ち時間が仕事を中断するかも考え、高価な機器の利点が費用に見合うか判断します。