3090アンロックでローカルLLMは速くなる？プリフィル・バッチ・デコード

1トークンずつ生成するとき、モデルは各段階で重みをメモリから読みます。RTX 3090の936GB/sがこの読み出し待ちを決め、BF16行列演算ユニットの処理量が速度を決めるわけではありません。演算率が上がっても1リクエストのtok/sはほとんど変わりません。

当サイトで公開した3090の測定も同じ方向です。Qwen3.8 27B UD-Q4_K_XL、MTP⁵ n-max 3の条件で、350W時に68.9 tok/s、250W時に51.0 tok/sでした。電力上限を下げると遅くなりますが、これは演算ではなくクロックと電力の問題です。

長い文書を一度に読むプリフィルは、入力トークン全体に対して行列積を実行する演算ボトルネックの段階です。BF16でプリフィルするランタイム⁶なら、アンロック後に最初のトークンまでの時間が短くなる余地があります。llama.cppの量子化⁷カーネルのようにBF16行列積を使わない経路では影響は小さいです。

どのランタイムがBF16でプリフィルするかはモデルとカーネルによります。同じモデルでもvLLMとllama.cppは同じ経路を使わないため、プリフィルの利得を計算するには使うランタイムのカーネルから確認します。

複数リクエストを同時に処理すると同じ重みを再利用でき、帯域負担が減って演算比率が上がります。そのときはBF16処理量が全体の処理量を左右し得ます。連続バッチングを使うvLLMのようなサーバーでアンロックの効果が大きく出る理由です。

逆に1人が1件ずつしか送らない環境ではバッチが形成されず、この利点はほとんどありません。サーバー運用者か個人PC利用者かで期待値が変わります。

LoRAファインチューニングはBF16行列積を多く使うため、理論上はアンロックの利得が最も大きい作業です。しかし3090の24GB VRAM⁸がバッチサイズ⁹と系列長を制限するため、演算率より先にメモリが制約になります。大きなバッチを回す人ほど効果の余地があります。

画像生成はモデル・解像度・ステップ数によって演算とメモリの比率が変わります。FP16¹⁰行列積が多い区間では助けになりますが、高解像度ではVRAMと帯域が先に制約になります。画像生成の前後差はモデル・解像度・ステップ数の組み合わせごとに変わるため、使う設定でそのまま測る方が早いです。

同じモデル・量子化・文脈長¹¹・電力上限で基準線を測り、アンロック後にコールドブートで同じ条件を繰り返します。デコード¹²だけでは差がほとんど見えないため、プリフィル時間と同時リクエスト処理量も記録します。

アンロックはすでに持っている3090の演算余裕を確認する実験です。新しく買う理由としては弱く、デコードが目的なら5090や48GB改造など別の選択肢を見るべきです。3090の強みは24GBの容量と価格で、演算率ではありません。

判断は測定から出ます。同じカードで前後を測ってから決めてください。