24GBのRTX 3090で実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8 27B, Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

ローカルLLMの電力消費は、RTX 3090 24GBでどのくらいになりますか？

継続的な負荷基準では約420Wで、実際の範囲は330–540Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

2026.10 更新

RTX 3090 24GB 中古価格を見る前に、自分のPCに24GB GPUを取り付けられるか確認しましょう。

所有中なら目的のモデルと文脈が24GBに収まるかを先に確認します。必要な作業が終わるなら、新型登場だけで交換する必要はありません。中古購入では電源・冷却・ケース・返品条件も含めて比較します。

同じモデルで速度とメモリを確認

RTX 3090 24GB · Qwen3.8 27B · ローカルLLM速度・メモリ: 入力処理 · プリフィル 548–944 tok/s · トークン生成 · デコード 42.3–46.9 tok/s; 必要 17.56GB / 使用可能 22.5GB VRAM — 入力4,096トークン · 単一リクエスト · キャッシュなし

この設定で速度を計算計算方法と根拠 CC BY 4.0

使用可能メモリー: 22.5GB
メモリ帯域: 936GB/s
LLM連続負荷の推定: 約 420W
韓国の参考価格（ウォン）: 239万ウォン〜239万ウォン

向いている人

既存のPCでVRAM 24GBを確保
24GBに収まるQ4
ComfyUI画像生成

この場合は見送りましょう

負荷をかけたときの状態も、不具合があった場合の返品条件も確認できない中古カードは避けてください。一度画面が映るのを見ただけでは十分ではありません。購入前に、そのメーカーの製品の長さ・厚さ・電源端子が自分のPCに合うかも確認しましょう。

デバイス別推奨フォーマット · 4K入力

このデバイスで体感できるモデル

基本デコード・予想範囲

K2 Horizon 0.9B

必要 1.03GB · 余裕

llama.cpp CUDA · Q4_K_M

トークン生成

1271.5 ~ 1412.8 tok/s

最初のトークン

0.26 ~ 0.45秒

Qwen3.8 27B

どのタスクに適するか

27B チャット

適合

27B Q4のファイルと入力キャッシュを合わせて計算してください。すべてGPUに載せた設定と、一部をRAMへ移した設定の速度を混ぜて比較してはいけません。

画像生成

適合

ComfyUIでモデル・解像度・バッチサイズが24GB内に収まるかを確認してください。新しいGPU向けの低精度カーネルが、3090でも同じように動くとは限りません。

24時間サーバー

条件付き

電源を入れている時間と、実際に生成している時間を分けて費用を見てください。一日中定格電力を使うわけではありませんが、連続生成では冷却や騒音も考慮する必要があります。

最も最初にブロックされるもの: 70Bの4ビット重みだけでも単純計算で約35GBあり、メタデータと文脈キャッシュが加わります。単体24GBへの全量常駐とオフロードを混同しないでください。RAM退避で動いても、全量常駐の速度は保証されません。
確認する構成: RTX 3090 24GB単体・比較条件のシステムRAMは64GB・電源、ケースへの収まり、保証はメーカーの製品別に確認
より多くのお金をかける基準: 同じ24GBのRTX 4090は速度比較の相手で、容量不足の自動解決策ではありません。32GBへ移る際も目的が収まるかを確認。16GBで終わる作業なら、電力・保証・本体費込みで小型の新品構成とも比べられます。

販売ページでは、チップよりもメモリをまず確認してください。

同じ製品名でも24GB構成でなければ、上記のモデルと速度の条件は変わります。

よくある質問

24GBのRTX 3090で実行可能なローカルLLMはどのようなものがありますか？: K2 Horizon 0.9B, Qwen3.8 27B, Qwen3.8-Flash-Nextなどを4K入力と推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。
ローカルLLMの電力消費は、RTX 3090 24GBでどのくらいになりますか？: 連続負荷では約420W、実際の範囲は330〜540Wと見ています。
表示されたトークン速度は実測値ですか？: 収集したベンチマーク実測を同じ条件にそろえた範囲です。同じ条件の実測がない組み合わせは近い実測値を基準に推定し、ランタイム・冷却・量子化ファイル・コンテキスト長で変わります。

16GBで足りる作業

RTX 5060 Ti 16GB

448GB/s GDDR7 VRAM。8Bおよび12B Q4モデルを専用VRAMに100%ロード可能な16GBエントライデスクトップGPUです。

同じ24GBで速度を比較

RTX 4090 24GB

24GBを消費するLLMおよび画像生成を高速に処理しつつ、最新の最高価格モデルを避けたい場合の設備検討です。

24GBではメモリ不足

RTX 5090 32GB

画像生成や27B〜35B級の推論を繰り返し、待ち時間を減らしたいときに比較するカードです。ただし32GBにも限りがあります。必要なモデル・入力・画像解像度が収まるかを確認せず、演算性能だけで買うと、再びオフロードが必要になることもあります。