両側同時体験 · 推奨実行設定

RTX 4090 と RTX 5090 のローカル LLM 速度・VRAM 観測比較

24GB以上を消費するモデルであれば4090の中古価格が合理的であり、32GBの収容限界が必要な場合は5090に絞られます。

比較されるデバイスとモデル

比較範囲
比較条件を展開する

同じ 203トークンごとの回答の予想時間です。公開測定があるアクセラレーションのみが自動的に選択され、各結果ではデバイスごとの実行フォーマットが表示されます。

左側

開始前

RTX 4090 24GB

最初のトークン0.72 ~ 1.5 秒
プリフィル2742.3 ~ 5695.6 tok/s
トークン生成92.6 ~ 192.3 tok/s

開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。

Strata 0.1.33 serving branch · IQ3_S · MTP-4 · INT8 KV · SSD PLE0.0秒 · 0/203

右側

開始前

RTX 5090 32GB

最初のトークン0.46 ~ 0.94 秒
プリフィル4375.9 ~ 9044.5 tok/s
トークン生成127.7 ~ 263.9 tok/s

開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。

Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE0.0秒 · 0/203

この条件下では RTX 5090 32GBが 全体の回答を 約 1.5まず、バッチをマジます。

入力処理から203トークン回答完了までを比較します。

自分に合うのはどちら?

回答完了

RTX 5090 32GB

推定の中央値では、同じ回答を約1.5倍の速さで完了します。

入力処理

RTX 5090 32GB

入力処理速度の推定中央値は6,710 tok/sで、こちらが上回ります。

画像・動画生成

生成モデル別に確認

LLMの速度だけでは判断できません。画像・動画のモデルと解像度を別途選んでください。

実行環境

機器別の設定

Strata 0.1.33 serving branch · IQ3_S · MTP-4 · INT8 KV · SSD PLE / Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE。実行環境が異なる場合、速度差にはソフトウェアやモデル形式の違いも含まれます。

推定消費電力

RTX 4090 24GB

LLM使用中の推定消費電力は約470Wで、こちらが低くなります。騒音と本体サイズは別途確認が必要です。

価格差の判断

RTX 5090 32GBの参考価格は中央値で約551万ウォン高く、推定回答時間は約31%短くなります。

購入前に確認しておきたい項目

比較基準RTX 4090 24GBRTX 5090 32GB
利用可能な高速メモリ22.5GB30.5GB
メモリ帯域1008GB/s1792GB/s
全体完了の予想2.4秒1.6秒
LLM連続負荷の推定約470W約620W
韓国の参考価格(ウォン)325〜400万ウォン899〜929万ウォン
RTX 4090 24GB 詳細表示
RTX 5090 32GB 詳細表示

表示値は単一ユーザーの想定範囲です。マルチGPU・マルチデバイス構成では、ランタイムおよびインターフェイスによって実際の結果が異なる可能性があります。