両側同時体験 · 推奨実行設定
NVIDIA A40 48GB vs RTX 3090 2台 ローカルLLM比較
単一の48GB VRAMとサーバー環境が必要ならA40を、部品の入手性と総帯域幅を重視する場合は3090の2台を検討できます。
比較されるデバイスとモデル
比較条件を展開する
同じ 203トークンごとの回答の予想時間です。公開測定があるアクセラレーションのみが自動的に選択され、各結果ではデバイスごとの実行フォーマットが表示されます。
左側
開始前NVIDIA A40 48GB
開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。
右側
開始前2× RTX 3090 48GB (NVLink)
開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。
この条件下では 2× RTX 3090 48GB (NVLink)が 全体の回答を 約 8.4まず、バッチをマジます。
入力処理から203トークン回答完了までを比較します。
自分に合うのはどちら？
回答完了
2× RTX 3090 48GB (NVLink)
推定の中央値では、同じ回答を約8.4倍の速さで完了します。
入力処理
2× RTX 3090 48GB (NVLink)
入力処理速度の推定中央値は2,128 tok/sで、こちらが上回ります。
画像・動画生成
生成モデル別に確認
LLMの速度だけでは判断できません。画像・動画のモデルと解像度を別途選んでください。
実行環境
機器別の設定
llama.cpp CUDA · Q4_K_M / Strata 0.1.40 · IQ3_S · MTP-4 · pipeline-windows 2 · SSD PLE。実行環境が異なる場合、速度差にはソフトウェアやモデル形式の違いも含まれます。
推定消費電力
NVIDIA A40 48GB
LLM使用中の推定消費電力は約400Wで、こちらが低くなります。騒音と本体サイズは別途確認が必要です。
価格差の判断
NVIDIA A40 48GBはGPU単体、2× RTX 3090 48GB (NVLink)はGPU 2台の価格です。GPU単品については本体費用を加えた上で比較すべきです。
購入前に確認しておきたい項目
| 比較基準 | NVIDIA A40 48GB | 2× RTX 3090 48GB (NVLink) |
|---|---|---|
| 利用可能な高速メモリ | 46GB | 45GB |
| メモリ帯域 | 696GB/s | 1872GB/s |
| 全体完了の予想 | 30秒 | 3.5秒 |
| LLM連続負荷の推定 | 約400W | 約780W |
| 韓国の参考価格（ウォン） | 630〜630万ウォン | 478〜478万ウォン |
表示値は単一ユーザーの想定範囲です。マルチGPU・マルチデバイス構成では、ランタイムおよびインターフェイスによって実際の結果が異なる可能性があります。