NVIDIA A40 48GB上で実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

NVIDIA A40 48GBのローカルLLMにおける電力消費はどのくらいですか？

継続的な負荷基準では約400Wで、実際の範囲は330–500Wと予想されます。

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

2026.09 更新

696GB/s 384ビット 48GB ECC VRAM。中古ワークステーションおよびサーバー環境においても、70Bクラスの4ビットまたは27B〜35Bの高精度モデルを単一カードに搭載可能な大容量GPUです。

向いている人

この場合は見送りましょう

価格はGPU単体、電気料金はGPUを含むPC全体の推定消費電力に基づきます。購入予算にはホストPC・電源・冷却の費用を別途加えてください。

デバイス別推奨フォーマット · 4K入力

基本デコード・予想範囲

K2 Horizon 0.9B

必要 1.03GB · 余裕

llama.cpp CUDA · Q4_K_M

トークン生成

945.5 ~ 1050.6 tok/s

最初のトークン

0.30 ~ 0.52秒

Qwen3.8-Flash-Next

同じ製品名でも48GB構成でなければ、上記のモデルと速度の条件は変わります。

NVIDIA A40 48GB上で実行可能なローカルLLMはどのようなものがありますか？: K2 Horizon 0.9B, Qwen3.8-Flash-Nextなどを4K入力と推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。
NVIDIA A40 48GBのローカルLLMにおける電力消費はどのくらいですか？: 連続負荷では約400W、実際の範囲は330〜500Wと見ています。
表示されたトークン速度は実測値ですか？: 収集したベンチマーク実測を同じ条件にそろえた範囲です。同じ条件の実測がない組み合わせは近い実測値を基準に推定し、ランタイム・冷却・量子化ファイル・コンテキスト長で変わります。

似たメモリ

Mac mini M4 Pro 48GB

27B級のモデルで文書を読ませ、コードを直す作業を繰り返すなら、容量だけでなく毎回の待ち時間も重要です。このページは20コアGPU・48GB構成を対象にしています。価格が低い16コアGPUの販売構成と区別して確認してください。

似たメモリ

Mac mini M4 32GB

PCを新しく組まずに27B Q4を使いたいときに比較する構成です。24GBではメモリが足りなかったなら、容量を増やす意味があります。反対に、モデルとキャッシュがすでに収まっているなら、32GBを選ぶだけでチップ自体が速くなるわけではありません。

似たメモリ

Mac mini M6 32GB

Qwen 27BクラスのQ4を動かしながらブラウザや文書アプリも開くなら、32GBは比較候補です。M6 24GBと同じ170GB/sのメモリ帯域幅なので、8GBを追加する理由はモデル読み込み後の余裕にあります。2026年9月22日に発売され、現在の販売価格と構成で比較できます。