両側同時体験 · 推奨実行設定

DGX Spark vs M5 Ultra、大きなローカルLLMにはどの機器?

CUDA開発ツールの維持にはDGX Spark、大きな統合メモリとMac環境にはM5 Ultraを比較します。両方に収まるモデルの速度と、片方だけに収まるモデルを分けて判断しましょう。

比較されるデバイスとモデル

比較範囲
比較条件を展開する

同じ 203トークンごとの回答の予想時間です。公開測定があるアクセラレーションのみが自動的に選択され、各結果ではデバイスごとの実行フォーマットが表示されます。

左側

開始前

DGX Spark 128GB

最初のトークン2.7 ~ 4.9秒
プリフィル839 ~ 1,535 tok/s
トークン生成16.7 ~ 23.4 tok/s

開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。

llama.cpp · Q4_K_M0.0秒 · 0/203

右側

開始前

Studio M5 Ultra 256GB

最初のトークン0.70 ~ 1.0 秒
プリフィル3959.2 ~ 5938.8 tok/s
トークン生成115.0 ~ 172.6 tok/s

開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。

oMLX 0.7.0 (4d4f5a28) · mlx-lm 94cdcae · mlx 0.32.2 · native kernels · Lightning MTP on0.0秒 · 0/203

この条件下では Studio M5 Ultra 256GBが 全体の回答を 約 6.3まず、バッチをマジます。

入力処理から203トークン回答完了までを比較します。

自分に合うのはどちら?

回答完了

Studio M5 Ultra 256GB

推定の中央値では、同じ回答を約6.3倍の速さで完了します。

入力処理

Studio M5 Ultra 256GB

入力処理速度の推定中央値は4,949 tok/sで、こちらが上回ります。

画像・動画生成

生成モデル別に確認

LLMの速度だけでは判断できません。画像・動画のモデルと解像度を別途選んでください。

実行環境

機器別の設定

llama.cpp · Q4_K_M / oMLX 0.7.0 (4d4f5a28) · mlx-lm 94cdcae · mlx 0.32.2 · native kernels · Lightning MTP on。実行環境が異なる場合、速度差にはソフトウェアやモデル形式の違いも含まれます。

推定消費電力

DGX Spark 128GB

LLM使用中の推定消費電力は約190Wで、こちらが低くなります。騒音と本体サイズは別途確認が必要です。

価格差の判断

Studio M5 Ultra 256GBの参考価格は中央値で約934万ウォン高く、推定回答時間は約84%短くなります。

購入前に確認しておきたい項目

比較基準DGX Spark 128GBStudio M5 Ultra 256GB
利用可能な高速メモリ116GB236GB
メモリ帯域273GB/s1200GB/s
全体完了の予想14秒2.2秒
LLM連続負荷の推定約190W約300W
韓国の参考価格(ウォン)952〜1,030万ウォン1,850–2,000万ウォン
DGX Spark 128GB 詳細表示
Studio M5 Ultra 256GB 詳細表示

表示値は単一ユーザーの想定範囲です。マルチGPU・マルチデバイス構成では、ランタイムおよびインターフェイスによって実際の結果が異なる可能性があります。

今のツールが動く環境か確認する

DGX SparkはNVIDIAソフトとCUDA、MacはMLX・Metalの経路で準備します。同じモデルでもファイル形式とサーバーの導入が違う場合があります。アプリの接続方法、パッケージとCPUアーキテクチャ対応を先に確認すると購入後の問題を減らせます。

実際のファイルで128GBと256GBの差を確認する

大きなモデルには重み以外に作業領域と会話キャッシュが必要です。量子化ファイルと長い入力で搭載余裕を比べましょう。Sparkに収まるファイルで速度を確認してからMacで大きいファイルを使う理由を考えると、容量への追加支出かが分かります。

モデルサーバーと日常PCの役割を分ける

Macで編集と推論を併用するか、Sparkを別サーバーにするか決めましょう。分離すると作業PCのメモリを節約できますが、接続と管理が増えます。1台は簡単ですが他のアプリとメモリを共有します。価格と合わせ、この運用も判断基準に含めてください。