양쪽 동시 체감 · 추천 실행 설정

DGX Spark vs M5 Ultra, 큰 로컬 LLM은 어떤 장비로?

CUDA 개발 도구를 유지하려면 DGX Spark를, 더 큰 통합 메모리와 Mac 작업 환경이 필요하면 M5 Ultra를 비교하세요. 같은 모델의 속도와 한쪽에만 들어가는 모델을 나눠 판단하면 좋아요.

비교할 장비와 모델

비교 범위
비교 조건 펼쳐보기

같은 212토큰 답변의 예상 시간입니다. 공개 측정이 있는 가속만 자동 선택하며, 장비별 실행 포맷은 각 결과에 표시합니다.

왼쪽

시작 전

DGX Spark 128GB

첫 토큰2.7 ~ 4.9초
프리필839 ~ 1,535 tok/s
토큰 생성16.7 ~ 23.4 tok/s

위의 시작 버튼을 누르면 양쪽 장비가 같은 답변을 동시에 생성합니다.

llama.cpp · Q4_K_M0.0초 · 0/212

오른쪽

시작 전

Studio M5 Ultra 256GB

첫 토큰0.70 ~ 1.0 초
프리필3959.2 ~ 5938.8 tok/s
토큰 생성115.0 ~ 172.6 tok/s

위의 시작 버튼을 누르면 양쪽 장비가 같은 답변을 동시에 생성합니다.

oMLX 0.7.0 (4d4f5a28) · mlx-lm 94cdcae · mlx 0.32.2 · native kernels · Lightning MTP on0.0초 · 0/212

이 조건에서는 Studio M5 Ultra 256GB가 전체 답변을 약 6.4배 먼저 마칩니다.

입력 처리부터 212토큰 답변 완료까지 비교합니다.

어느 쪽이 나에게 맞을까?

답변 완료

Studio M5 Ultra 256GB

예상 중간값에서 같은 답변을 약 6.4배 먼저 마칩니다.

입력 처리

Studio M5 Ultra 256GB

입력 처리 예상 중간값이 4,949 tok/s로 더 높습니다.

이미지·영상 생성

모델별 확인

LLM 속도로는 판단할 수 없습니다. 생성할 이미지·영상 모델과 해상도를 따로 골라보세요.

실행 환경

장비별 설정

llama.cpp · Q4_K_M / oMLX 0.7.0 (4d4f5a28) · mlx-lm 94cdcae · mlx 0.32.2 · native kernels · Lightning MTP on. 장비별 실행 경로가 다르면 속도 차이에 프로그램과 모델 포맷의 영향도 포함됩니다.

예상 소비전력

DGX Spark 128GB

LLM 사용 중 예상 소비전력이 약 190W로 더 낮습니다. 소음과 본체 크기는 별도 확인이 필요합니다.

가격 차이 판단

Studio M5 Ultra 256GB의 참고 가격은 중간값 기준 약 934만원 높고, 예상 답변 시간은 약 84% 짧습니다.

구매 전 함께 볼 것

비교 기준DGX Spark 128GBStudio M5 Ultra 256GB
가용 고속 메모리116GB236GB
메모리 대역폭273GB/s1200GB/s
전체 완료 예상15초2.3초
LLM 지속 부하 추정약 190W약 300W
현재 참고 범위952–1,030만원1,850–2,000만원
DGX Spark 128GB 상세 보기
Studio M5 Ultra 256GB 상세 보기

표시 값은 단일 사용자 예상 범위입니다. 멀티 GPU·멀티 장비 구성은 런타임과 인터커넥트에 따라 실제 결과가 달라질 수 있습니다.

지금 쓰는 도구가 실행되는 환경인지 확인해요

DGX Spark는 NVIDIA 소프트웨어와 CUDA 경로를 중심으로 준비하고, Mac은 MLX·Metal을 쓰는 경로를 선택해요. 같은 모델도 파일 형식과 서버 설치가 달라질 수 있어요. 현재 앱의 서버 연결 방식, 설치할 패키지와 CPU 아키텍처 지원부터 확인하면 구매 뒤 프로그램 때문에 막히는 일을 줄일 수 있어요.

128GB와 256GB의 차이를 실제 파일로 확인해요

큰 모델을 실행하려면 가중치 외에 실행 공간과 대화 캐시가 필요해요. 사용할 양자화 파일을 고르고 긴 입력까지 넣어 두 구성의 적재 여유를 비교하세요. Spark에 들어가는 파일로 먼저 속도를 확인한 뒤 더 큰 파일을 Mac에서 쓰려는 이유도 따져보면, 용량 때문에 비용을 늘리는지 알 수 있어요.

모델 서버와 일상 컴퓨터 역할을 나눠요

Mac에서 편집과 모델 실행을 함께 할지, 별도 Spark를 모델 서버로 쓸지 정해보세요. 서버로 분리하면 작업 PC의 메모리를 덜 쓰지만 연결과 관리가 늘어요. 한 기기에서 끝내면 설정은 단순해지고 다른 앱과 메모리를 나눠 써야 해요. 장비 가격과 함께 이 운영 방식도 선택 기준에 넣으면 좋아요.