2× NVIDIA DGX Spark 클러스터 256GB 두 장비에 모델을 나눠 실행하는 구성 · 메모리 합계 256GB
ConnectX-7 200Gbps(25 GB/s) RoCE 링크로 연결된 2개 노드(총 256GB 분산 메모리, 546 GB/s 합산 로컬 대역폭). TP=2 최적화 시 단일 요청도 빨라질 수 있으며 모델별 실측 경로를 우선 적용합니다.
같은 모델로 속도와 메모리 확인
하드웨어 핵심 사양
- 사용 가능 메모리
- 232GB
- 메모리 대역폭
- 546GB/s
- LLM 지속 부하 추정
- 약 380W
- 현재 참고 범위
- 1,904만원–2,060만원
잘 맞는 사람
- 232GB 가용 메모리 활용
- 두 장비 분산 추론
- GLM-5.3-Flash (MoE)급 모델 비교
이 경우에는 건너뛰세요
장비를 두 대 연결해도 메모리가 자동으로 하나처럼 합쳐지지 않습니다. 분산 런타임 지원과 인터커넥트 병목을 함께 확인해야 합니다.
장비별 추천 포맷 · 4K 입력
이 장비에서 체감할 모델
K2 Horizon 0.9B
필요 1.03GB · 여유
4비트 · 2노드 구성
토큰 생성
370.9 ~ 593.4 tok/s
첫 토큰
0.24 ~ 0.62초
실제 속도는 런타임 버전과 냉각 상태, 문맥 길이, 양자화 파일에 따라 달라져요.
판매 페이지에서는 칩보다 메모리를 먼저 보세요.
같은 제품명이라도 256GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.
자주 묻는 질문
- 2× DGX Spark 256GB에서 어떤 로컬 LLM을 돌릴 수 있나요?
- K2 Horizon 0.9B, GLM-5.3-Flash (MoE) 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
- 2× DGX Spark 256GB의 로컬 LLM 전력은 어느 정도인가요?
- 지속 부하 기준 약 380W이고 실제 범위는 320–466W로 보여요.
- 표시된 토큰 속도는 실측값인가요?
- 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.
함께 비교할 장비
비슷한 메모리
Studio M5 Ultra 256GB
Flash-Next 4비트와 MTP를 함께 쓴 공개 측정에서 4K 입력은 약 2,600~2,900 tok/s로 처리했고, 512토큰 답변은 약 90~112 tok/s 범위였어요. 256K 입력에서도 프리필은 2,500 tok/s 안팎을 유지했어요. 큰 통합 메모리뿐 아니라 장문 프롬프트의 첫 응답 대기가 줄어든 점이 M3 Ultra와 가장 큰 차이예요.
비슷한 메모리
Studio M4 Max 128GB
단일 완제품에서 70B급과 고정밀 모델까지 넓게 비교하려는 사람에게 맞아요.
비슷한 메모리
Ryzen AI Max+ 395 128GB
대용량 통합 메모리를 낮은 가격으로 확보하고 런타임 설정을 직접 다룰 수 있을 때 매력적입니다.