DGX Spark 128GB에서 어떤 로컬 LLM을 돌릴 수 있나요?

K2 Horizon 0.9B, Qwen3.8-Flash-Next, DeepSeek-V4.1-Flash 등을 4K 입력과 장비별 추천 포맷으로 비교할 수 있습니다. 모델과 문맥 길이에 따라 필요한 메모리는 달라집니다.

DGX Spark 128GB의 로컬 LLM 전력은 어느 정도인가요?

지속 부하 기준 약 190W이며 실제 범위는 160–233W로 예상합니다.

표시된 토큰 속도는 실측값인가요?

수집한 벤치마크 실측을 같은 조건으로 맞춘 범위입니다. 동일 조건의 실측이 없는 조합만 가까운 실측값을 기준으로 추정하며, 런타임, 냉각, 양자화 파일과 문맥 길이에 따라 달라질 수 있습니다.

2026.10 업데이트

NVIDIA DGX Spark 128GB 32GB에 담지 못하는 모델을 CUDA로 쓰려는지부터 정하세요.

큰 모델을 여러 그래픽카드에 나누지 않고 한 대에서 다루려는 용도예요. 128GB라는 용량을 사는 이유가 있어야 합니다. 지금 쓸 모델이 24GB나 32GB에 들어간다면, Spark의 큰 메모리만 보고 더 빠를 것이라 기대하지 마세요.

같은 모델로 속도와 메모리 확인

DGX Spark 128GB · Qwen3.8 27B · 로컬 LLM 속도·메모리: 입력 처리 · 프리필 308–612 tok/s · 토큰 생성 · 디코드 42.8–50.3 tok/s; 필요 31.99GB / 가용 116GB 통합 메모리 — 4,096토큰 입력 · 단일 요청 · 프롬프트 캐시 끔

이 설정으로 속도 계산하기 계산·자료 근거 CC BY 4.0

사용 가능 메모리: 116GB
메모리 대역폭: 273GB/s
LLM 지속 부하 추정: 약 190W
현재 참고 범위: 952만원–1,030만원

잘 맞는 사람

32GB를 넘는 모델 적재
CUDA·ARM64 서빙 개발
여러 GPU 없이 한 대로 운영

이 경우에는 건너뛰세요

필요한 도구가 x86 전용이고 ARM64 실행 경로가 없다면 Spark를 먼저 사지 마세요. DGX OS에서 쓸 컨테이너와 확장 모듈을 확인해야 합니다. 두 대도 케이블 연결만으로 메모리가 합쳐지지 않으며, 모델을 나눠 실행하는 설정이 필요합니다.

장비별 추천 포맷 · 4K 입력

이 장비에서 체감할 모델

기본 디코딩 · 예상 범위

K2 Horizon 0.9B

필요 1.03GB · 여유

llama.cpp · Q4_K_M

토큰 생성

370.9 ~ 412.1 tok/s

첫 토큰

0.39 ~ 0.71초

Qwen3.8-Flash-Next

어떤 작업에 맞는가

대형 LLM

적합

모델 파일과 입력 캐시를 합친 크기로 판단하세요. 파라미터 수만으로 적재를 단정할 수 없고, 적재 가능과 응답 속도도 별개입니다.

서빙 개발

적합

사용할 모델이 Spark용 런타임과 ARM64 패키지에서 지원되는지 먼저 확인하세요. 데스크톱에서 쓰던 명령을 복사하는 것만으로 끝나지 않을 수 있습니다.

이미지 생성

조건부

큰 메모리가 필요한 작업과 한 장을 빨리 만드는 작업을 구분하세요. 같은 모델·해상도로 GeForce와 비교한 뒤 고르는 편이 낫습니다.

가장 먼저 막히는 것: 128GB는 CPU와 GPU가 함께 쓰는 전체 메모리입니다. 운영체제와 입력 캐시를 빼야 하며, 용량이 커도 모델을 읽는 대역폭까지 GeForce와 같아지는 것은 아닙니다. 단일 요청의 속도와 동시에 처리할 요청 수를 구분해 비교하세요.
확인할 구성: GB10 · 통합 메모리 128GB · 완제품 1대 · SSD 용량·보증은 판매 구성별 확인
돈을 더 쓸 기준: 27B급 대화 하나가 목적이라면 먼저 기존 PC나 단일 GPU로 확인하세요. 큰 메모리는 필요하지만 CUDA가 필수가 아니라면 Ryzen AI Max+ 395 128GB도 비교할 대상입니다. Spark 두 대는 한 대에서 부족한 용량이나 처리량을 확인한 뒤 검토하세요.

판매 페이지에서는 칩보다 메모리를 먼저 보세요.

같은 제품명이라도 128GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.

자주 묻는 질문

DGX Spark 128GB에서 어떤 로컬 LLM을 돌릴 수 있나요?: K2 Horizon 0.9B, Qwen3.8-Flash-Next, DeepSeek-V4.1-Flash 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
DGX Spark 128GB의 로컬 LLM 전력은 어느 정도인가요?: 지속 부하 기준 약 190W이고 실제 범위는 160–233W로 보여요.
표시된 토큰 속도는 실측값인가요?: 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.

32GB 안의 CUDA 작업

RTX 5090 32GB

이미지 생성이나 27B~35B급 추론을 반복하면서 기다리는 시간을 줄이고 싶을 때 비교할 카드입니다. 다만 32GB도 끝이 있는 공간입니다. 필요한 모델·입력·이미지 해상도가 들어가는지 확인하지 않고 연산 성능만 보고 사면 오프로딩으로 돌아갈 수 있습니다.

Mac에서 128GB가 필요할 때

Studio M4 Max 128GB

단일 완제품에서 70B급과 고정밀 모델까지 넓게 비교하려는 사람에게 맞아요.

CUDA가 필요 없는 128GB

Ryzen AI Max+ 395 128GB

대용량 통합 메모리를 낮은 가격으로 확보하고 런타임 설정을 직접 다룰 수 있을 때 매력적입니다.