프리필·토큰 생성 속도
DGX Spark 128GB에서 Qwen3.6 35B-A3B (MoE) 속도: 프리필·토큰 생성
최종 업데이트
273 GB/s
활성 3B / 총 35B
61.2 ~ 111.1 tok/s디코드 속도(기본: 동일 조건 기준값 없음)
모델 전체 적재 (24.32GB / 116GB)
첫 토큰 (TTFT)
1.5 ~ 3.1 초문맥 4,096토큰 포함
프리필 속도
1,341 ~ 2,661 tok/s1.5 ~ 3.1초 (공개 벤치마크 기반 추정)
전체 소요 (E2E)
3.4 ~ 6.5 초212토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
세부 조건 펼쳐보기 세부 조건NVFP4 · 4K · NVFP4 + MTP접기
양자화 정밀도필요 24.32GB
vLLM · Spark는 Marlin MoE 경로와 MTP용 Triton 설정이 안내되어 있습니다. NVFP4만 켠다고 MTP도 켜지지는 않습니다.
입력 문맥 길이4K 토큰
NVFP4 + MTP
기본
예시 질문:
212 토큰 답변구성 확인
DGX Spark 128GB · 메모리 128GB
Qwen3.6 35B-A3B (MoE) NVFP4 기준입니다. 판매 페이지의 메모리 옵션이 같은지 확인하세요.
이미 갖고 있다면 실행 설정 보기다른 장비와 나란히 볼까요?
같은 모델로 프리필부터 비교하거나 토큰 생성 속도만 나란히 볼 수 있습니다.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 60종 하드웨어 비교
대표 조건