2026.10 업데이트
NVIDIA RTX PRO 6000 Blackwell 96GB 96GB GPU 메모리 · 본체 비용은 별도
1,792 GB/s 96GB ECC VRAM 워크스테이션 GPU. 가용 93GB VRAM 예산 이내의 70B~120B급 4비트 모델을 단일 카드에 완전 적재합니다.
같은 모델로 속도와 메모리 확인
하드웨어 핵심 사양
- 사용 가능 메모리
- 93GB
- 메모리 대역폭
- 1792GB/s
- LLM 지속 부하 추정
- 약 650W
- 현재 참고 범위
- 2,550만원–2,647만원
잘 맞는 사람
- 93GB 가용 메모리 활용
- CUDA 기반 로컬 추론
- GLM-5.3-Flash (MoE)급 고속 생성
이 경우에는 건너뛰세요
가격은 GPU 단품, 전기요금은 GPU를 포함한 PC 전체 소비전력 추정입니다. 구매 예산에는 호스트 PC·파워·냉각 비용을 별도로 더하세요.
장비별 추천 포맷 · 4K 입력
이 장비에서 체감할 모델
K2 Horizon 0.9B
필요 1.03GB · 여유
llama.cpp CUDA · Q4_K_M
토큰 생성
2637.3 ~ 2907.8 tok/s
첫 토큰
0.11 ~ 0.19초
실제 속도는 런타임 버전과 냉각 상태, 문맥 길이, 양자화 파일에 따라 달라져요.
판매 페이지에서는 칩보다 메모리를 먼저 보세요.
같은 제품명이라도 96GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.
자주 묻는 질문
- RTX PRO 6000 96GB에서 어떤 로컬 LLM을 돌릴 수 있나요?
- K2 Horizon 0.9B, GLM-5.3-Flash (MoE) 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
- RTX PRO 6000 96GB의 로컬 LLM 전력은 어느 정도인가요?
- 지속 부하 기준 약 650W이고 실제 범위는 520–780W로 보여요.
- 표시된 토큰 속도는 실측값인가요?
- 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.
함께 비교할 장비
비슷한 메모리
Studio M4 Max 128GB
단일 완제품에서 70B급과 고정밀 모델까지 넓게 비교하려는 사람에게 맞아요.
비슷한 메모리
Ryzen AI Max+ 395 128GB
대용량 통합 메모리를 낮은 가격으로 확보하고 런타임 설정을 직접 다룰 수 있을 때 매력적입니다.
비슷한 메모리
DGX Spark 128GB
큰 모델을 여러 그래픽카드에 나누지 않고 한 대에서 다루려는 용도예요. 128GB라는 용량을 사는 이유가 있어야 합니다. 지금 쓸 모델이 24GB나 32GB에 들어간다면, Spark의 큰 메모리만 보고 더 빠를 것이라 기대하지 마세요.