2× NVIDIA GeForce RTX 3090 NVLink 48GB 두 장비에 모델을 나눠 실행하는 구성 · 메모리 합계 48GB
2× 24GB VRAM(합산 48GB, 합산 로컬 대역폭 1,872 GB/s)과 3세대 NVLink(112.5 GB/s 양방향)로 연결된 듀얼 GPU 구성입니다. 텐서/파이프라인 병렬화 지원 시 70B급 모델을 온전 적재합니다.
같은 모델로 속도와 메모리 확인
하드웨어 핵심 사양
- 사용 가능 메모리
- 45GB
- 메모리 대역폭
- 1872GB/s
- LLM 지속 부하 추정
- 약 780W
- 현재 참고 범위
- 478만원–478만원
잘 맞는 사람
- 45GB 가용 메모리 활용
- 두 장비 분산 추론
- Qwen3.8-Flash-Next급 모델 비교
이 경우에는 건너뛰세요
장비를 두 대 연결해도 메모리가 자동으로 하나처럼 합쳐지지 않습니다. 분산 런타임 지원과 인터커넥트 병목을 함께 확인해야 합니다.
장비별 추천 포맷 · 4K 입력
이 장비에서 체감할 모델
K2 Horizon 0.9B
필요 1.03GB · 여유
llama.cpp CUDA · Q4_K_M · GPU 2장 분할
토큰 생성
1729.3 ~ 2401.8 tok/s
첫 토큰
0.17 ~ 0.38초
Qwen3.8-Flash-Next
추천필요 97GB · 빠듯
Strata 0.1.40 · IQ3_S · MTP-4 · pipeline-windows 2 · SSD PLE
토큰 생성
67.1 ~ 184.9 tok/s
첫 토큰
1.3 ~ 3.6 초
실제 속도는 런타임 버전과 냉각 상태, 문맥 길이, 양자화 파일에 따라 달라져요.
판매 페이지에서는 칩보다 메모리를 먼저 보세요.
같은 제품명이라도 48GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.
자주 묻는 질문
- 2× RTX 3090 48GB (NVLink)에서 어떤 로컬 LLM을 돌릴 수 있나요?
- K2 Horizon 0.9B, Qwen3.8-Flash-Next 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
- 2× RTX 3090 48GB (NVLink)의 로컬 LLM 전력은 어느 정도인가요?
- 지속 부하 기준 약 780W이고 실제 범위는 650–920W로 보여요.
- 표시된 토큰 속도는 실측값인가요?
- 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.
함께 비교할 장비
비슷한 메모리
Mac mini M4 Pro 48GB
27B급 모델로 문서를 읽히고 코드를 고치는 일을 반복한다면 용량뿐 아니라 매번 기다리는 시간도 중요해집니다. 이 페이지는 20코어 GPU·48GB 구성입니다. 더 저렴한 16코어 GPU 판매 옵션과 구분해 보세요.
비슷한 메모리
Mac mini M4 32GB
27B Q4를 쓰고 싶은데 PC를 새로 조립할 생각은 없을 때 비교할 구성입니다. 24GB에서 메모리가 부족했다면 여유를 늘리는 의미가 있습니다. 반대로 모델과 캐시가 이미 모두 들어갔다면, 32GB만으로 칩 자체가 빨라지는 것은 아닙니다.
비슷한 메모리
Mac mini M6 32GB
Qwen 27B급 Q4를 실행하면서 브라우저나 문서 앱도 함께 열어 둘 생각이라면 32GB가 비교 대상입니다. M6 24GB와 같은 170GB/s 메모리 대역폭이므로, 8GB를 더 사는 이유는 모델 적재 후 남는 공간이어야 합니다. 2026년 9월 22일 출시됐으며, 현재 판매 가격과 구성으로 비교할 수 있습니다.