2× NVIDIA GeForce RTX 5090 PCIe 64GB 두 장비에 모델을 나눠 실행하는 구성 · 메모리 합계 64GB
2× 32GB GDDR7 VRAM(합산 64GB, 합산 로컬 대역폭 3,584 GB/s). RTX 5090은 NVLink를 지원하지 않으며 PCIe Gen5 인터페이스로만 통신하므로 All-Reduce 통신 병목에 따른 병렬 효율 감쇠가 발생합니다.
같은 모델로 속도와 메모리 확인
하드웨어 핵심 사양
- 사용 가능 메모리
- 61GB
- 메모리 대역폭
- 3584GB/s
- LLM 지속 부하 추정
- 약 1100W
- 현재 참고 범위
- 1,798만원–1,858만원
잘 맞는 사람
- 61GB 가용 메모리 활용
- 두 장비 분산 추론
- GLM-5.3-Flash (MoE)급 모델 비교
이 경우에는 건너뛰세요
장비를 두 대 연결해도 메모리가 자동으로 하나처럼 합쳐지지 않습니다. 분산 런타임 지원과 인터커넥트 병목을 함께 확인해야 합니다.
장비별 추천 포맷 · 4K 입력
이 장비에서 체감할 모델
K2 Horizon 0.9B
필요 1.03GB · 여유
llama.cpp CUDA · Q4_K_M · GPU 2장 분할
토큰 생성
2637.3 ~ 4070.9 tok/s
첫 토큰
0.09 ~ 0.19초
GLM-5.3-Flash (MoE)
추천필요 190.21GB · 빠듯
llama.cpp CUDA · Q4_K_M · GPU 2장 분할
토큰 생성
5.1 ~ 5.2 tok/s
첫 토큰
3.5 ~ 7.3초
실제 속도는 런타임 버전과 냉각 상태, 문맥 길이, 양자화 파일에 따라 달라져요.
판매 페이지에서는 칩보다 메모리를 먼저 보세요.
같은 제품명이라도 64GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.
자주 묻는 질문
- 2× RTX 5090 64GB (PCIe)에서 어떤 로컬 LLM을 돌릴 수 있나요?
- K2 Horizon 0.9B, GLM-5.3-Flash (MoE) 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
- 2× RTX 5090 64GB (PCIe)의 로컬 LLM 전력은 어느 정도인가요?
- 지속 부하 기준 약 1100W이고 실제 범위는 900–1350W로 보여요.
- 표시된 토큰 속도는 실측값인가요?
- 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.
함께 비교할 장비
비슷한 메모리
Mac mini M4 Pro 48GB
27B급 모델로 문서를 읽히고 코드를 고치는 일을 반복한다면 용량뿐 아니라 매번 기다리는 시간도 중요해집니다. 이 페이지는 20코어 GPU·48GB 구성입니다. 더 저렴한 16코어 GPU 판매 옵션과 구분해 보세요.
비슷한 메모리
Mac mini M4 32GB
27B Q4를 쓰고 싶은데 PC를 새로 조립할 생각은 없을 때 비교할 구성입니다. 24GB에서 메모리가 부족했다면 여유를 늘리는 의미가 있습니다. 반대로 모델과 캐시가 이미 모두 들어갔다면, 32GB만으로 칩 자체가 빨라지는 것은 아닙니다.
비슷한 메모리
Mac mini M6 32GB
Qwen 27B급 Q4를 실행하면서 브라우저나 문서 앱도 함께 열어 둘 생각이라면 32GB가 비교 대상입니다. M6 24GB와 같은 170GB/s 메모리 대역폭이므로, 8GB를 더 사는 이유는 모델 적재 후 남는 공간이어야 합니다. 2026년 9월 22일 출시됐으며, 현재 판매 가격과 구성으로 비교할 수 있습니다.