입문 구성 · 공식 출시 제품 · 2026-09-01 업데이트
24GB VRAM과 1,008GB/s 대역폭, 실제 선택 기준을 확인하세요.
NVIDIA GeForce RTX 4090 24GB 로컬 LLM 속도·메모리·전기요금
1,008 GB/s 384비트 GDDR6X 24GB VRAM. 27B 밀도형 및 35B MoE Q4 모델을 100% VRAM에 적재하여 고속 디코딩합니다.
핵심 사양
- 사용 가능 메모리
- 22.5GB
- 메모리 대역폭
- 1008GB/s
- 로컬 LLM 지속 부하
- 약 470W
- 현재 참고 범위
- 320–390만원
잘 맞는 사람
- 22.5GB 가용 메모리 활용
- CUDA 기반 로컬 추론
- Qwen3.6 35B-A3B (MoE)급 고속 생성
구매 전 확인
표시 가격과 전력은 GPU 중심 비교입니다. 실제 시스템에서는 호스트 PC, 전원공급장치, 냉각과 슬롯 구성이 추가됩니다.
4K 문맥·Q4 모델별 예상 성능
| 모델 | 필요 메모리 | 토큰 생성 | 첫 토큰 | 프리필 |
|---|---|---|---|---|
| Gemma 4 12B | 8GB | 107.1 ~ 118.5 tok/s | 1.5 ~ 1.6초 | 2,652 ~ 2,733 tok/s |
| Qwen3.6 35B-A3B (MoE) | 21.28GB | 62.7 ~ 157.5 tok/s | 0.68 ~ 0.71초 | 5,916 ~ 6,096 tok/s |
단일 사용자 예상 범위이며 런타임, 냉각, 양자화 파일에 따라 달라질 수 있습니다.
자주 묻는 질문
RTX 4090 24GB에서 어떤 로컬 LLM을 돌릴 수 있나요?
Gemma 4 12B, Qwen3.6 35B-A3B (MoE) 등을 Q4·4K 조건에서 비교할 수 있습니다. 모델과 문맥 길이에 따라 필요한 메모리는 달라집니다.
RTX 4090 24GB의 로컬 LLM 전력은 어느 정도인가요?
지속 부하 기준 약 470W이며 실제 범위는 350–600W로 예상합니다.
표시된 토큰 속도는 실측값인가요?
공식 하드웨어 사양과 검증된 벤치마크 범위를 계산기에 맞춰 보정한 예상 범위입니다. 런타임, 냉각, 양자화 파일과 문맥 길이에 따라 달라질 수 있습니다.