NVIDIA A40 48GB 48GB GPU 메모리 · 본체 비용은 별도
696 GB/s 384비트 48GB ECC VRAM. 중고 워크스테이션 및 서버 환경에서 70B급 4비트 또는 27B~35B 고정밀 모델을 단일 카드에 적재할 수 있는 대용량 GPU입니다.
같은 모델로 속도와 메모리 확인
하드웨어 핵심 사양
- 사용 가능 메모리
- 46GB
- 메모리 대역폭
- 696GB/s
- LLM 지속 부하 추정
- 약 400W
- 현재 참고 범위
- 630만원–630만원
잘 맞는 사람
- 46GB 가용 메모리 활용
- CUDA 기반 로컬 추론
- Qwen3.8-Flash-Next급 고속 생성
이 경우에는 건너뛰세요
가격은 GPU 단품, 전기요금은 GPU를 포함한 PC 전체 소비전력 추정입니다. 구매 예산에는 호스트 PC·파워·냉각 비용을 별도로 더하세요.
장비별 추천 포맷 · 4K 입력
이 장비에서 체감할 모델
K2 Horizon 0.9B
필요 1.03GB · 여유
llama.cpp CUDA · Q4_K_M
토큰 생성
945.5 ~ 1050.6 tok/s
첫 토큰
0.30 ~ 0.52초
실제 속도는 런타임 버전과 냉각 상태, 문맥 길이, 양자화 파일에 따라 달라져요.
판매 페이지에서는 칩보다 메모리를 먼저 보세요.
같은 제품명이라도 48GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.
자주 묻는 질문
- NVIDIA A40 48GB에서 어떤 로컬 LLM을 돌릴 수 있나요?
- K2 Horizon 0.9B, Qwen3.8-Flash-Next 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
- NVIDIA A40 48GB의 로컬 LLM 전력은 어느 정도인가요?
- 지속 부하 기준 약 400W이고 실제 범위는 330–500W로 보여요.
- 표시된 토큰 속도는 실측값인가요?
- 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.
함께 비교할 장비
비슷한 메모리
Mac mini M4 Pro 48GB
27B급 모델로 문서를 읽히고 코드를 고치는 일을 반복한다면 용량뿐 아니라 매번 기다리는 시간도 중요해집니다. 이 페이지는 20코어 GPU·48GB 구성입니다. 더 저렴한 16코어 GPU 판매 옵션과 구분해 보세요.
비슷한 메모리
Mac mini M4 32GB
27B Q4를 쓰고 싶은데 PC를 새로 조립할 생각은 없을 때 비교할 구성입니다. 24GB에서 메모리가 부족했다면 여유를 늘리는 의미가 있습니다. 반대로 모델과 캐시가 이미 모두 들어갔다면, 32GB만으로 칩 자체가 빨라지는 것은 아닙니다.
비슷한 메모리
Mac mini M6 32GB
Qwen 27B급 Q4를 실행하면서 브라우저나 문서 앱도 함께 열어 둘 생각이라면 32GB가 비교 대상입니다. M6 24GB와 같은 170GB/s 메모리 대역폭이므로, 8GB를 더 사는 이유는 모델 적재 후 남는 공간이어야 합니다. 2026년 9월 22일 출시됐으며, 현재 판매 가격과 구성으로 비교할 수 있습니다.