RTX 3090 24GB에서 어떤 로컬 LLM을 돌릴 수 있나요?

K2 Horizon 0.9B, Qwen3.8 27B, Qwen3.8-Flash-Next 등을 4K 입력과 장비별 추천 포맷으로 비교할 수 있습니다. 모델과 문맥 길이에 따라 필요한 메모리는 달라집니다.

RTX 3090 24GB의 로컬 LLM 전력은 어느 정도인가요?

지속 부하 기준 약 420W이며 실제 범위는 330–540W로 예상합니다.

표시된 토큰 속도는 실측값인가요?

수집한 벤치마크 실측을 같은 조건으로 맞춘 범위입니다. 동일 조건의 실측이 없는 조합만 가까운 실측값을 기준으로 추정하며, 런타임, 냉각, 양자화 파일과 문맥 길이에 따라 달라질 수 있습니다.

2026.10 업데이트

RTX 3090 24GB 중고 가격보다 먼저, 내 PC에 24GB GPU를 달 수 있는지 보세요.

이미 RTX 3090이 있다면 목표 모델과 문맥이 24GB 안에 들어가는지부터 보세요. 필요한 작업이 끝까지 된다면 신형 카드가 나왔다는 이유만으로 바꿀 필요는 없습니다. 새로 중고를 산다면 카드값뿐 아니라 내 PC의 파워·냉각·케이스와 반품 조건까지 합쳐 비교합니다.

같은 모델로 속도와 메모리 확인

RTX 3090 24GB · Qwen3.8 27B · 로컬 LLM 속도·메모리: 입력 처리 · 프리필 548–944 tok/s · 토큰 생성 · 디코드 42.3–46.9 tok/s; 필요 17.56GB / 가용 22.5GB VRAM — 4,096토큰 입력 · 단일 요청 · 프롬프트 캐시 끔

이 설정으로 속도 계산하기 계산·자료 근거 CC BY 4.0

사용 가능 메모리: 22.5GB
메모리 대역폭: 936GB/s
LLM 지속 부하 추정: 약 420W
현재 참고 범위: 239만원–239만원

잘 맞는 사람

기존 PC에서 24GB 확보
24GB 안에 들어가는 Q4
ComfyUI 이미지 생성

이 경우에는 건너뛰세요

부하를 걸었을 때의 상태도, 문제 발생 시 반품 조건도 확인할 수 없는 중고 카드는 피하세요. 화면이 한 번 뜨는 확인만으로는 부족합니다. 제조사 모델별 길이·두께·전원 단자가 내 PC에 맞는지도 구매 전에 확인해야 합니다.

장비별 추천 포맷 · 4K 입력

이 장비에서 체감할 모델

기본 디코딩 · 예상 범위

K2 Horizon 0.9B

필요 1.03GB · 여유

llama.cpp CUDA · Q4_K_M

토큰 생성

1271.5 ~ 1412.8 tok/s

첫 토큰

0.26 ~ 0.45초

Qwen3.8 27B

어떤 작업에 맞는가

27B 대화

적합

27B Q4 파일과 입력 캐시를 함께 계산하세요. GPU에 모두 올린 설정과 일부를 RAM에 내린 설정의 속도를 섞어 보면 안 됩니다.

이미지 생성

적합

ComfyUI에서 모델·해상도·배치 크기가 24GB 안에 맞는지 확인하세요. 신형 GPU용 저정밀 커널이 3090에서도 같은 방식으로 동작하지는 않습니다.

24시간 서버

조건부

켜 두는 시간과 실제로 생성하는 시간을 나눠 비용을 보세요. 정격 전력을 하루 종일 쓰는 것은 아니지만, 지속 생성 시 냉각과 소음도 감수해야 합니다.

가장 먼저 막히는 것: 70B 모델은 4비트 가중치만 단순 계산해도 약 35GB이며 파일 부가정보와 문맥 캐시가 더해집니다. 단일 24GB에 전체 적재하는 모델과 섞어 비교하면 안 됩니다. RAM 오프로딩은 실행 가능성을 넓힐 수 있지만 GPU 안에 모두 둔 속도를 보장하지 않습니다.
확인할 구성: RTX 3090 24GB 단품 · 비교 기준 시스템 RAM 64GB · 파워·케이스·보증은 제조사 모델별 확인
돈을 더 쓸 기준: 같은 24GB인 RTX 4090은 속도 비교 대상이지 메모리 부족의 자동 해결책은 아닙니다. 32GB 카드로 바꾸려면 목표 작업이 그 용량 안에 들어가는지 먼저 확인하세요. 16GB로 끝나는 작업이라면 전력·보증·완제품 비용까지 포함해 더 작은 신품 구성과도 비교할 수 있습니다.

판매 페이지에서는 칩보다 메모리를 먼저 보세요.

같은 제품명이라도 24GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.

자주 묻는 질문

RTX 3090 24GB에서 어떤 로컬 LLM을 돌릴 수 있나요?: K2 Horizon 0.9B, Qwen3.8 27B, Qwen3.8-Flash-Next 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
RTX 3090 24GB의 로컬 LLM 전력은 어느 정도인가요?: 지속 부하 기준 약 420W이고 실제 범위는 330–540W로 보여요.
표시된 토큰 속도는 실측값인가요?: 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.

16GB면 충분한 작업

RTX 5060 Ti 16GB

448 GB/s GDDR7 VRAM. 8B 및 12B Q4 모델을 전용 VRAM에 100% 적재할 수 있는 16GB 엔트리 데스크톱 GPU입니다.

같은 24GB의 속도 비교

RTX 4090 24GB

24GB에 들어가는 LLM과 이미지 생성을 빠르게 처리하고 신형 최고가를 피하고 싶을 때 검토할 장비입니다.

24GB에서 메모리 부족

RTX 5090 32GB

이미지 생성이나 27B~35B급 추론을 반복하면서 기다리는 시간을 줄이고 싶을 때 비교할 카드입니다. 다만 32GB도 끝이 있는 공간입니다. 필요한 모델·입력·이미지 해상도가 들어가는지 확인하지 않고 연산 성능만 보고 사면 오프로딩으로 돌아갈 수 있습니다.