프리필·토큰 생성 속도
RTX 4090 24GB, Qwen3.8 27B의 프리필·생성 속도
RTX 4090 24GB에서 Qwen3.8 27B가 입력을 읽고 답변하는 속도입니다. 같은 24GB인 RTX 3090과 비교해, 메모리 용량이 같아도 대기시간이 어떻게 달라지는지 확인할 수 있습니다.
벤치마크 기반 예상 · 4K 입력 · 한 명 사용
최종 업데이트
38.3 ~ 51.9 tok/s디코드 속도
모델 전체 적재 (17.56GB / 22.5GB)
첫 토큰 (TTFT)
2.6 ~ 3.6초문맥 4,096토큰 포함
프리필 속도
1,141 ~ 1,591 tok/s2.6 ~ 3.6초 (공개 벤치마크 기반 추정)
전체 소요 (E2E)
약 6.7 ~ 9.1초212토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
장비·모델 변경
1008 GB/s
27B
세부 조건 펼쳐보기 세부 조건4-bit · 4K · 기본 디코딩접기
양자화 정밀도필요 17.56GB
입력 문맥 길이4K 토큰
기본
기본
예시 질문:
212 토큰 답변이 결과를 볼 때
4090도 VRAM은 24GB이므로 모델을 담을 공간과 계산 속도를 구분해야 합니다. 더 큰 모델 때문에 바꾸려는 것인지, 이미 들어가는 모델을 빠르게 쓰려는 것인지에 따라 비교할 장비가 달라집니다.
- 필요 메모리 / 사용 가능
- 17.6GB / 22.5GB
- 실행 경로
- llama.cpp CUDA · Q4_K_M
구성 확인
RTX 4090 24GB · 메모리 24GB
Qwen3.8 27B Q4_K_M 기준입니다. 판매 페이지의 메모리 옵션이 같은지 확인하세요.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 61종 하드웨어 비교
대표 조건