프리필·토큰 생성 속도
RTX 5090에서 Qwen3.8 27B, 권장 설정으로 속도 비교
RTX 5090 32GB에서 Qwen3.8 27B의 권장 실행 조건을 바로 체험합니다. 적용되는 양자화와 가속을 확인하고, RTX 4090에서 넘어갈 때 프리필과 답변 속도가 얼마나 달라지는지 비교하세요.
벤치마크 기반 예상 · 4K 입력 · 한 명 사용
최종 업데이트
148.2 ~ 217.8 tok/s디코드 속도(기본: 70.6 ~ 103.7 tok/s)
모델 전체 적재 (19.03GB / 30.5GB)
첫 토큰 (TTFT)
0.27 ~ 0.39 초문맥 4,096토큰 포함
프리필 속도
10660.8 ~ 15662.2 tok/s0.26 ~ 0.38 초 (공개 측정 기반 예상)
전체 소요 (E2E)
1.2 ~ 1.8 초212토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
장비·모델 변경
1792 GB/s
27B
세부 조건 펼쳐보기 세부 조건NVFP4 · 4K · NVFP4 + MTP접기
양자화 정밀도필요 19.03GB
vLLM 0.28.0 · NVFP4 W4A4 · FP8 KV · RTX 5090 전용 ModelOpt 체크포인트와 단일 요청 측정 기준입니다. MTP 2단계는 전용 GPU 설정이 필요합니다.
입력 문맥 길이4K 토큰
NVFP4 + MTP
기본
예시 질문:
212 토큰 답변이 결과를 볼 때
모델 파일을 받는 것만으로 화면의 실행 조건이 맞춰지지는 않습니다. 모델 형식과 런타임, 가속 지원이 함께 맞아야 합니다. 현재 선택된 조건은 아래에서 펼쳐 볼 수 있고 장비별 레시피도 연결되어 있습니다.
- 필요 메모리 / 사용 가능
- 19.0GB / 30.5GB
- 실행 경로
- vLLM 0.28.0 · CUDA 13.3.1 · driver 610.43.02 · MTP-2
구성 확인
RTX 5090 32GB · 메모리 32GB
Qwen3.8 27B NVFP4 기준입니다. 판매 페이지의 메모리 옵션이 같은지 확인하세요.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 61종 하드웨어 비교
대표 조건