프리필·토큰 생성 속도
RTX 5090 32GB에서 Gemma 4 26B-A4B (MoE) 속도: 프리필·토큰 생성
최종 업데이트
1792 GB/s
활성 3.8B / 총 25.2B
122.7 ~ 284.8 tok/s디코드 속도
모델 전체 적재 (15.55GB / 30.5GB)
첫 토큰 (TTFT)
0.56 ~ 0.85초문맥 4,096토큰 포함
프리필 속도
4,856 ~ 7,408 tok/s0.55 ~ 0.84초 (공개 벤치마크 기반 추정)
전체 소요 (E2E)
약 1.3 ~ 2.6초218토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
세부 조건 펼쳐보기 세부 조건4-bit · 4K · 기본 디코딩접기
양자화 정밀도필요 15.55GB
입력 문맥 길이4K 토큰
기본
기본
예시 질문:
218 토큰 답변구성 확인
RTX 5090 32GB · 메모리 32GB
Gemma 4 26B-A4B (MoE) Q4_K_M 기준입니다. 판매 페이지의 메모리 옵션이 같은지 확인하세요.
이미 갖고 있다면 실행 설정 보기다른 장비와 나란히 볼까요?
같은 모델로 프리필부터 비교하거나 토큰 생성 속도만 나란히 볼 수 있습니다.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 60종 하드웨어 비교
대표 조건