프리필·토큰 생성 속도
RTX 3090 24GB에서 Gemma 4 12B 속도: 프리필·토큰 생성
최종 업데이트
936 GB/s
11.95B
95.5 ~ 106.1 tok/s디코드 속도
모델 전체 적재 (8GB / 22.5GB)
첫 토큰 (TTFT)
2.2 ~ 3.8초문맥 4,096토큰 포함
프리필 속도
1,069 ~ 1,842 tok/s2.2 ~ 3.8초 (공개 벤치마크 기반 추정)
전체 소요 (E2E)
약 4.3 ~ 6.1초218토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
세부 조건 펼쳐보기 세부 조건4-bit · 4K · 기본 디코딩접기
양자화 정밀도필요 8GB
입력 문맥 길이4K 토큰
기본
기본
예시 질문:
218 토큰 답변구성 확인
다른 장비와 나란히 볼까요?
같은 모델로 프리필부터 비교하거나 토큰 생성 속도만 나란히 볼 수 있습니다.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 60종 하드웨어 비교
대표 조건