프리필·토큰 생성 속도

RTX 5090 32GB에서 Qwen3.8 27B 속도: 프리필·토큰 생성

실행 기기1792 GB/s

모델27B

59.1 ~ 79.9 tok/s디코드 속도

모델 전체 적재 (17.56GB / 30.5GB)

첫 토큰 (TTFT)문맥 4,096토큰 포함

1.9 ~ 3.0초문맥 4,096토큰 포함

프리필 속도1.9 ~ 3.0초 (공개 벤치마크 기반 추정)

1,387 ~ 2,117 tok/s1.9 ~ 3.0초 (공개 벤치마크 기반 추정)

전체 소요 (E2E)212토큰 답변 합산

약 4.6 ~ 6.5초212토큰 답변 합산

재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.

프리필 건너뛰기

대기 중

세부 조건 펼쳐보기 4-bit · 4K · 기본 디코딩

양자화 정밀도필요 17.56GB

입력 문맥 길이4K 토큰

디코드 최적화기본

프리필 최적화기본

예시 질문:

212 토큰 답변

구성 확인

RTX 5090 32GB · 메모리 32GB

Qwen3.8 27B Q4_K_M 기준입니다. 판매 페이지의 메모리 옵션이 같은지 확인하세요.

이미 갖고 있다면 실행 설정 보기

다른 장비와 나란히 볼까요?

같은 모델로 프리필부터 비교하거나 토큰 생성 속도만 나란히 볼 수 있습니다.

세부 분석 및 전체 45종 하드웨어 비교▼

메모리 점유 구조: Qwen3.8 27B (Q4_K_M)필요 17.56GB / 고속 가용 30.5GB (총 32GB)

■ 가중치 15.95GB■ KV 캐시(4K) 1.21GB■ 런타임 0.4GB■ OS/화면 1.5GB

* 메모리 계산은 현재 선택된 4,096 토큰 입력 문맥 시나리오 기준입니다. 모델의 공식 네이티브 컨텍스트는 262,144 토큰이며, 문맥 확장 시 KV 캐시 소모량이 비례하여 증가합니다.

공식 하드웨어 및 모델 제원

메모리 공식 대역폭1792 GB/s

하드웨어 고속 메모리32 GB

모델 파라미터27B (Dense)

공식 네이티브 컨텍스트262,144 토큰

시뮬레이션 시나리오 및 추정치

대역폭 실효 효율78% ~ 86%

KV 캐시 (4K)약 1.21 GB

디코드 산출 방식공개 벤치마크 기반 추정

프리필 보정 방식공개 벤치마크 기반 추정

프리필 연산 특성벤치마크 전이 모델

가속 시나리오 배율1.0x (기본 디코딩)

시뮬레이션 전제단일 요청 · 웜 상태 · 미캐싱 · 큐/네트워크 제외

전체 45종 하드웨어 4비트(Q4_K_M) 표준 속도 비교

행을 클릭하면 해당 기기로 전환됩니다

하드웨어	가용	대역폭	DeepSeek-V4.1-Flash	Qwen3.8 27B	Qwen3.8-Flash-Next	Gemma 4 12B	Gemma 4 26B-A4B	Qwen3.6 35B-A3B	GLM-5.3-Flash	DeepSeek-V4-Flash-0731
MBP M5 Pro 64GB	56G	307G/s	OOM	14.7~17.1	OOM	31.3~34.8	28~68.2	23.5~56.3	OOM	OOM
MBA M5 16GB	13G	153G/s	OOM	OOM	OOM	14.7~16.5	12.3~19.1 (오프로드)	OOM	OOM	OOM
MBA M5 24GB	20G	153G/s	OOM	6.5~7.3	OOM	14.7~16.5	11.2~31	15.6~24.2 (오프로드)	OOM	OOM
MBA M5 32GB	27G	153G/s	OOM	6.5~7.3	OOM	14.7~16.5	11.2~31	9.4~25.6	OOM	OOM
MBA M4 16GB	13G	120G/s	OOM	OOM	OOM	11.2~12.6	9.6~15 (오프로드)	OOM	OOM	OOM
MBA M4 24GB	20G	120G/s	OOM	5~5.6	OOM	11.2~12.6	9.3~27.3	12.2~19 (오프로드)	OOM	OOM
MBP M5 Pro 48GB	41G	307G/s	OOM	13.9~15.4	OOM	31.3~34.8	28~68.2	23.5~56.3	OOM	OOM
MBP M5 Max 64GB	56G	614G/s	OOM	28.5~31.6	OOM	64.4~71.3	51.4~111.6	43.1~92.1	OOM	OOM
Mac mini M4 16GB	13G	120G/s	OOM	OOM	OOM	11.6~12.9	9.6~15 (오프로드)	OOM	OOM	OOM
Mac mini M4 24GB	20G	120G/s	OOM	5.1~5.7	OOM	11.6~12.9	9.3~27.3	12.2~19 (오프로드)	OOM	OOM
Mac mini M4 32GB	27G	120G/s	OOM	5.1~5.7	OOM	11.6~12.9	9.3~27.3	7.8~22.5	OOM	OOM
Mac mini M4 Pro 24GB	20G	273G/s	OOM	12.3~13.7	OOM	27.8~30.9	23.4~55.8	27.8~43.2 (오프로드)	OOM	OOM
Mac mini M4 Pro 48GB	41G	273G/s	OOM	12.3~13.7	OOM	27.8~30.9	23.4~55.8	19.6~46.1	OOM	OOM
Mac mini M4 Pro 64GB	56G	273G/s	OOM	12.3~13.7	OOM	27.8~30.9	23.4~55.8	19.6~46.1	OOM	OOM
Mac mini M6 16GB	13G	153G/s	OOM	OOM	OOM	15.2~16.9	12.3~19.1 (오프로드)	OOM	OOM	OOM
Mac mini M6 24GB	20G	170G/s	OOM	7.5~8.3	OOM	16.9~18.8	13.1~34.7	17.3~26.9 (오프로드)	OOM	OOM
Mac mini M6 32GB	27G	170G/s	OOM	7.5~8.3	OOM	16.9~18.8	13.1~34.7	11~28.7	OOM	OOM
Mac mini M5 Pro 24GB	20G	307G/s	OOM	13.9~15.4	OOM	31.3~34.8	28~68.2	31.2~48.6 (오프로드)	OOM	OOM
Mac mini M5 Pro 48GB	41G	307G/s	OOM	13.9~15.4	OOM	31.3~34.8	28~68.2	23.5~56.3	OOM	OOM
Mac mini M5 Pro 64GB	56G	307G/s	OOM	13.9~15.4	OOM	31.3~34.8	28~68.2	23.5~56.3	OOM	OOM
Studio M4 Max 64GB	56G	546G/s	OOM	25.3~28.1	OOM	57.2~63.4	46.7~99.2	39.2~81.9	OOM	OOM
Studio M4 Max 128GB	114G	546G/s	OOM	25.3~28.1	34.2~48.1	57.2~63.4	46.7~99.2	39.2~81.9	OOM	OOM
Studio M5 Max 64GB	56G	614G/s	OOM	28.5~31.6	OOM	64.4~71.3	51.4~111.6	43.1~92.1	OOM	OOM
Studio M5 Max 128GB	114G	614G/s	OOM	28.5~31.6	38.5~54	64.4~71.3	51.4~111.6	43.1~92.1	OOM	OOM
RTX 3090 24GB	22.5G	936G/s	OOM	42.3~46.9	OOM	95.5~106.1	64.1~148.7	58.2~146.3	OOM	OOM
RTX 4090 24GB	22.5G	1008G/s	OOM	38.3~51.9	OOM	107.1~118.5	69~160.2	62.7~157.5	OOM	OOM
RTX 5090 32GB	30.5G	1792G/s	OOM	59.1~79.9	OOM	198~218.3	122.7~284.8	111.5~280	OOM	OOM
Ryzen AI Max+ 395 128GB	96G	256G/s	OOM	11.2~12.5	13~20.2 (오프로드)	25.4~28.3	17.5~40.7	15.9~40	OOM	OOM
MBP M5 Max 128GB	114G	614G/s	OOM	28.5~31.6	38.5~54	64.4~71.3	51.4~111.6	43.1~92.1	OOM	OOM
Studio M5 Ultra 256GB	236G	1200G/s	OOM	54.2~60.2	73.2~103.1	122.4~136	88.8~167.3	74.5~138.2	81.3~90.3	112.5~125
Studio M5 Ultra 512GB	480G	1200G/s	OOM	54.2~60.2	73.2~103.1	122.4~136	88.8~167.3	74.5~138.2	81.3~90.3	112.5~125
RTX 5060 Ti 16GB	15G	448G/s	OOM	5.6~5.7 (오프로드)	OOM	47.6~52.7	19.4~29.6 (오프로드)	15.1~19.5 (오프로드)	OOM	OOM
NVIDIA A40 48GB	46G	696G/s	OOM	31.4~34.9	8~8.2 (오프로드)	71~78.9	47.7~110.6	43.3~108.8	OOM	OOM
RTX PRO 6000 96GB	93G	1792G/s	OOM	87.6~96.6	118.5~165.4 (오프로드)	198~218.3	122.7~284.8	111.5~280	6.6~6.6 (오프로드)	9.2~9.2 (오프로드)
MBP M5 32GB	27G	153G/s	OOM	6.7~7.5	OOM	15.2~16.9	11.2~31	9.4~25.6	OOM	OOM
MBP M4 Pro 48GB	41G	273G/s	OOM	12.3~13.7	OOM	27.8~30.9	23.4~55.8	19.6~46.1	OOM	OOM
MBP M4 Max 128GB	114G	546G/s	OOM	25.3~28.1	34.2~48.1	57.2~63.4	46.7~99.2	39.2~81.9	OOM	OOM
Studio M3 Ultra 512GB	480G	819G/s	OOM	37~41.1	50~70.3	83.5~92.8	88.8~130.2	74.5~107.5	55.5~61.6	76.8~85.3
MBP M3 Max 128GB	114G	400G/s	OOM	18.6~20.6	25.1~35.2	41.9~46.5	32.7~74.4	27.4~61.4	OOM	OOM
MBP M3 Pro 36GB	30G	150G/s	OOM	6.6~7.3	OOM	14.9~16.6	11.2~31	9.4~25.6	OOM	OOM
DGX Spark 128GB	116G	273G/s	OOM	12.3~13.7	16.7~23.4	27.8~30.9	18.7~43.4	17~42.7	OOM	OOM
2× DGX Spark 256GB	232G	546G/s	OOM	12.3~19.7	16.7~33.8	27.8~44.5	18.7~62.5	17~61.4	18.5~29.6	25.6~41
2× RTX 3090 48GB (NVLink)	45G	1872G/s	OOM	57.5~79.8	8.2~8.4 (오프로드)	129.8~180.3	87.2~252.9	79.2~248.6	OOM	OOM
2× RTX 5090 64GB (PCIe)	61G	3584G/s	OOM	87.6~135.3	17.5~18.2 (오프로드)	198~305.6	122.7~398.7	111.5~392	5.1~5.2 (오프로드)	7.1~7.1 (오프로드)
2× A40 96GB (NVLink)	92G	1392G/s	OOM	42.7~58.6	57.8~100.4 (오프로드)	96.5~132.5	64.8~185.8	58.9~182.7	3.4~3.4 (오프로드)	4.9~4.9 (오프로드)

대표 조건

많이 비교하는 장비와 모델

전체 20개 보기

RTX 5090 32GB × Qwen3.8 27B

59.1 ~ 79.9 tok/s · 1.9 ~ 3.0초

Mac mini M4 32GB × Qwen3.8 27B

5.1 ~ 5.7 tok/s · 16.4 ~ 35.5초

Mac mini M4 Pro 48GB × Qwen3.8 27B

12.3 ~ 13.7 tok/s · 7.8 ~ 14.3초

MBP M5 Pro 64GB × Qwen3.8 27B

14.7 ~ 17.1 tok/s · 8.6 ~ 10.0초