프리필·토큰 생성 속도

맥 미니 M4 32GB, Qwen3.8 27B 답변은 얼마나 빠를까?

맥 미니 M4 32GB에서 Qwen3.8 27B를 실행하는 속도입니다. 모델이 들어가는지만 확인하지 말고, 짧은 질문과 긴 답변을 실제로 기다릴 만한지 아래 흐름으로 확인하세요.

벤치마크 기반 예상 · 4K 입력 · 한 명 사용

최종 업데이트

5.1 ~ 5.7 tok/s디코드 속도
모델 전체 적재 (17.56GB / 27GB)
첫 토큰 (TTFT)
16.4 ~ 35.5초문맥 4,096토큰 포함
프리필 속도
116 ~ 252 tok/s16.3 ~ 35.3초 (실측 기반 보정)
전체 소요 (E2E)
약 53.5 ~ 76.9초212토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
장비·모델 변경
120 GB/s
27B
세부 조건 펼쳐보기 4-bit · 4K · 기본 디코딩
양자화 정밀도필요 17.56GB
입력 문맥 길이4K 토큰
기본
기본
예시 질문:
212 토큰 답변

이 결과를 볼 때

27B 모델을 담는 것과 빠르게 답하는 것은 다른 문제입니다. 한 번 읽힌 뒤 문장이 이어지는 속도가 답답하다면, 메모리 용량만 늘린 구성보다 칩이 다른 M4 Pro와 비교하는 편이 판단에 도움이 됩니다.

필요 메모리 / 사용 가능
17.6GB / 27GB
실행 경로
MLX 4비트

같은 모델로 나란히 비교

M4 Pro 48GB와 같은 모델을 나란히 재생해 보세요. 문서를 자주 넣는다면 프리필을 포함하고, 짧게 주고받는 대화가 목적이면 토큰 생성부터 비교하면 됩니다.

구성 확인

Mac mini M4 32GB · 메모리 32GB

Qwen3.8 27B Q4_K_M 기준입니다. 판매 페이지의 메모리 옵션이 같은지 확인하세요.

문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 61종 하드웨어 비교

대표 조건

전체 20개 보기