프리필·토큰 생성 속도
내 장비에서 로컬 AI가 얼마나 빠를까?
내 맥·GPU에서 어떤 로컬 LLM이 돌아가고 얼마나 빠른지 확인하세요. 프리필·토큰 생성 속도, 필요한 메모리, 전력·가격·TCO를 같은 조건으로 비교합니다.
로컬 LLM이 처음이라면? 뜻·설치·PC 사양부터 →최종 업데이트
307 GB/s
27B
14.7 ~ 17.1 tok/s디코드 속도
모델 전체 적재 (17.56GB / 56GB)
첫 토큰 (TTFT)
8.6 ~ 10.0초문맥 4,096토큰 포함
프리필 속도
412 ~ 479 tok/s8.6 ~ 9.9초 (제출 기록 기반 추정)
전체 소요 (E2E)
약 20.9 ~ 24.4초212토큰 답변 합산
재생 버튼을 누르면 문맥 프리필 후 생성이 시작됩니다.
대기 중
세부 조건 펼쳐보기 세부 조건4-bit · 4K · 기본 디코딩접기
양자화 정밀도필요 17.56GB
입력 문맥 길이4K 토큰
기본
기본
예시 질문:
212 토큰 답변구성 확인
다른 장비와 나란히 볼까요?
같은 모델로 프리필부터 비교하거나 토큰 생성 속도만 나란히 볼 수 있습니다.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
세부 분석 및 전체 45종 하드웨어 비교▼
대표 조건