계산 기준

로컬 LLM 속도·비용 계산 기준: 한 숫자를 단정하기보다 같은 조건의 범위를 비교합니다.

로컬 LLM 장비별 프리필, 첫 토큰 시간, 디코드 속도, 메모리 적재, 전력, 시세와 TCO를 어떤 조건과 보정 기준으로 계산하는지 설명합니다.

기본 비교 조건

장비 상세 페이지의 대표 비교는 Q4 양자화, 4K 문맥, 단일 사용자 조건입니다. 모델 가중치와 실행 오버헤드, KV 캐시가 실제 사용 가능 메모리 안에 들어가는지 먼저 판정합니다.

프리필은 입력 토큰을 처리하는 단계, 디코드는 답변 토큰을 순차 생성하는 단계로 나눕니다. 하드웨어 사양과 일관된 벤치마크 범위를 조건별로 보정하며, 전체 흐름에서 벗어나는 값은 대표 범위에서 제외합니다.

전력은 순간 최대치가 아니라 로컬 추론의 지속 부하 범위로 계산합니다. TCO는 구매가, 예상 매각가, 전기요금과 실제로 대체하는 구독료를 1년과 2년으로 나눠 비교합니다.

런타임 버전, 냉각, 양자화 파일, 문맥 길이와 멀티 GPU 통신에 따라 실제 결과가 달라질 수 있습니다. 따라서 구매 직전에는 선택한 모델과 정확한 메모리 구성으로 속도 체감기를 다시 확인하는 것이 좋습니다.

2026.09 업데이트