월간 로컬 AI 속도표: 2026년 9월

9월 표는 Qwen3.6 35B-A3B 4비트, 입력 4,096토큰, 답변 302토큰을 기준으로 장비를 비교해요. 입력 길이와 출력 길이가 달라지면 대기의 구성도 달라지므로 최고 기록을 모은 순위표가 아니라 같은 작업 가정으로 후보를 좁히는 자료예요.

수치는 장비 사양과 벤치마크 보정을 이용한 예상치이며 모든 장비를 같은 요청으로 직접 측정한 결과는 아니에요. 이 표는 같은 가정 아래 어느 구간에서 유리할지 살피는 참고값이에요.

가중치가 겨우 올라와도 문맥 캐시와 실행 프로그램³, 운영체제와 다른 앱이 쓰는 공간이 부족하면 표의 조건대로 작업하기 어려워요. Mac 통합 메모리⁴와 NVIDIA VRAM⁵의 표시 용량도 전부 모델이 쓸 수 있는 몫은 아니에요.

35B-A3B는 MoE⁶ 모델이에요. 토큰마다 일부 전문가만 계산하더라도 실행 경로가 전체 가중치에 접근할 수 있어야 하므로 활성 파라미터 수만 보고 작은 모델처럼 판단하지 않아요. 이 비교를 다른 모델로 일반화하지 말고, 원하는 파일과 문맥 길이가 실제로 들어가는지 먼저 확인해요.

긴 저장소를 읽고 짧게 답하는 일은 입력 처리와 첫 토큰까지가 중요할 수 있어요. 긴 코드 리뷰를 요청하면 첫 글자가 나온 뒤의 디코드⁷도 전체 완료 시점에 영향을 줘요. 프리필 시간, TTFT⁸, 생성 속도, 완료 시간을 서로 바꾸어 해석하지 않아요.

설명용으로 출력 302토큰과 초당 50토큰을 가정하면 생성 구간은 약 6.04초예요. 초당 100토큰이라면 약 3.02초예요. 일정한 토큰 속도를 가정한 계산이라 모델 로딩·대기열은 빼고, 장비별 실측을 뜻하지 않아요. 전체 작업에는 첫 토큰 전 입력 처리도 더해져요.

실제 앱이 입력 토큰 수를 표시하면 적어 두고 4,096토큰 기준과 비교해요. 표시하지 않으면 두 후보에게 같은 파일·지시·대화 문맥을 보내고 사용한 입력을 기록해요. 파일 용량만으로 입력 토큰 수를 알 수는 없어요.

이 표는 2026년 9월 5일 저장한 계산 기록이에요. 이후 표와 비교할 때는 모델·정밀도·입력·답변 길이, 런타임이 같은지 확인해요. 조건 변경도 순위에 영향을 줄 수 있으므로 과거 수치는 날짜와 함께 읽어요.

이 비교에 MTP⁹ 배율을 일괄 적용하지 않았어요. 여러 장비 구성은 지원 런타임이 모델을 나눠 실행한다는 가정의 예상치예요. MTP나 모델 분할을 지원하지 않는 경로에는 그대로 적용할 수 없으므로 기능별 실행 조건을 확인해요.

직접 비교할 때는 같은 Q4 파일과 4,096토큰 입력으로 시작해 첫 토큰, 생성 길이, 종료 시점을 나누어 기록해요. 다음 실행에서 입력이나 런타임을 바꾸면 변경 조건도 남겨야 어느 요인이 달라졌는지 알 수 있어요.

긴 요청을 매일 여러 번 보내면 디코드 차이를 자주 체감할 수 있고, 저장소를 한 번 읽고 짧게 답하는 일은 첫 토큰 전 처리와 메모리 적재가 더 중요할 수 있어요. 비교 화면에서 모델·입력 길이를 유지하고 전체 흐름과 생성 구간을 따로 살펴요.

사이트 값은 예상 체감이에요. 구매 전에는 사용할 모델 파일과 런타임으로 반복 실행하고, 필요한 모델이 들어가는지와 답변 품질을 확인해요. 기다림이 업무를 끊는지까지 살펴보면 더 비싼 장비의 차이가 예산을 쓸 만큼 중요한지 판단할 수 있어요.