답변 속도와 가속

월간 로컬 AI 속도표: 2026년 9월

속도표를 열면 자연스럽게 가장 높은 숫자부터 찾게 됩니다. 그런데 그 장비가 내게도 가장 나은 선택인지는 별개의 문제입니다. 이번 표는 답변을 쓰는 속도뿐 아니라 시작 전의 기다림도 함께 봅니다. 순위를 외우기보다 후보 두 개를 남기는 자료로 읽어보세요.

이달의 장비 속도표

Qwen3.6 35B-A3B · 입력 4,096토큰 · 출력 302토큰 · 2026-09-05 저장한 예상치. 범위가 겹치는 장비의 우열은 확정하지 않습니다.

장비	실행 설정	첫 토큰	토큰 생성	전체 완료
RTX 5090 32GB	llama.cpp CUDA · Q4_K_M	0.582초	111.5 ~ 280 tok/s	약 2.47초
2× RTX 3090 48GB (NVLink)	llama.cpp CUDA · Q4_K_M · GPU 2장 분할	0.975초	79.2 ~ 248.6 tok/s	약 3.48초
MBP M5 Max 128GB	MLX 4비트	2.093초	43.1 ~ 92.1 tok/s	약 7.22초
DGX Spark 128GB	llama.cpp · Q4_K_M	2.033초	17 ~ 42.7 tok/s	약 14.41초
Mac mini M4 Pro 64GB	MLX 4비트	4.473초	19.6 ~ 46.1 tok/s	약 15.41초
Ryzen AI Max+ 395 128GB	llama.cpp HIP · Q4_K_M	37.873초	15.9 ~ 40 tok/s	약 51.1초

이 표가 비교하는 장면부터 보겠습니다

이번 기록은 Qwen3.6 35B-A3B의 4비트 모델, 입력 4,096토큰과 답변 302토큰 조건을 사용합니다. 질문이나 모델을 자유롭게 섞은 최고 기록 모음이 아닙니다. 같은 일을 맡긴다고 가정해 장비 차이를 살펴보기 위한 고정 조건입니다.

수치는 사양과 벤치마크 보정을 이용한 계산 결과입니다. 모든 장비를 직접 소유해 측정한 값은 아닙니다. 근거가 없는 MTP 배율을 일괄 적용하지 않았으며, 여러 장비 구성은 지원 런타임이 모델을 나누는 조건의 예상치입니다.

여러 로컬 AI 장비를 같은 조건으로 점검하는 절제된 월간 벤치마크 작업대 그림 — 월간 속도표는 같은 모델과 양자화, 입력 길이를 고정해 장비 사이의 체감 차이를 한눈에 비교합니다.

첫 번째 후보는 메모리로 고릅니다

생성 속도가 높아 보여도 원하는 모델과 캐시를 담지 못하면 같은 조건의 후보가 아닙니다. 특히 맥의 전체 메모리와 GPU 전용 VRAM을 모델만 사용하는 공간처럼 비교하면 안 됩니다. 운영체제와 실행 프로그램 몫을 남긴 가용 공간을 보세요.

큰 MoE 모델은 활성 계산량이 작아 빠를 수 있지만 전체 가중치는 보관해야 합니다. 이번 모델에서 괜찮았던 장비가 다른 대형 모델에서도 충분하다고 확대해석하지 말고, 쓰려는 모델이 다르면 계산기에서 바꿔 확인하세요.

입력을 읽는 프리필 구간과 답변을 이어 쓰는 디코드 구간이 두 갈래로 흐르는 그림 — 긴 문서를 읽는 속도와 답변 토큰이 이어지는 속도를 분리해야 내 작업에 맞는 장비가 보입니다.

두 번째로 어느 기다림이 긴지 봅니다

문서를 넣고 짧게 요약받는 경우에는 첫 토큰까지의 시간이 중요합니다. 짧은 지시로 긴 글을 쓸 때는 디코드 속도가 더 오래 영향을 줍니다. 두 값이 한 장비에서 항상 함께 좋은 것은 아닙니다.

같은 모델에서 프리필을 포함해 본 뒤 토큰 생성만 다시 비교해보세요. 처음에는 크게 보이던 차이가 내가 할 작업에서는 작아질 수 있습니다. 반대로 총 완료 시간은 비슷해도 답이 늦게 시작되는 쪽이 더 답답하게 느껴질 수 있습니다.

맥과 단일 GPU, 듀얼 GPU, 소형 AI 시스템을 같은 작업대에 나란히 놓은 장비 구성 그림 — 장비 수와 표시 메모리가 커져도 한 요청의 속도와 여러 요청 처리 능력은 같은 비율로 늘지 않습니다.

한 달 전보다 순위가 올랐다는 말의 조건

이 페이지는 2026년 9월 5일에 저장한 계산 기록입니다. 현재 계산기의 설정이나 보정값이 바뀌어도 표를 조용히 덮어쓰지 않습니다. 오류 정정과 새로운 달의 비교는 변경 기록을 구분해야 과거 링크를 읽는 사람도 같은 내용을 이해할 수 있습니다.

앞으로 다른 달과 비교할 때는 모델·정밀도·입력 길이가 유지됐는지부터 봐야 합니다. 조건이 달라진 표의 순위 변화를 곧바로 장비 성능 향상으로 부를 수는 없습니다. 런타임 개선인지 계산 기준 수정인지도 별개의 변화입니다.

1등을 골랐는데 너무 비싸다면

순위가 한 단계 낮아도 내 작업에 충분하면 구매 후보로 남길 수 있습니다. 반대로 가격 차이가 작고 매일 긴 답변을 기다린다면 상위 장비에 비용을 쓸 이유가 생깁니다. 순위만으로는 그 판단을 대신할 수 없습니다.

관심 있는 두 장비를 비교 화면에 넣고 조건을 공유해보세요. ‘어느 게 좋나요?’보다 ‘이 모델로 이 길이의 문서를 처리할 때 이 차이면 괜찮을까요?’라고 물으면 더 구체적인 답을 얻을 수 있습니다. 이 표의 역할은 구매를 서두르게 하는 것이 아니라, 다음에 확인할 질문을 줄여주는 데 있습니다.