Nemotron Bolt vs Qwen3.8-27B, 에이전트 작업은 누가 빠를까?

AIPerf SPEED-Bench-Coding의 TPS는 벤치마크에서 일정한 입력을 처리하며 생성한 토큰 처리량이에요. 생성 도중 얼마나 빠르게 글을 내놓는지 보여 주지만, 도구를 선택하고 실행하거나 결과를 다시 읽어 계획을 수정하는 전체 과정은 포함하지 않아요. 답변을 기다리는 체감은 모델의 첫 토큰 지연과 전체 생성 길이에도 영향을 받아요.

AA-AgentPerf Local의 replay duration은 서로 다른 에이전트 궤적을 다시 실행한 시간이에요. 프롬프트·도구 사용 단계가 포함된 작업이므로 코딩 벤치마크 TPS보다 실제 자동화 완료 시간을 더 가깝게 볼 수 있지만, 여전히 정해진 시나리오와 특정 런타임⁶에 한정돼요. 내 에이전트가 다른 도구나 더 긴 문서를 쓰면 순위가 바뀔 수 있어요.

측정은 같은 RTX Spark의 Surface Laptop Ultra 128GB에서 Windows 11 ARM x64와 llama.cpp로 진행했어요. TPS는 AIPerf SPEED-Bench-Coding, 재생 시간은 AA-AgentPerf Local의 고정 작업 묶음 결과예요.

표에서 Bolt는 Qwen3.8-27B보다 생성 TPS가 약 3배 높고, 정해진 에이전트 작업을 약 42% 짧은 시간에 끝냈어요. 한편 Qwen3.6과 Gemma4는 Bolt보다 생성 TPS가 높고 재생 시간도 더 짧았어요. 토큰 생성이 많은 보조 작업은 TPS를, 여러 도구를 잇는 자동화는 replay duration을 먼저 비교하세요.

모델 파일은 공식 배포처에서 각각 받되, Qwen3.8-27B의 양자화와 DFlash 설정은 공개표와 같은 이름으로 맞춰요. Bolt도 IQ2_XXS와 LiLiCorr를 포함할지 명시하세요. 각 구성의 파일 용량, 실행에 필요한 런타임 버전, 메모리 사용량을 기록해 두면 결과를 재현하기 쉬워요. drafter가 다르면 단순히 두 기반 모델만 비교하는 것이 아니라 가속 조합 전체를 비교한다는 점을 기억해요.

평소 처리하는 작업 하나를 고르고 동일한 문서, 질문, 도구, 출력 제한을 두 모델에 넣어요. 짧은 대화로 시작해 정상 동작과 답의 정확성을 확인하고, 그 뒤 실제 문서 길이와 반복 도구 호출을 추가해요. 첫 토큰 지연, 생성 속도, 전체 작업 시간, VRAM⁷ 최고치와 실패 수를 기록하세요. 모델의 답변이 다르면 같은 기준표로 사람이 채점해야 속도와 품질을 함께 비교할 수 있어요.

단계가 많고 도구 결과를 바탕으로 다음 행동을 골라야 하는 작업이라면, 해당 도구 형식에서 안정적으로 호출하는지와 전체 재생 시간을 우선 비교해요. 공개 측정에서 Bolt가 Qwen3.8-27B보다 AA-AgentPerf Local을 짧게 끝냈다는 사실은 후보 선정에 유용하지만, 내 도구가 다르면 그대로 적용되지 않아요. 자동화가 파일을 수정하거나 웹에서 정보를 가져온다면 샌드박스⁸ 테스트를 거쳐야 해요.

짧은 코드 보완을 연속해서 내거나 고정된 입력에 답을 빠르게 생성하는 작업이라면 TPS와 첫 토큰 지연을 따로 재요. 공개 표에서 Qwen3.6과 Gemma4는 Bolt보다 TPS가 높았어요. 입력 길이와 GPU⁹ 구성을 맞춰 반복 측정하면 내 작업에 맞는 결과를 볼 수 있어요.