답변 속도와 가속

최종 업데이트

Arc Pro B70 공개 성능 측정 읽기: XeStrata와 SYCL

같은 Arc Pro B70과 IQ3_XXS에서도 입력을 읽는 prefill과 답변을 만드는 decode는 별도로 비교해야 해요.

XeStrata xe0.1.43.1 릴리스의 Intel Arc Pro B70 32GB 측정에서 Qwen3.8-Flash-Next IQ3_XXS에 4K 입력을 넣고 256토큰1을 생성했을 때 prefill2은 1,511 tok/s, decode3는 81.1 tok/s였어요. 같은 조건의 upstream v0.1.43 SYCL 경로는 각각 1,259 tok/s와 62.2 tok/s였어요. 이는 릴리스에 기재된 비교 결과이며 다른 GPU4나 일반 대화의 응답 완료 시간을 그대로 뜻하지 않아요.

Arc Pro B70에서 긴 입력을 읽는 속도와 답변을 만드는 속도가 얼마나 달라졌는지 살펴봐요. XeStrata xe0.1.43.1은 Qwen3.8-Flash-Next IQ3_XXS를 같은 4K 입력·256토큰 출력 조건으로 upstream v0.1.43 SYCL과 비교했어요. 공개 수치는 아래 표에 모으고, 일반 대화 기록과 버전 수정 내역은 별도로 읽어요.

실행 조건과 핵심 내용
  • 4K generate IQ3_XXS: XeStrata prefill 1,511 tok/s・decode 81.1 tok/s, upstream SYCL 1,259・62.2 tok/s예요.
  • 각 값은 두 차례 번갈아 실행한 중앙값이고, generate는 temperature 0으로 256토큰을 출력했어요.
  • serve, 일본어 채팅, 코딩 에이전트는 generate와 다른 입력·출력 흐름으로 따로 측정돼요.

4K 입력 테스트의 두 숫자는 서로 다른 시간을 말해요

XeStrata xe0.1.43.1 릴리스는 Arc Pro B70 32GB에서 Qwen3.8-Flash-Next IQ3_XXS를 upstream v0.1.43 Intel SYCL 빌드와 비교했어요. 아래 수치는 약 4K 토큰 입력과 256토큰 출력 조건의 공개 generate 측정이며, prefill은 입력 처리, decode는 이어지는 토큰 생성 속도예요.

Arc Pro B70 32GB의 IQ3_XXS 4K generate 비교
측정XeStrata xe0.1.43.1upstream v0.1.43 SYCL
prefill1,511 tok/s1,259 tok/s
decode81.1 tok/s62.2 tok/s

이 표는 temperature 0의 generate에서 같은 IQ3_XXS 모델과 약 4K 입력으로 256토큰을 만들었을 때의 중앙값이에요. 릴리스는 두 실행기를 번갈아 두 번 측정했으며, 문맥 길이나 일반 채팅 경로를 바꾼 결과는 포함하지 않아요.

짧은 입력에서는 prefill 차이가 전체 대기 시간에서 차지하는 비중이 작고, 긴 답변에서는 decode 속도의 영향이 오래 이어져요. 짧은 질문은 첫 토큰까지 걸린 시간을, 긴 코드 요청은 생성 속도와 전체 완료 시간도 함께 재면 이 수치가 실제 작업에 어떤 차이를 만드는지 알 수 있어요.

화면이 빈 모니터와 데스크톱 타워, RAM 모듈이 놓인 작업대
prefill은 입력을 읽는 속도, decode는 답변 토큰을 만드는 속도로 비교해요.

릴리스 버전은 Arc prefill 회귀를 되돌렸어요

xe0.1.43에서는 Arc Pro B70의 Qwen3.8-Flash-Next 32K prefill이 XMX 행렬 엔진 대신 느린 DP4a 경로로 떨어졌고, 릴리스 기록은 약 3분의 1 느려졌다고 설명해요. xe0.1.43.1은 이를 수정해 32K IQ3_XXS prefill을 1,590에서 2,415 tok/s로 되돌렸어요. 이는 이전 XeStrata 버전과 비교한 수정 내역이고, 위의 4K upstream 비교와 측정 조건이 다릅니다.

릴리스 표에는 generate 외에도 serve와 everyday-use 측정이 있어요. 32K 대화의 serve는 prefill, 후속 질문 대기, decode를 따로 기록하고, 일본어 채팅과 코딩 에이전트는 serve/server.py를 통과해 첫 토큰 시간과 decode를 측정해요. 예컨대 일본어 채팅 첫 토큰은 0.58초, decode는 62.7 tok/s로 기록됐어요. 각 실행기는 자체 응답을 생성하고 temperature 0.7에서 두 차례 번갈아 측정했기 때문에 단일 generate 숫자와 섞지 않는 편이 맞아요.

듀얼 팬 그래픽카드와 RAM 모듈, NVMe SSD, 펼친 빈 노트
xe0.1.43.1은 Intel Arc의 XMX prefill 경로를 복구했어요.

내 설치본의 기록을 남겨요

공개 SYCL 비교는 릴리스 표에서 읽고, 자신의 설치본은 xestrata --bench로 별도 기록을 만들어요. 이 명령은 설치된 IQ3_XXS를 약 40분간 측정해요. 실행 중인 XeStrata 서버를 먼저 종료하고, 필요하면 --bench-verbose로 단계별 시간·GPU 부하·온도를 기록하세요.

기록은 프로그램의 데이터 폴더 안 records/bench-<time>/에 저장돼요. summary.md와 tables.md에서 결과를 읽고, record.json에서 하드웨어와 엔진 경로가 맞는지 확인하세요. 기본 측정 횟수는 두 번이며 더 안정적으로 보고 싶으면 --bench-rounds 3처럼 늘릴 수 있어요. 혼합 GPU 레이어 분할을 쓴 구성은 이 스크립트에서 generate와 serve가 아니라 everyday-use만 측정하므로 비교표의 범위를 먼저 살펴야 해요.

두 개의 그래픽카드가 장착된 열린 PC와 옆에 놓인 상자, 노트, 드라이버
자체 측정에서도 모델, 프롬프트, 입력 길이와 생성 토큰 수를 맞춰야 비교할 수 있어요.

용어 각주

  1. 토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.

    본문으로 돌아가기
  2. 프리필 — LLM이 입력 프롬프트를 읽고 각 토큰의 내부 표현을 계산하는 단계입니다. 입력이 길수록 처리할 토큰이 많아집니다.

    본문으로 돌아가기
  3. 토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.

    본문으로 돌아가기
  4. GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.

    본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?
XeStrata xe0.1.43.1 릴리스의 Intel Arc Pro B70 32GB 측정에서 Qwen3.8-Flash-Next IQ3_XXS에 4K 입력을 넣고 256토큰을 생성했을 때 prefill은 1,511 tok/s, decode는 81.1 tok/s였어요. 같은 조건의 upstream v0.1.43 SYCL 경로는 각각 1,259 tok/s와 62.2 tok/s였어요. 이는 릴리스에 기재된 비교 결과이며 다른 GPU나 일반 대화의 응답 완료 시간을 그대로 뜻하지 않아요.