답변 속도와 가속
최종 업데이트
Arc Pro B70 공개 성능 측정 읽기: XeStrata와 SYCL
같은 Arc Pro B70과 IQ3_XXS에서도 입력을 읽는 prefill과 답변을 만드는 decode는 별도로 비교해야 해요.
XeStrata xe0.1.43.1 릴리스의 Intel Arc Pro B70 32GB 측정에서 Qwen3.8-Flash-Next IQ3_XXS에 4K 입력을 넣고 256토큰1을 생성했을 때 prefill2은 1,511 tok/s, decode3는 81.1 tok/s였어요. 같은 조건의 upstream v0.1.43 SYCL 경로는 각각 1,259 tok/s와 62.2 tok/s였어요. 이는 릴리스에 기재된 비교 결과이며 다른 GPU4나 일반 대화의 응답 완료 시간을 그대로 뜻하지 않아요.
Arc Pro B70에서 긴 입력을 읽는 속도와 답변을 만드는 속도가 얼마나 달라졌는지 살펴봐요. XeStrata xe0.1.43.1은 Qwen3.8-Flash-Next IQ3_XXS를 같은 4K 입력·256토큰 출력 조건으로 upstream v0.1.43 SYCL과 비교했어요. 공개 수치는 아래 표에 모으고, 일반 대화 기록과 버전 수정 내역은 별도로 읽어요.
4K 입력 테스트의 두 숫자는 서로 다른 시간을 말해요
XeStrata xe0.1.43.1 릴리스는 Arc Pro B70 32GB에서 Qwen3.8-Flash-Next IQ3_XXS를 upstream v0.1.43 Intel SYCL 빌드와 비교했어요. 아래 수치는 약 4K 토큰 입력과 256토큰 출력 조건의 공개 generate 측정이며, prefill은 입력 처리, decode는 이어지는 토큰 생성 속도예요.
| 측정 | XeStrata xe0.1.43.1 | upstream v0.1.43 SYCL |
|---|---|---|
| prefill | 1,511 tok/s | 1,259 tok/s |
| decode | 81.1 tok/s | 62.2 tok/s |
이 표는 temperature 0의 generate에서 같은 IQ3_XXS 모델과 약 4K 입력으로 256토큰을 만들었을 때의 중앙값이에요. 릴리스는 두 실행기를 번갈아 두 번 측정했으며, 문맥 길이나 일반 채팅 경로를 바꾼 결과는 포함하지 않아요.
짧은 입력에서는 prefill 차이가 전체 대기 시간에서 차지하는 비중이 작고, 긴 답변에서는 decode 속도의 영향이 오래 이어져요. 짧은 질문은 첫 토큰까지 걸린 시간을, 긴 코드 요청은 생성 속도와 전체 완료 시간도 함께 재면 이 수치가 실제 작업에 어떤 차이를 만드는지 알 수 있어요.

릴리스 버전은 Arc prefill 회귀를 되돌렸어요
xe0.1.43에서는 Arc Pro B70의 Qwen3.8-Flash-Next 32K prefill이 XMX 행렬 엔진 대신 느린 DP4a 경로로 떨어졌고, 릴리스 기록은 약 3분의 1 느려졌다고 설명해요. xe0.1.43.1은 이를 수정해 32K IQ3_XXS prefill을 1,590에서 2,415 tok/s로 되돌렸어요. 이는 이전 XeStrata 버전과 비교한 수정 내역이고, 위의 4K upstream 비교와 측정 조건이 다릅니다.
릴리스 표에는 generate 외에도 serve와 everyday-use 측정이 있어요. 32K 대화의 serve는 prefill, 후속 질문 대기, decode를 따로 기록하고, 일본어 채팅과 코딩 에이전트는 serve/server.py를 통과해 첫 토큰 시간과 decode를 측정해요. 예컨대 일본어 채팅 첫 토큰은 0.58초, decode는 62.7 tok/s로 기록됐어요. 각 실행기는 자체 응답을 생성하고 temperature 0.7에서 두 차례 번갈아 측정했기 때문에 단일 generate 숫자와 섞지 않는 편이 맞아요.

내 설치본의 기록을 남겨요
공개 SYCL 비교는 릴리스 표에서 읽고, 자신의 설치본은 xestrata --bench로 별도 기록을 만들어요. 이 명령은 설치된 IQ3_XXS를 약 40분간 측정해요. 실행 중인 XeStrata 서버를 먼저 종료하고, 필요하면 --bench-verbose로 단계별 시간·GPU 부하·온도를 기록하세요.
기록은 프로그램의 데이터 폴더 안 records/bench-<time>/에 저장돼요. summary.md와 tables.md에서 결과를 읽고, record.json에서 하드웨어와 엔진 경로가 맞는지 확인하세요. 기본 측정 횟수는 두 번이며 더 안정적으로 보고 싶으면 --bench-rounds 3처럼 늘릴 수 있어요. 혼합 GPU 레이어 분할을 쓴 구성은 이 스크립트에서 generate와 serve가 아니라 everyday-use만 측정하므로 비교표의 범위를 먼저 살펴야 해요.

용어 각주
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- XeStrata xe0.1.43.1 릴리스의 Intel Arc Pro B70 32GB 측정에서 Qwen3.8-Flash-Next IQ3_XXS에 4K 입력을 넣고 256토큰을 생성했을 때 prefill은 1,511 tok/s, decode는 81.1 tok/s였어요. 같은 조건의 upstream v0.1.43 SYCL 경로는 각각 1,259 tok/s와 62.2 tok/s였어요. 이는 릴리스에 기재된 비교 결과이며 다른 GPU나 일반 대화의 응답 완료 시간을 그대로 뜻하지 않아요.
