실행 프로그램과 확장
최종 업데이트
Strata 속도 벤치마크 읽기: 짧은 대화와 긴 입력
입력을 읽는 속도와 답을 쓰는 속도는 다른 숫자예요.
Strata는 질문과 대화 기록을 입력받아 Qwen3.8-Flash-Next의 답변을 생성해요. 프롬프트1 처리량2은 입력을 읽는 속도이고 출력 tok/s는 답변 생성 속도예요. RTX 5070 Q2_0의 94·76·2,650 tok/s는 짧은 채팅·128K 문맥·32K 입력에서 얻은 엔진 0.1.36의 별도 측정이에요. AMD 값은 다른 PC의 결과라 같은 GPU3 순위로 비교할 수 없고, 0.1.43 수치도 장비와 설정을 고정해 읽어야 해요.
Strata 속도표는 모델이 질문을 읽는 구간과 답변을 만드는 구간을 나눠 보여줘요. 긴 코드나 문서를 보낸 뒤 첫 글자를 기다리는 시간과 답변이 화면에 이어지는 속도를 구분하면, 내 작업에서 어느 쪽이 병목인지 알 수 있어요.
이 가이드에는 구버전의 PC별 기록과 10월 11일 공개된 0.1.43 변경 기록이 있어요. 각 표에 적힌 모델·양자화4·GPU·런타임5·입력 길이를 확인하고, 같은 조건의 이전·이후 값을 비교해요.
입력 처리와 답변 생성을 따로 봐요
프롬프트 처리량은 모델이 질문과 대화 기록의 토큰6을 읽는 속도예요. 출력 속도는 첫 토큰 이후 답변을 이어 만드는 속도예요. 두 값의 단위는 tok/s로 같지만, 프롬프트 처리량은 첫 응답까지의 대기 시간에, 출력 속도는 답변이 이어지는 속도에 영향을 줘요.
TTFT7(time to first token)는 요청을 보낸 순간부터 첫 출력 토큰이 도착할 때까지의 시간이에요. 이 구간에는 모델 입력 처리뿐 아니라 앱의 요청 준비와 서버 대기가 들어갈 수 있어요. 긴 입력에서 첫 답을 기다리는 시간이 궁금하다면 처리량 숫자만 보지 말고 실제 앱에서 요청 시각과 첫 토큰 시각을 기록해요.
RTX 5070과 RX 9070 XT 측정을 PC별로 봐요
아래 숫자는 RTX 5070과 RX 9070 XT에서 Q2_0 모델로 기록한 과거 공개 측정이에요. 짧은 답변, 128K 문맥을 유지한 답변, 32K 입력 처리라는 서로 다른 작업을 한 열에 모았어요. 단위가 같아도 각 행은 다른 입력 상태와 생성 작업을 뜻해요.
| 작업 | RTX 5070 PC | RX 9070 XT PC |
|---|---|---|
| 짧은 대화 답변 | 94 tok/s | 60 tok/s |
| 128K 문맥 답변 | 76 tok/s | 48 tok/s |
| 32K 입력 처리 | 2,650 tok/s | 1,160 tok/s |
조건은 NVIDIA PC가 RTX 5070 12GB·Ryzen 5 7600·RAM8 64GB DDR5-5200·Windows·Strata 0.1.36이고, AMD PC는 RX 9070 XT 16GB·Ryzen 9 3900X·RAM 47GB·Linux예요. AMD Q2_0은 설치 RAM 예상치를 넘어서 --model Q2_0 --yes로 설치했어요. 이는 서로 다른 PC의 표본이며 GPU만 바꾼 대조 실험은 아니에요.
긴 입력 계산은 첫 토큰 시간의 일부예요
32,000토큰을 RTX 5070의 프롬프트 처리량 2,650 tok/s로 나누면 입력 처리만 약 12.1초예요. RX 9070 XT의 1,160 tok/s를 적용하면 약 27.6초예요. 계산은 입력 토큰 수를 초당 처리량으로 나눈 값이며, 모델이 그 입력을 읽는 단계의 대략적인 시간이에요.
첫 토큰이 실제로 도착할 때까지는 앱의 요청 준비와 서버 대기 시간도 더해져요. 프롬프트 캐시를 재사용하면 모델이 다시 읽어야 할 입력은 줄어들어요. 같은 질문을 앱에서 보내고 요청 시각과 첫 토큰 도착 시각을 기록하면, 이런 처리까지 포함한 TTFT를 구할 수 있어요.
답변 길이와 캐시 상태도 함께 기록해요
출력 tok/s는 답변을 이어 생성하는 속도이므로 같은 속도라도 400토큰 답변은 40토큰 답변보다 오래 걸려요. 완성 시간을 비교할 때는 첫 토큰을 기다린 시간, 생성 토큰 수, 마지막 토큰 시각을 함께 기록해요. 추측 디코딩9은 답변마다 초안 토큰을 받아들이는 수가 달라져 출력 속도가 바뀔 수 있어요.
새 대화에서 처음 보낸 입력과 같은 대화에서 이어 보낸 입력도 분리해요. 프롬프트 캐시가 앞선 문맥을 재사용하면 모델이 다시 읽는 입력량이 달라질 수 있어요. 기록에는 Strata 버전, 모델·양자화, 입력 길이, 출력 길이, GPU·CPU10, 문맥, 첫 실행인지 재질문인지, 캐시 상태를 남겨요.
0.1.43의 Windows RTX 5070 기본 디코드11는 0.1.42와 같아요. Linux NVIDIA에서는 adaptive overlap과 PCIe 분담 자동화가 기본 적용돼요. AMD R9700과 Arc Pro B70은 모델·캐시·문맥별 결과가 나뉘어 있어요. 해당 GPU 가이드에서 내 설정에 맞는 행을 찾은 다음, 같은 작업으로 업데이트 전후를 비교해요.
용어 각주
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기처리량 — 일정 시간 동안 처리하거나 생성한 작업량입니다. 토큰/초, 요청/초처럼 단위를 함께 확인해야 비교할 수 있습니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기첫 토큰 지연 — 요청을 보낸 뒤 첫 출력 토큰이 도착하기까지 걸린 시간입니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기추측 디코딩 — 초안 모델·MTP 헤드·반복 문맥 조회가 출력 후보를 먼저 만들고, 본 모델이 후보를 검증해 확정하는 생성 기법입니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata는 질문과 대화 기록을 입력받아 Qwen3.8-Flash-Next의 답변을 생성해요. 프롬프트 처리량은 입력을 읽는 속도이고 출력 tok/s는 답변 생성 속도예요. RTX 5070 Q2_0의 94·76·2,650 tok/s는 짧은 채팅·128K 문맥·32K 입력에서 얻은 엔진 0.1.36의 별도 측정이에요. AMD 값은 다른 PC의 결과라 같은 GPU 순위로 비교할 수 없고, 0.1.43 수치도 장비와 설정을 고정해 읽어야 해요.