프리필·토큰 생성 속도
2× RTX 5090 64GB (PCIe)에서 Qwen3.8-Flash-Next 속도: 프리필·토큰 생성
최종 업데이트
Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2
세부 조건 펼쳐보기 세부 조건IQ3_S · 4K · Strata MTP접기
Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2
전문가 가중치는 RAM에 적재하고 자주 쓰는 전문가는 GPU에 캐시합니다. PLE 테이블은 NVMe SSD에서 읽습니다.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
실행 조건
Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2
전문가 가중치는 RAM에 적재하고 자주 쓰는 전문가는 GPU에 캐시합니다. PLE 테이블은 NVMe SSD에서 읽습니다.
Self-built 0.1.41, Ryzen 9800X3D with 120GB DDR5-6000, original IQ3_S, native configured limit 262144 but the included fresh prompt is 8059 actual tokens. INT8 KV with 32768 resident cells, MTP spec6/min-p0.70, prefill16384, pcie-frac0, CPU vision. One reported sample; output count and HTTP TTFT unreported. Host CPU/RAM capacity transfer gets a wider scenario band, no RAM speed bonus. 4K–32K are bounded projections only; the configured 262K limit is not a measured prompt axis. Fully reused 8054/8059-token ~230 tok/s artifacts and short-prose 162.5 tok/s without a prompt axis are excluded. No global 0.1.41 speed multiplier is applied. Single-GPU configuration transferred to one identical RTX 5090 on the dual-card host. The other GPU is idle: no pooled 64GB VRAM, pipeline gain or second-GPU timing is claimed. 문맥 사이 값은 대기 시간 보간, 범위 밖은 보수적 외삽입니다. 표시 범위는 반복 측정 신뢰구간이 아닌 시나리오 범위입니다.
대표 조건