프리필·토큰 생성 속도
RTX PRO 6000 96GB에서 Qwen3.8-Flash-Next 속도: 프리필·토큰 생성
최종 업데이트
Strata 0.1.40 · UD-Q4_K_XL · MTP-4 · FP16 KV · RAM PLE · all experts in VRAM
세부 조건 펼쳐보기 세부 조건4-bit · 4K · Strata MTP접기
Strata 0.1.40 · UD-Q4_K_XL · MTP-4 · FP16 KV · RAM PLE · all experts in VRAM
전문가 가중치 전체를 GPU 메모리에 적재합니다. PLE 테이블은 시스템 RAM에 적재합니다.
문서가 길어지면 얼마나 달라질까?입력 길이별 대기 시간·속도·메모리 펼치기
실행 조건
Strata 0.1.40 · UD-Q4_K_XL · MTP-4 · FP16 KV · RAM PLE · all experts in VRAM
전문가 가중치 전체를 GPU 메모리에 적재합니다. PLE 테이블은 시스템 RAM에 적재합니다.
Unmodified v0.1.40 release (1cbcacb), CUDA 13.2.86, driver 595.91.07, 400W cap, PCIe Gen4 x16. All 24576 experts / 71.73 GiB cached in VRAM, mmap-experts with arena_mib=0, PLE in RAM, adaptation disabled, prefill 1024 with no borrow, FP16 KV, MTP T4/threshold 0.5 or T1 control. Exactly 8192 fresh input and 512 EOS-forced output tokens; one observation per path, no prompt/conversation reuse. Engine PP is computed from recorded prompt_ms, not HTTP TTFT. Portable Q4_K_M selector denotes the UD-Q4_K_XL bit class, not a benchmark of ordinary Q4_K_M files. 4K and 16K are bounded projections of the 8K point; no higher-context or concurrent measurement is inferred. MTP is not multiplied onto the observed rate a second time. 문맥 사이 값은 대기 시간 보간, 범위 밖은 보수적 외삽입니다. 표시 범위는 반복 측정 신뢰구간이 아닌 시나리오 범위입니다.
대표 조건