プリフィル・トークン生成速度

2× RTX 5090 64GB (PCIe)でのQwen3.8-Flash-Next速度:プリフィル・トークン生成

最終更新

3584 Gbps 合計

Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2

アクティブ 6B / 常駐する重み 180B
195.8 tok/sデコード速度(基本: 同条件の基準値なし)
PLEテーブル NVMe SSD mmap + RAM分割(VRAM 30.5GB + RAM 52GB + SSD 29ZGB)
最初のトークン (TTFT)
0.46 ~ 0.94 秒コンテキスト 4,096トークンを含む
プリフィル速度
4375.9 ~ 9044.5 tok/s0.45 ~ 0.94 秒 (公開ベンチマークに基づく推定)
全体消費時間(E2E)
1.2 ~ 2.5 秒203トークン回答合計
再生ボタンを押すと、文脈プリフィル後に生成が開始されます。
待機中
詳細条件を展開する IQ3_S · 4K · Strata MTP
量子化精度メモリ 82.5GB + SSD 29GB
入力文脈長4K トークン
Strata MTP
基本
PLE n-gramテーブルを NVMe SSDで 自動でバッチを割り当てましたデコード最適化と共に適用されます。
例質問:
203 トークン回答

Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2

エキスパート重みをRAMに置き、よく使うエキスパートをGPUにキャッシュします。PLEテーブルはNVMe SSDから読み込みます。

文書が長くなると、どう変わる?入力長ごとの待ち時間・速度・メモリを開く
実行条件

Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2

エキスパート重みをRAMに置き、よく使うエキスパートをGPUにキャッシュします。PLEテーブルはNVMe SSDから読み込みます。

Self-built 0.1.41, Ryzen 9800X3D with 120GB DDR5-6000, original IQ3_S, native configured limit 262144 but the included fresh prompt is 8059 actual tokens. INT8 KV with 32768 resident cells, MTP spec6/min-p0.70, prefill16384, pcie-frac0, CPU vision. One reported sample; output count and HTTP TTFT unreported. Host CPU/RAM capacity transfer gets a wider scenario band, no RAM speed bonus. 4K–32K are bounded projections only; the configured 262K limit is not a measured prompt axis. Fully reused 8054/8059-token ~230 tok/s artifacts and short-prose 162.5 tok/s without a prompt axis are excluded. No global 0.1.41 speed multiplier is applied. Single-GPU configuration transferred to one identical RTX 5090 on the dual-card host. The other GPU is idle: no pooled 64GB VRAM, pipeline gain or second-GPU timing is claimed. 문맥 사이 값은 대기 시간 보간, 범위 밖은 보수적 외삽입니다. 표시 범위는 반복 측정 신뢰구간이 아닌 시나리오 범위입니다.

代表的な条件

20件をすべて見る