プリフィル・トークン生成速度
RTX 5090でQwen3.8 27B、推奨設定の速度を比較
RTX 5090 32GBでQwen3.8 27Bの推奨条件を体験できます。量子化と加速の設定を確認し、RTX 4090から替えた場合のプリフィルと応答速度を比較しましょう。
ベンチマーク基準の推定 · 4K入力 · 単一ユーザー
最終更新
148.2 ~ 217.8 tok/sデコード速度(基本： 70.6 ~ 103.7 tok/s)
モデル全体のロード（19.03GB / 30.5GB)
最初のトークン (TTFT)
0.27 ~ 0.39 秒コンテキスト 4,096トークンを含む
プリフィル速度
10660.8 ~ 15662.2 tok/s0.26 ~ 0.38 秒 (公開ベンチマークに基づく推定)
全体消費時間（E2E）
1.2 ~ 1.8 秒203トークン回答合計
再生ボタンを押すと、文脈プリフィル後に生成が開始されます。
待機中
機器・モデルを変更
1792 GB/s
27B
詳細条件を展開する 詳細条件NVFP4 · 4K · NVFP4 + MTP折りたたむ
量子化精度必要 19.03GB
vLLM 0.28.0 · NVFP4 W4A4 · FP8 KV · RTX 5090 전용 ModelOpt 체크포인트와 단일 요청 측정 기준입니다. MTP 2단계는 전용 GPU 설정이 필요합니다.
入力文脈長4K トークン
NVFP4 + MTP
基本
例質問：
203 トークン回答結果を見るポイント
モデルファイルを入手するだけでは、この実行条件にはなりません。モデル形式、ランタイム、加速機能の対応が必要です。下で設定を開くか、機器別レシピを確認できます。
- 必要メモリ / 使用可能
- 19.0GB / 30.5GB
- 実行経路
- vLLM 0.28.0 · CUDA 13.3.1 · driver 610.43.02 · MTP-2
構成確認
RTX 5090 32GB · メモリ 32GB
Qwen3.8 27B NVFP4 の構成です。販売ページのメモリ容量が同じか確認してください。
文書が長くなると、どう変わる？入力長ごとの待ち時間・速度・メモリを開く
詳細分析および全体 61ハードウェア比較
代表的な条件