プリフィル・トークン生成速度
RTX 5090 32GBでのGemma 4 26B-A4B (MoE)速度：プリフィル・トークン生成
最終更新
1792 GB/s
アクティブ 3.8B / 総25.2B
122.7 ~ 284.8 tok/sデコード速度
モデル全体のロード（15.55GB / 30.5GB)
最初のトークン (TTFT)
0.56 ~ 0.85秒コンテキスト 4,096トークンを含む
プリフィル速度
4,856 ~ 7,408 tok/s0.55 ~ 0.84秒 (公開ベンチマークに基づく推定)
全体消費時間（E2E）
約1.3 ~ 2.5秒206トークン回答合計
再生ボタンを押すと、文脈プリフィル後に生成が開始されます。
待機中
詳細条件を展開する 詳細条件4-bit · 4K · 通常のデコード折りたたむ
量子化精度必要 15.55GB
入力文脈長4K トークン
基本
基本
例質問：
206 トークン回答構成確認
他のデバイスと並べてみましょうか？
同じモデルでプリフィルから比較したり、トークン生成速度だけを並べて確認できます。
文書が長くなると、どう変わる？入力長ごとの待ち時間・速度・メモリを開く
詳細分析および全体 60ハードウェア比較
代表的な条件