Strata速度ベンチマークの読み方：短い会話と長い入力

プロンプト処理量は質問と会話履歴のトークン⁵を読む速度です。出力速度は最初のトークン以降に回答を生成する速度です。どちらもtok/sですが、前者は初回応答までの待ち時間に、後者は回答が続く速さに影響します。

TTFT⁶（time to first token）はリクエストを送信してから最初の出力トークンが届くまでの時間です。モデルの入力処理に加え、アプリ側の準備やサーバー待ち時間も含まれることがあります。長い入力で最初の回答までどれくらい待つか知りたい場合は、処理量だけでなく実際のアプリで送信時刻と初回トークン時刻を記録します。

以下はRTX 5070とRX 9070 XTでQ2_0を使って記録した過去の公開測定です。短い回答、128Kコンテキストでの回答生成、32K入力処理という異なる作業を並べています。単位が同じでも、各行は別の入力状態と生成作業を示します。

NVIDIA PCはRTX 5070 12GB、Ryzen 5 7600、RAM⁷ 64GB DDR5-5200、Windows、Strata 0.1.36です。AMD PCはRX 9070 XT 16GB、Ryzen 9 3900X、RAM 47GB、Linuxです。AMD側のQ2_0はセットアップのRAM推定を超えていたため、--model Q2_0 --yesで導入しました。別々のPCでの結果であり、GPUだけを入れ替えた比較ではありません。

32,000トークンをRTX 5070のプロンプト処理量2,650 tok/sで割ると、入力処理だけで約12.1秒です。RX 9070 XTの1,160 tok/sでは約27.6秒です。入力トークン数を毎秒処理量で割った値で、モデルが入力を読む段階の概算です。

最初のトークンが届くまでには、アプリのリクエスト準備とサーバーの待ち時間も加わります。プロンプトキャッシュを再利用すると読み直す入力が減ります。アプリで同じ質問を送り、送信時刻と最初のトークンの到着時刻を記録すれば、これらの処理を含むTTFTを求められます。

出力tok/sは回答を生成し続ける速度です。同じ速度でも400トークンの回答は40トークンより時間がかかります。完了時間を比べる場合は、最初のトークンまでの待ち時間、生成トークン数、最後のトークン時刻を記録します。投機的デコード⁸では回答ごとに採用されるドラフトトークン数が変わり、出力速度も変動します。

新しい会話で送る最初の入力と、同じ会話で続けて送る入力を分けて記録します。プロンプトキャッシュが前の文脈を再利用すると、モデルが読み直す入力量が変わります。Strataのバージョン、モデル・量子化、入力・出力長、GPU・CPU⁹、コンテキスト、初回か再質問か、キャッシュ状態を記録してください。

0.1.43のWindows RTX 5070標準デコードは0.1.42と同じです。Linux NVIDIAではadaptive overlapとPCIe分担の自動化が標準で有効になります。AMD R9700とArc Pro B70の結果はモデル・キャッシュ・コンテキスト別です。該当GPUのガイドで自分の設定に合う行を探し、同じ作業で更新前後を比べてください。