64GBのCMP 170HXには長文をどれくらい入力できる？

モデルの重みはGPU³メモリーに常駐し、長い入力を処理するとトークンごとのattention⁴状態を保存するKVキャッシュも増えます。プロンプト⁵と回答は設定されたcontextを分け合うため、長い回答を求めると入力に使える余裕が減ります。物理容量64GBはこのメモリー予算の一部であり、エンジンが対応する最大トークン数と同じではありません。

文書のページ数も、そのままトークン数には換算できません。図表の量、文字密度、PDFアプリが全文を送るか関連箇所だけを送るかによって、モデルが受け取る量は変わります。レシピや測定表のトークン数は実際の入力長を示すもので、ページ数の推定値ではありません。

open-jetは3,158・9,472・18,976トークン入力をすべて完了しました。vLLMは3,163トークンのチャット要求を完了しましたが、9,472トークンのチャット要求ではエラーで終了しました。まず表で、使いたい入力長とエンジンを確認してください。

まずモデルファイルとサービングエンジンを選び、実作業で送る指示と会話履歴を固定します。短い入力で応答を確認し、その後内容を増やして要求が最後まで完了するか調べます。各長さで入力トークン数、TTFT⁶、生成速度、完了・エラー状況を分けて記録すると、文書が長くなった際の変化を把握できます。

open-jetの測定では同じGPU構成で入力長を3,158→9,472→18,976トークンへ増やし、MTP⁷ d=4のTTFTは2.066→6.358→13.550秒に伸びました。decode⁸平均は約77.20、76.74、75.39 tok/sでした。これは1台・1エンジンでの記録なので、別のカードやモデル量子化⁹にそのまま適用せず、自分の文書と回答長で再確認してください。

入力を増やしたときエンジンが停止した場合、そのcontext設定値を最大対応長とは呼びません。トークン数とエラーを記録し、一段短い入力で再確認します。文書を分割したり関連箇所を検索したりする方法もありますが、モデルに渡る文脈が変わるため、文書全体を一度に処理した結果とは区別してください。

vLLMは/v1/completionsでも6,603トークン入力を完了しています。これは表のチャット要求とはAPI¹⁰と入力が異なる記録です。サーバーの65,536という設定値より、実際に使う方式で完了した長さを基に文書を準備してください。

文書全体を一度に入力できない場合は、章や節ごとに要約し、最後に要約をまとめられます。特定の質問に答えるなら、RAG¹¹で関連箇所だけを検索して送る方法もあります。全体の理解が必要か、必要な部分だけ探せばよいかに応じて送る内容を決めてください。