RTX 3090 24GBでStrataを実行する：VRAM・RAM・長文脈

Strataは質問や任意の画像を受け取り、Qwen3.8-Flash-Nextで回答を生成するWindows・Linux用ランタイム⁵です。RTX 3090はVRAM 24GBを備え、VRAM 12GBのRTX 5070より多くの専門家をGPU⁶にキャッシュできます。残りの専門家と実行データはRAMに置き、GPUキャッシュ外の計算はCPUが担い、SSD⁷にはPLE⁸（per-layer embeddings）の検索データを保存します。

生成速度はGPUメモリ帯域だけでなく、CPUの専門家計算、PCIeリンクの幅と世代、RAMの空きにも左右されます。3090を別のPCへ移す場合はCPUとマザーボードの接続条件も確認してください。

一般要件はVRAM 12GB以上、システムRAM 32GB以上、ディスク空き容量約80GBです。RTX 3090のモデル選びではGPU容量に加え、RAMにOS・アプリ・モデル専門家を置けるか確認します。公式要件。

RTX 3090とシステムRAM 32GBの組み合わせでは、Q2_0、IQ2_XS、Coderの低RAM構成が案内されています。このモードではGPUに載せない専門家をRAMに常駐させ、応答中のSSD読み込みを避けます。実行環境や他のアプリに必要なRAMが足りない場合はmmap経路がOSのファイルキャッシュを使い、SSD読み込みが増えることがあります。MonitorでRAMとディスク使用量を確認し、アプリを閉じるか小さいモデルを選んで空きを作ります。

RAM 64GBではIQ2_XSを推奨開始点にし、IQ3_XXSやIQ3_Sは実際のアプリと文脈で試せます。IQ3_Sでは他のアプリを減らす必要がある場合があります。96GB以上ならIQ3_Sの余裕が増え、より大きなUD-IQ4_XSもインストーラーの選択肢です。RAM 64GBのPCではUD-IQ4_XSの一部専門家をSSDから読むためNVMe⁹が役立ち、一般的な80GBの空き容量より多く必要です。

CoderはRAM 32GBのPCに載せやすい一方、専門家を半分削除しており、コード以外や英語以外の言語で元モデルより弱い結果が報告されています。韓国語や一般的な多言語用途では、全専門家を保つQ2_0やIQ2_XSを先に比較してください。

StrataのRTX 3090向けQ2_0表は、プロンプト長ごとに入力処理と回答生成を分けています。生成速度の推定は4Kで約140 tok/s、32Kで約130、128Kで約100、262Kで約85です。128Kや262Kの長文脈では、最初の入力を読む時間も考慮します。

推定の誤差は約±20%で、入力処理の数値は古いプリフィル¹⁰経路に基づいています。専門家をPCIe経由でGPUへ送る速度はリンクの世代と幅に左右されます。GPUだけ交換して期待した速度にならない場合は、CPU側の専門家計算と、システムやMonitorに表示されるPCIeリンクを確認します。

条件：Strata公開のRTX 3090数値はCPUとRAM 64GBを仮定した約±20%の推定で、実測ではありません。プロンプト処理値は以前の経路を基準にしています。RTX 3090公式推定表。

長いコーディング会話ではKVキャッシュ¹¹が増え、RAMやVRAMを使います。長文脈ではStrataのKV streamingによりKVをRAMに置き、一部だけVRAMに常駐させて専門家キャッシュの場所を確保できます。回答の値を変えずにキャッシュの配置を変えますが、システムRAMを使用します。

RTX 3090で報告された選択型のK8V4です。Coderを文脈198Kで実行した事例では、8bit KVよりKVメモリを23%削減し、生成速度は85から99 tok/sになりました。同じ条件でneedle検索結果は維持され、プロンプト処理は2〜5%遅くなりました。K8V4は任意設定なので、長文書の回答と自分の作業を確認してから選びます。

長い文脈でRAMが足りずディスク読み込みが続くなら、文脈を短くし、他のアプリを閉じましょう。同じ入力で通常のKVとK8V4の回答、メモリ使用量、完了時間を比べると、作業に合う構成を選べます。