RTX 5070 12GBでStrataを実行する：125BモデルとRAMの選び方

Strataはテキストの質問や任意の画像を受け取り、Qwen3.8-Flash-Nextの回答をブラウザのチャットや接続したアプリへ返すWindows・Linux用のローカル実行環境です。RTX 5070のVRAMは12GBで、StrataはGPU・システムRAM・CPU⁴・SSD⁵を組み合わせて125BパラメーターのMoE⁶モデルを実行します。

VRAMにはGPUが素早く計算する専門家をキャッシュし、RAMには全専門家と実行データを保持します。GPUキャッシュにない専門家の計算はCPUが分担し、SSDにはPLE⁷（per-layer embeddings）の検索データを置きます。モデル選びではVRAMとシステムRAMを合わせて考えます。

Strataの一般的な開始要件は、VRAM 12GB以上、システムRAM 32GB以上、ディスク空き容量約80GBです。SSDなら初回のモデル読み込みを短縮できます。ダウンロードは約70GBなので、関連ファイル分の空きも確保します。対応GPUとOSの最新情報はStrata公式リポジトリで確認できます。

RTX 5070は一般的なVRAM要件を満たしますが、実行できるモデルサイズはシステムRAMで変わります。インストーラーはRAMに合うサイズを提案します。32GBでは512個中256個の専門家を残すCoderが出発点です。48GBではQ2_0またはIQ2_XS、64GBではIQ2_XSから比較します。

RAM 64GBならIQ3_XXSとIQ3_Sも候補です。IQ3_Sはより大きいため、他のアプリを減らす必要がある場合があります。Windowsやブラウザ、エディターもRAMを使うので、同時に開くアプリを考慮してください。RAM別モデル選択表では、96GB以上ならIQ3_Sをより余裕をもって使えると案内しています。

Coderはコード作業向けの別モデルです。専門家を半分にしてRAM 32GBでも動かしやすくしていますが、英語以外、とくにCJKテキストでは元モデルより弱い結果が報告されています。韓国語の一般質問や文章作成にも使うなら、全専門家を保つQ2_0やIQ2_XSから比較してください。

次の表は、Strataが公開したRTX 5070の測定で、モデルサイズごとに回答生成と長文入力処理がどう変わったかを示します。短い会話と128K文脈の生成速度を分け、プロンプト⁸処理量は32K入力を読むときの値です。

Q2_0の生成速度は短い会話で約94 tok/s、128K文脈で約76 tok/sでした。IQ3_Sはそれぞれ約53、46 tok/sです。文書やコード履歴を初めて送る場合は、返信が始まる前に入力を読む速さを32Kプロンプト列で比べられます。

測定条件：RTX 5070 12GB、Ryzen 5 7600、RAM 64GB DDR5-5200、Windows。Q2_0はStrata 0.1.36、IQ2_XSとIQ3の行は0.1.26です。生成速度は4K・128Kのプロンプト、入力処理量は32Kで測定し、出力上限は256トークン⁹でした。Strataの詳細測定表。

WindowsではStrataをダウンロードして展開し、START-HERE.batを実行します。Linuxではプロジェクトフォルダーで./setup.shを実行します。セットアップがGPUを検出し、モデルサイズ、文脈長¹⁰、画像入力の有無を尋ねます。RTX 5070とRAM 64GBならIQ2_XSから始め、韓国語の作業とメモリの空きに合わせてIQ3_XXSやIQ3_Sを比べます。

初回セットアップでは約70GBをダウンロードします。モデルをRAMへ読み込むため、初回起動中は1〜3分ほどPCの反応が遅くなることがあります。実行ウィンドウを閉じずに完了を待ちます。ブラウザーでhttp://127.0.0.1:8080を開いて短い質問を送ります。OpenAI互換アプリのベースURLにはhttp://127.0.0.1:8080/v1を指定します。

応答が極端に遅く、ディスク使用が続く場合は、RAM不足で一部の専門家をSSDから読んでいる可能性があります。他のアプリを閉じるか、小さいモデルを選んで空きを作ります。ダウンロードが止まったら起動ファイルを再度実行すると続きから再開します。8080番ポートが使用中と表示されたら、Strataがすでに起動していないか確認してください。手順はWindows・Linux導入ガイド、容量の考え方はStrataメモリガイドを参照してください。