12GB GPUで125Bモデルを実行？Strataの仕組み

Qwen3.8-Flash-Nextの言語モデルコアは約125BパラメーターのMoE⁶構造です。PLE埋め込みとMTP⁷を含む全体は約180Bです。コアの重みを複数のエキスパートに分け、各トークン⁸で必要な一部を選ぶため、大きいモデルを実行しながら計算には一部のエキスパートを使います。

StrataはエキスパートをGPUメモリにキャッシュし、よく使う部分をすばやく処理します。GPUに載っていない部分はCPUとシステムRAMが担当します。質問を送るとローカルサーバーがモデルに渡し、生成した回答をブラウザーのChat画面や対応アプリに返します。テキストのみでも画像入力を有効にしても使えますが、対応範囲はGPUと構成によって異なります。

開始時の目安は、対応GPUのVRAM⁹ 12GB以上、RAM 32GB以上、ディスク空き容量約80GBです。プロジェクトはWindowsとLinuxを案内しており、GPUの対応状況はバージョンごとに変わる場合があります。最新要件と導入手順はStrataリポジトリとインストールガイドで確認してください。

標準構成では、エキスパートの重みをシステムRAMに置き、よく使うエキスパートをGPUメモリにキャッシュします。GPUにないエキスパートの計算にはCPUも参加します。GPUキャッシュが大きいほどGPUで処理できるエキスパートが増えますが、モデル全体の重みと実行時の作業領域も考慮します。

低RAMモードでは、GPUに収まらない専門家をRAMまたはファイルから読み込むかを決めます。残りの専門家重みが空きRAMに収まる場合、resident方式は起動時にその重みをRAMへ固定します。そのため通常の応答中にSSDから専門家を読み込むことはありません。

RAMが不足するとmmap方式でファイルをマッピングし、GPUが必要とする部分をファイルキャッシュから読み込みます。VRAMが少なく、GPUにない専門家を頻繁に読み込む構成では生成が遅くなることがあります。インストーラーは利用可能なRAMに応じて方式を選び、START-HERE.bat --setup --low-ram on|offで低RAM設定を切り替えられます。

PLE（per-layer embeddings）は、モデルの各レイヤーで使う埋め込みテーブルです。StrataではこのデータをSSDに置き、必要なときに読み込むことで、重み用のGPU・RAM領域を節約できます。読み込みにはストレージ性能とOSのファイルキャッシュが影響するため、空き容量のあるNVMe¹⁰ SSDが役立ちます。構成に応じて、PLEファイルの読み込みとGPU・CPUの計算が同時に行われます。

応答中はMonitorでGPU・CPU・RAMの使用量を確認します。RAMの空きがほとんどなくディスク読み込みが続く場合は、メモリを使う他のアプリを閉じるか、小さいモデルを選びます。GPUメモリの余裕が減るとエキスパートキャッシュが小さくなり、CPUの担当が増える場合があります。技術解説では、Strataのメモリ階層と低RAMモードを説明しています。

LinuxでIntel ArcやRadeonも使いたいなら、XeStrataの導入条件を確認してください。使うGPUとディストリビューションを決めてから、対応する手順に進めます。

モデル選択画面では、RAM容量と用途に合わせた量子化¹¹サイズを選びます。Q2_0、IQ2_XS、IQ3_Sは全エキスパートを量子化して保持します。Coderはコーディング向けに調整され、512個のうち256個のエキスパートを残します。モデルを小さくすると必要なファイルとメモリが減りますが、一般的な会話や一部の言語ではCoderの結果が元モデルと異なる場合があります。

Strataの現行モデルガイドでは、RAM 32GBにCoder、48GBにIQ2_XSまたは高速なQ2_0、64GBではまずIQ2_XSを推奨しています。64GBなら大きいモデルも選べますが、IQ3_Sと長いコンテキストを併用するとOSやアプリ用の余裕が減ります。96GB以上ならIQ3_SやUnsloth UD-IQ4_XSを検討できます。UD-Q4_K_XLは実験的な構成です。モデルファイルだけでなく、コンテキストのKVキャッシュ¹²や起動中のアプリもRAM予算に含めます。

RAM 32GBとVRAM 24GBの組み合わせでは、Q2_0またはIQ2_XSを低RAMモードで実行できます。RAM 32GBとVRAM 12～16GBなら、まずCoderを検討すると現実的です。GPUに載らないエキスパートをSSDから頻繁に読む構成では、NVMeでも生成が遅くなる場合があります。扱う言語と回答を待てる時間も考慮してください。

韓国語や日本語の文章・コードをよく扱う場合、Coderだけで判断せず、同じ入力でQ2_0やIQ2_XSと比較します。Swift 1.5は回答前の思考時間を短くするよう調整されたモデルで、トークン生成速度はQ2_0などと同程度ながら、より早く回答が始まる場合があります。モデルごとに結果やライセンスが異なるため、配布ページとモデル選択ガイドを確認してください。

0.1.43.1では、すべての機器でSTRATA_ADAPT_OVERLAPが標準で無効です。0.1.43の標準設定で一部のLinux NVIDIA PCのデコード¹³が遅くなったためです。STRATA_ADAPT_OVERLAP=1を試す際は起動ログで状態を確認し、同じモデル・質問で有効前後を比較します。以下の0.1.43の結果は当時の測定条件を示します。

Strata 0.1.43は2026年10月11日に公開されました。下の表に、NVIDIA・AMD・Intelの構成別にプロンプト¹⁴処理と回答生成の変更をまとめました。

R9700の物理VRAMは32GBです。「16GB相当キャッシュ」の行は、エキスパートキャッシュを16GBカード相当に制限した測定です。旧版と新版を交互に5組実行した中央値で、Arc Pro B70のプロンプト測定は3組です。

WindowsのRTX 5070は標準設定で0.1.42と同じデコード結果です。NVIDIA向けの2つの変更はWindowsでは標準で有効になりません。Linuxではadaptive tierのコピーを次のデコードウィンドウと重ね、PCIe分担率を自動測定して適用します。Windowsで同様の設定を使う場合は、STRATA_ADAPT_OVERLAP=1とSTRATA_PCIE_AUTO_CANON=1を指定します。WindowsのRTX 5070ではQ2_0のadaptive overlapが2.6%遅かったため、標準では無効です。

R9700の結果は、キャッシュ容量と量子化の組み合わせで変わります。制限キャッシュと実際の32GBキャッシュの行を分けて読むと、GPUに置くエキスパート数が結果にどう関わるか分かります。Arc Pro B70でもプロンプト処理が改善しました。具体的な数値とモデル・コンテキスト条件は表にまとめています。

全測定値と条件は0.1.43リリースノートと詳細測定にあります。

新規導入では、WindowsのSTART-HERE.batまたはLinuxのリポジトリフォルダー内の./setup.shでエンジンとモデルを準備します。

タグに固定していないブランチ型Git環境を更新する場合は、同じStrataフォルダー内のUPDATE.batまたは./update.shを使います。

タグ固定環境やZIP版は新しいリリースZIPへ移行します。初回セットアップではRAM・VRAMに合うモデルとコンテキストを選び、画像入力を使わない場合はvisionを無効にしてGPUメモリをエキスパートキャッシュに回します。ファイルの選択と手順はWindows・Linuxインストールガイドを参照してください。

セットアップ後、ブラウザーでhttp://127.0.0.1:8080を開き、Chatに短い質問を送ります。質問と回答が表示されれば、ローカルサーバーとモデルがリクエストを処理しています。対応アプリにはhttp://127.0.0.1:8080/v1をサーバーURLとして入力します。別の端末から接続する場合は、APIドキュメントのアドレスと認証方法に従います。ポートをネットワークに公開すると、ローカル限定の標準設定よりアクセス範囲が広がります。

初回導入のダウンロードが中断された場合は、WindowsではSTART-HERE.bat、Linuxでは./setup.shを再実行します。ブランチ型Git環境の更新にはUPDATE.batまたは./update.shを使い、タグ固定環境やZIP版は新しいリリースZIPへ移行します。サーバーが開かないときは、別のプログラムがポート8080を使用していないか確認します。モデルの読み込みや応答が止まる場合は、空きRAM・VRAM、選択したモデル、コンテキスト長を確認してください。症状ごとの手順は公式トラブルシューティングガイドを参照してください。

複数のRadeonをレイヤー分割するLinuxの--serveは、サーバー向けの上級設定です。Strata 0.1.43ではgfx12 Radeonが3枚以上あると--pipeline-windows 2が標準で有効になります。2枚構成ではコード生成が3%遅くなった測定があるため標準では無効で、手動で有効にできます。

別の4枚構成の測定では、各R9700を225Wに設定し、IQ3_Sで短いストーリー、コード、4K文書を処理しました。パイプライン¹⁵は各ウィンドウでCPUへ渡すエキスパート行バッチのサイズを変えます。計算順序が変わるため合計や丸め結果に差が生じ、一部の回答は直列実行と少し異なることがあります。構成と性能条件はAMD HIPガイドと0.1.43詳細測定を参照してください。

StrataリポジトリのコードはMIT Licenseで配布されています。モデルの重みは各配布元の条件に従うため、Qwen本体、Coder・Swift 1.5、Unsloth版をダウンロードする前に、それぞれのモデルカードでライセンスを確認します。ツールのコードとモデルファイルの利用・再配布条件は個別に確認してください。

ライセンス情報はプロジェクトの説明、リポジトリのライセンス、各モデルの配布ページにあります。

導入手順はWindows・Linuxインストールガイド、量子化サイズとRAMの選び方はモデル選択ガイドを参照してください。