この記事で最初に確認すべきことは何ですか？

8GBのグラフィックカードと32GBのシステムRAMがあるPCなら、Qwen3.6やGemma 4を試せます。RAMに合うモデルサイズを選び、インストールしてブラウザから質問する順に進めます。

必要なメモリはどのくらいですか？

Qwen3.6などのMoEモデルは、トークンごとに一部のエキスパート重みを選んで計算します。PolyStrataはよく使うエキスパートをGPUメモリにキャッシュし、残りをRAMに置いてCPUで計算します。モデルファイルが8GBを超えていても、GPUとシステムメモリに分けて実行できます。

実行プログラムと拡張機能

8GB GPUでQwenやGemmaを高速化できる？PolyStrataの導入と2枚GPUの使い方

PolyStrataはGPUとCPUを併用し、大きなMoEモデルを自分のPCで実行するツールです。

8GBのグラフィックカードと32GBのシステムRAM¹があるPCなら、Qwen3.6やGemma 4を試せます。RAMに合うモデルサイズを選び、インストールしてブラウザから質問する順に進めます。

実行条件と要点

8GBのノートPCでは、Qwen3.6 UD-Q3_K_Mが短い会話で94～100 tok/sを記録しています。
モデルファイルはSSDに保存し、GPUに収まらないエキスパートの計算にはシステムRAMとCPUを使います。
Linuxでは2枚のNVIDIA GPUにモデル層を分けて実行します。Windowsの2枚GPU構成はテストされていません。
インストール後は、ローカルのブラウザチャットやOpenAI互換アプリを利用できます。

よく使うエキスパートをGPUメモリに置きます

Qwen3.6などのMoE²モデルは、トークン³ごとに一部のエキスパート重みを選んで計算します。PolyStrataはよく使うエキスパートをGPU⁴メモリにキャッシュし、残りをRAMに置いてCPU⁵で計算します。モデルファイルが8GBを超えていても、GPUとシステムメモリに分けて実行できます。

従来のStrataで使うQwen3.8-Flash-Nextも実行できます。このモデルにはStrataのエンジンをそのまま使い、Qwen3.6・Ornith 1.5・Gemma 4・Tiel Coder・GLM 5.3 FlashにはPolyStrata専用エンジンを使います。サーバーを起動したままインストール済みモデルを切り替え、ローカルチャットやコーディングエージェントに接続できます。

木目の温かみがある室内の机に、黒いタワー型PC、画面が空白のモニター、RAMモジュールが置かれています — モデルを実行しているPCでブラウザチャットを開きます。

8GB GPUと一緒にシステムRAMも用意します

NVIDIA RTX 20シリーズ以降で、VRAM⁶が8GB以上のカードを使えます。公開された8GBの実行構成はRAM 32GBのノートPCです。GPUに収まらないモデルをRAMに置くため、ファイル保存用のSSD⁷と実行用のRAMが必要です。まずQwen3.6・Gemma 4・Ornith・Tiel Coderのファイルサイズと必要なRAMを比較します。

8GB GPUと併用するモデルファイルとRAM
モデル	ファイルサイズ	システムRAM
Qwen3.6-35B-A3B	13 / 17 / 23GB	17 / 21 / 27GB
Gemma 4 26B-A4B	11 / 13 / 17GB	15 / 18 / 21GB
Ornith 1.5	14 / 17 / 24GB	18 / 22 / 28GB
Tiel Coder 35B-A3B	14 / 17 / 23GB	18 / 21 / 27GB

8GB GPU併用時のインストーラーによるRAM見積もり。各行のファイルサイズとRAMの3つの値は、左から同じ順で対応します。画像入力にはディスク容量が約1GB追加で必要です。

Qwen3.6の中間サイズは、モデルファイルが約17GB、GPUと併用するRAMが約21GBです。RAM 32GBのPCでも、ほかのアプリを閉じて余裕を残してください。長い文書や会話履歴を使う場合は、コンテキスト長を短めに設定して少しずつ増やすと進めやすくなります。

Windowsでは、この4モデルをNVIDIAカードで実行します。LinuxにはAMDベータもあり、RX 7600でテストされたモデルはQwen3.6とOrnithです。AMDベータではPC上でエンジンをビルドします。Qwen3.8-Flash-NextのAMD対応は従来のStrataの実行手順に従います。

GLM 5.3 Flashには、さらに多くのメモリが必要です。モデルファイルは79～114GBで、32GB GPUと併用するRAMは構成により約60～96GB以上です。8GB GPUのノートPCでは、表の4モデルから選んでください。

木目の温かみがある机にグラフィックカード、RAMモジュール、NVMe SSDが置かれています — VRAMとシステムRAMはモデル実行で異なる役割を担います。

同じ8GBノートPCでQwenとGemmaはどれくらい速い？

表は短い会話での回答生成速度です。同じモデルでも量子化⁸ファイルを変えると速度が変わります。RTX 4070 LaptopとRTX 5090の結果をファイル別に並べました。

Qwen3.6・Gemma 4のファイル別生成速度
モデル・量子化	RTX 4070 Laptop 8GB	RTX 5090 32GB
Qwen3.6 · UD-Q2_K_XL	123–124 tok/s	450 tok/s
Qwen3.6 · UD-Q3_K_M	94–100 tok/s	394–395 tok/s
Qwen3.6 · UD-Q4_K_M	82–86 tok/s	363–401 tok/s
Gemma 4 · UD-Q2_K_XL	101–104 tok/s	327–340 tok/s
Gemma 4 · UD-Q3_K_M	92–93 tok/s	353–356 tok/s
Gemma 4 · UD-Q4_K_M	85 tok/s	335–346 tok/s

プロジェクト公開測定。ノートPC：RTX 4070 Laptop 8GB / Core i7-14700HX / RAM 32GB。ワークステーション：RTX 5090 32GB / Xeon Platinum 8470Q、25 vCPU / RAM 120GB。短い会話のトークン生成速度。

8GBのノートPCでは、Qwen3.6がQ3で94～100 tok/s、Q4で82～86 tok/sを記録しました。まずQ3で普段の質問やコード修正を試し、回答に不満があれば同じ依頼をQ4で比較してみてください。速度を上げたいときやRAM使用量を減らしたいときにはQ2を試せます。

長い入力の処理とGPU 2枚の効果も比較します

長い文書の要約では入力を読む速さも重要です。表にはQwen3.6・Gemma 4の生成・入力処理速度をまとめました。RTX 4070 Laptop・RTX 5090の単一GPUの結果と、LinuxでRTX 3080を2枚使ってモデル層とエキスパートキャッシュを分けるlayer splitの結果を確認できます。

左右にスクロールして各項目を比較できます。

PolyStrataが公表したモデル別速度と機器条件
モデル・設定	機器と入力	生成	入力処理
Qwen3.6 UD-Q3_K_M · 1 GPU	RTX 4070 Laptop 8GB、i7-14700HX、RAM 32GB · 短い会話	94–100 tok/s	30～32K入力: 1,690 tok/s
Qwen3.6 UD-Q3_K_M · 1 GPU	RTX 5090 32GB、Xeon 8470Q 25 vCPU、RAM 120GB · 短い会話	394–395 tok/s	30～32K入力: 6,350～6,550 tok/s
Qwen3.6 UD-Q3_K_M · 2× RTX 3080 10GB	Xeon 8255C · 2,727トークン入力	2 GPU: 217–221 tok/s / 1 GPU: 165–177 tok/s	2 GPU: 3,425–3,562 tok/s / 1 GPU: 1,567–1,582 tok/s
Gemma 4 UD-Q3_K_M · 2× RTX 3080 10GB	Xeon 8255C · 3,527トークン入力	2 GPU: 191–193 tok/s / 1 GPU: 182–187 tok/s	2 GPU: 3,540–3,590 tok/s / 1 GPU: 2,170 tok/s

RTX 3080比較：2×10GB・各320W / Xeon Platinum 8255C / Linux / CUDA⁹ 12.4 / 2026-10-11のエンジン。短い入力後に256トークンを生成。Qwen3.6は各構成3回、Gemma 4は各2回再起動。入力処理はキャッシュなしでQwen3.6が2,727トークン、Gemma 4が3,527トークン。

出典：モデル別READMEとMULTI_GPU.mdの公開測定。

同じQwen3.6 UD-Q3_K_Mに30～32Kトークンを入力したとき、RTX 4070 Laptop 8GBは1,690 tok/s、RTX 5090 32GBは6,350～6,550 tok/sで処理しました。別のLinux・RTX 3080 2枚の実験では、Qwen3.6は生成・入力処理とも1枚より速くなり、Gemma 4の生成速度の差はそれより小さくなりました。Linuxのデスクトップにカードが2枚あれば、普段のモデルでlayer splitを試せます。

開いたPCケースの中に2枚のグラフィックカードと周辺部品が取り付けられています — レイヤー分割では、2枚のカードがモデルの異なる層を計算します。

セットアップツールでGPUとモデルを設定します

GitHubにアクセスできない場合は、開発者のバックアップ¹⁰ページからソースZIPを入手できます。バックアップの案内はバージョン0.1.43.1-poly.2です。ZIPを展開するか、次のGitコマンドでバックアップのリポジトリをcloneしてください。

Gitを使う場合は、先にGitとGit LFSをインストールします。バックアップはsourceブランチにあり、一部のバイナリをGit LFSで保存しています。ZIPを使う場合は、このコマンドを省略します。

Git LFSを準備して開発者のバックアップをclone

git lfs install
git clone -b source https://huggingface.co/spaces/VecSzn/PolyStrata
cd PolyStrata

用意したPolyStrataフォルダー内で、OSに合うセットアップファイルを実行します。WindowsはSTART-HERE.bat、Linuxはsetup.shです。

Windowsで導入を開始

START-HERE.bat

Linuxで導入を開始

./setup.sh

セットアップツールがGPUを検出し、モデル・量子化サイズ・コンテキスト長・画像入力の有無を尋ねます。推奨値を選ぶとエンジンとモデルを準備します。Qwen3.8-Flash-Nextは約70GB、他のモデルは約11～114GBなので、十分なディスク容量を確保してください。

WindowsでNVIDIA用エンジンをローカルビルドするには、Visual StudioのビルドツールとCUDA Toolkitが必要です。ビルド済みエンジンを取得できない場合、セットアップが必要なツールのインストールを案内します。Linuxのビルドにはg++とCUDA Toolkitが必要です。

LinuxでNVIDIA GPUを2枚使うには、カード番号を確認してセットアップ時に両方を指定します。ツールが選択を保存し、最初のカードをメインGPUにしてlayer splitをautoで開始します。

LinuxでNVIDIA GPUを2枚指定

nvidia-smi
./setup.sh --gpus 0,1

Linuxでインストール済みのCUDA 12.xツールキットを使うには、次のオプションを指定します。RTX 3080を2枚使った公開測定は、CUDA 12.4でビルドしたエンジンによるものです。PolyStrata専用エンジンの2枚GPU実行は、LinuxとNVIDIAの構成でテストされています。

CUDA 12でstrata-polyをコンパイル

./setup.sh --cuda 12

ブラウザから最初の質問を送り、応答を確認します

インストール後は、ターミナルやバッチ画面を開いたままモデルの準備を待ちます。RAMへの読み込みとGPUメモリの準備で、PCが一時的に遅くなることがあります。読み込みが終わると、画面にブラウザのアドレスが表示されます。

ブラウザでhttp://127.0.0.1:8080を開き、Chat欄に「次の文を一文で要約してください。今日の会議は午後3時に始まり、QA結果を確認してからデプロイを決めます。」と入力します。サーバー画面が開いたままで要約が表示されれば、ローカルチャットを利用できます。

OpenAI互換アプリでは、次のURLをサーバーアドレスとして入力します。PolyStrataを実行する同じPCから利用できます。Anthropic互換API¹¹もあるため、そちらを使う場合はインストール文書の該当する接続設定に従ってください。

OpenAI互換APIのベースURL

http://127.0.0.1:8080/v1

初回起動に失敗したら、モデル読み込みとGPU選択を確認します

ブラウザに接続できない場合は、サーバー画面でモデルを読み込み中か確認します。初回の読み込みには数分かかることがあります。エラーが表示されたら画面を閉じず、最後のエラー行を読みます。モデルのダウンロードが途中で止まった場合は、OSに合ったセットアップファイルを再実行して再開します。

CUDAのコンパイルに失敗したら、セットアップの最後のエラーで不足するツールや非対応GPUがないか確認します。CUDA 12 Toolkitをインストール済みのLinux・NVIDIA環境なら、前のCUDA 12オプションで再ビルドできます。

2枚のGPUが表示されない場合は、GPU一覧のカード番号とセットアップ時に保存した選択を照合します。2枚GPU構成はLinuxとNVIDIAカードでテストされています。

用語の注釈

システムRAM — プログラムの実行中にデータを一時保存するシステムメモリです。
本文に戻る
MoE — 複数の専門家サブネットワークから入力に応じて一部を選ぶモデル構造です。総パラメータ数と1トークン処理時に有効な数は異なることがあります。
本文に戻る
トークン — モデルが入力や出力を分けて処理する単位です。
本文に戻る
GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻る
CPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。
本文に戻る
VRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻る
SSD — フラッシュメモリを使うデータ保存装置です。電源を切ってもデータが保持されます。
本文に戻る
量子化 — モデルの重みや計算値を少ないビット数で表し、保存容量やメモリ使用量を減らす方法です。表現が粗くなるため、精度にも影響することがあります。
本文に戻る
CUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。
本文に戻る
バックアップ — 設定とデータをファイルとして保存しておくことです。機器が故障しても同じ設定に戻せます。
本文に戻る
API — 別のコードからプログラムの機能を呼び出すための決められたインターフェースです。
本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか？: 8GBのグラフィックカードと32GBのシステムRAMがあるPCなら、Qwen3.6やGemma 4を試せます。RAMに合うモデルサイズを選び、インストールしてブラウザから質問する順に進めます。
必要なメモリはどのくらいですか？: Qwen3.6などのMoEモデルは、トークンごとに一部のエキスパート重みを選んで計算します。PolyStrataはよく使うエキスパートをGPUメモリにキャッシュし、残りをRAMに置いてCPUで計算します。モデルファイルが8GBを超えていても、GPUとシステムメモリに分けて実行できます。