メモリとモデル
最終更新
StrataのPCメモリガイド：RAM 32・48・64・96GBでモデルを選ぶ
RAMにはモデルの重みだけでなく、OSや文脈キャッシュのための余裕も必要です。
Strataは通常、全エキスパートをRAM1に置き、使用頻度の高い分をGPU2にキャッシュします。resident低RAMモードはGPUにないエキスパートをRAMにコピーし、mmapモードはファイルをマップして必要な分を読みます。RAM 32GBではGPU容量に応じてCoderまたは低RAMのQ2_0・IQ2_XS、48GBではIQ2_XS・Q2_0、64GBではIQ2_XSや大きいサイズ、96GB以上ではIQ3_S・UD-IQ4_XSが候補です。OSとアプリの余裕、文脈のKVキャッシュ3、CPU4とNVMe5が担う処理も含めて見積もります。
VRAMはエキスパートキャッシュ、RAMはCPU計算を支えます
StrataはQwen3.8-Flash-Nextの一部の重みをGPUメモリ（VRAM6）に置き、残りのエキスパート計算をシステムRAMとCPUに分けて実行します。標準構成では全エキスパートをRAMに置き、GPUはよく使うエキスパートのコピーをキャッシュします。各トークン7で必要なエキスパートがGPUにあればGPUが計算し、なければCPUがRAM上のエキスパートを計算してGPU処理と並行します。
GPU容量が大きいほどVRAMキャッシュに多くのエキスパートを置け、CPUの担当分を減らせます。一方、システムRAMはOS、ブラウザーなどのアプリ、文脈のKVキャッシュ、モデル読み込みにも必要です。Strataのモデル選択表がエキスパート容量に約10GBを加えてRAMを見積もるのはそのためです。モデルファイル容量だけで判断せず、他の処理に使う余裕を残してください。
residentとmmapはRAM不足時の読み込み方が異なります
低RAM residentモードはGPUにないエキスパートを起動時にRAMへコピーします。回答中にエキスパートの重みをディスクから読みません。GPU外のエキスパートと約4GBの余裕をRAMに確保できない場合、エンジンはこの方式を選べません。Strataの文書ではRAM 32GB・VRAM 24GBのPCでQ2_0、IQ2_XS、Coderをresident実行する例が示されています。
mmapモードはエキスパートファイルをメモリアドレスにマップし、必要な部分を読み込みます。RAMが不足するとOSはファイルキャッシュを回収できますが、頻繁に使うエキスパートがキャッシュにない場合はSSD8から再び読み込みます。VRAM 12～16GB・RAM 32GBではCoderはresidentに収まる場合があり、IQ3_XXSのようにRAMの空き容量を超えるサイズはmmapを使うことがあります。SSD読み込みが多い間に回答が遅くなったら、モデルを小さくするか他のアプリを閉じてください。
RAM容量から実行サイズを絞ります
StrataのRAM別ガイドはモデルサイズとGPU容量を合わせた開始目安です。RAM 32・48・64・96GBで最初に比較するモデルとエキスパート容量をまとめました.
| システムRAM | 開始モデル | 構成の目安 |
|---|---|---|
| 32 GB | Coder | 一般的なGPU構成の開始候補。VRAM 24GBなら低RAMモードでQ2_0・IQ2_XSも実行可能 |
| 48 GB | IQ2_XSまたはQ2_0 | IQ2_XSはバランス型、Q2_0は高速 |
| 64 GB | IQ2_XS。IQ3_XXS・IQ3_Sも選択可能 | IQ3_Sでは他のアプリを少なくします |
| 96 GB+ | IQ3_SまたはUD-IQ4_XS | UD-IQ4_XSはRAM約80GBから全エキスパートをRAMに置けます |
RAM別の推奨は開始目安です。OSや他のアプリ用に約10GBを見込み、RAM 32GB PCの低RAMモード選択はGPU容量に合わせます。普段の文脈長9とアプリを使った状態でMonitorから余裕を確認してください。
文脈キャッシュと画像入力にもメモリが必要です
文脈長は1回の会話で扱える入力と出力の上限です。会話を長く保つほどKVキャッシュも大きくなります。64K以上では設定によりキャッシュの一部をRAM経由で扱い、GPUにはよく読む部分だけを置けるため、RAMとVRAMの使用量が変わります。メモリが足りない場合はまず文脈を短くし、短い質問か長文書かに合わせて必要な長さを決めてください。
画像入力を有効にするとビジョンエンコーダーがVRAMを追加で使い、エキスパートキャッシュが小さくなることがあります。画像が不要ならセットアップで無効にし、必要なら他のGPUアプリを閉じて空きを作ります。低RAM構成で読み込み後に回答が止まる場合は、文脈と画像設定を一度に一つずつ下げ、どの領域が不足しているか確認してください。
CPUとNVMe SSDがGPU外の処理を支えます
CPUはGPUキャッシュにないエキスパートを計算します。AVX2対応の最近のデスクトップCPUが基本条件で、AVX-512対応CPUの一部はCPU側の計算に役立ちます。CPU性能とRAM帯域はGPU外のエキスパート計算速度に影響するため、システムツールでRAMのチャネル構成と実速度を確認してください。
StrataはSSDに層ごとの埋め込み表を置き、トークンごとに必要な行を読みます。これはエキスパートファイルをRAMにresidentコピーする方式とは別のデータです。NVMe SSDはモデルの初回読み込みとPLE10の行参照を速めます。mmap低RAMモードでエキスパートも頻繁にディスクから読む場合は、SSD性能とRAMのファイルキャッシュの両方が関わります。出力が遅いままディスク使用率が高い場合は、モデルを小さくするかresident方式が可能なGPU・RAM構成を検討してください。
用語の注釈
システムRAM — プログラムの実行中にデータを一時保存するシステムメモリです。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻るKVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻るCPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。
本文に戻るNVMe — SSDがPCI Express経由で通信する際に使うストレージ用プロトコルです。
本文に戻るVRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻るトークン — モデルが入力や出力を分けて処理する単位です。
本文に戻るSSD — フラッシュメモリを使うデータ保存装置です。電源を切ってもデータが保持されます。
本文に戻るコンテキスト長 — 1回のリクエストでモデルが扱える入力と生成内容のトークン範囲です。上限や実際のメモリ使用量はモデルと実行設定によります。
本文に戻るPLE埋め込みテーブル — Per-Layer Embeddingの略で、モデルの特定の層に埋め込み情報を加える構造です。Qwen Flash-Next系はn-gramテーブルを使い、対応する実行環境ではRAMやSSDへオフロードできます。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- Strataは通常、全エキスパートをRAMに置き、使用頻度の高い分をGPUにキャッシュします。resident低RAMモードはGPUにないエキスパートをRAMにコピーし、mmapモードはファイルをマップして必要な分を読みます。RAM 32GBではGPU容量に応じてCoderまたは低RAMのQ2_0・IQ2_XS、48GBではIQ2_XS・Q2_0、64GBではIQ2_XSや大きいサイズ、96GB以上ではIQ3_S・UD-IQ4_XSが候補です。OSとアプリの余裕、文脈のKVキャッシュ、CPUとNVMeが担う処理も含めて見積もります。
- 必要なメモリはどのくらいですか？
- StrataはQwen3.8-Flash-Nextの一部の重みをGPUメモリ（VRAM）に置き、残りのエキスパート計算をシステムRAMとCPUに分けて実行します。標準構成では全エキスパートをRAMに置き、GPUはよく使うエキスパートのコピーをキャッシュします。各トークンで必要なエキスパートがGPUにあればGPUが計算し、なければCPUがRAM上のエキスパートを計算してGPU処理と並行します。