実行プログラムと拡張機能
最終更新
RTX 5090 32GBでStrataを実行する：RAM選びと公開測定
RTX 5090のVRAM 32GBならGPUにより多くの専門家を保持できますが、長文入力にはシステムRAMの余裕も必要です。
Strataはテキストと任意の画像を入力し、Qwen3.8-Flash-Nextの回答を返すローカル実行環境です。VRAM1 32GBのRTX 5090はGPU2により多くの専門家を保持でき、システムRAM3は残りの専門家と実行状態を扱います。StrataはRAM 64GBでIQ2_XS、96GB以上でIQ3_SやUD-IQ4_XSを候補にしています。公開されたstock StrataのRTX 5090事例は、バージョン0.1.29、IQ2_XS、Linux、RAM 64GBで合成コード説明タスクの3種類の入力長を測定しました。
VRAM 32GBでもシステムRAMの余裕が必要です
StrataはWindows・Linuxで動作し、テキストと任意の画像を受け取ってQwen3.8-Flash-Nextの回答をローカルチャットや接続アプリへ返します。RTX 5090のVRAM 32GBはより多くの専門家をキャッシュし、生成中のCPU4作業を減らせます。システムRAMは全専門家、OS、アプリ、長文脈の状態を引き続き扱います。
長文書やコードリポジトリを扱い、他のアプリも開くと、システムRAMとKVキャッシュ5がさらに必要です。普段のアプリと文脈長6を決め、その作業に必要なRAMの余裕を残してIQ2_XSやIQ3_Sを選びましょう。
一般的な開始条件はVRAM 12GB、RAM 32GB、ディスク空き容量約80GBです。モデルによってダウンロード容量とRAM要件は異なり、UD-IQ4_XSは約94GBのダウンロードで、より多くの空き容量が必要です。Strataモデルガイドで最新の推奨構成を確認してください。
RAM 64GBと96GBで始めるモデル
RAM 64GBではIQ2_XSが推奨開始モデルで、Q2_0はより速い選択肢です。96GB以上ならIQ3_Sを検討できます。全専門家を保持する大きなモデルで、回答生成や長文脈に余裕を持たせますが、RAM 64GBでは他のアプリを減らす必要がある場合があります。96GBならUD-IQ4_XSも候補ですが、約94GBのダウンロードでRAMとストレージを多く使います。
システムRAM 32GBとVRAM 24GB以上のGPUでは、Q2_0とIQ2_XSの低RAM構成が案内されています。RTX 5090のVRAM 32GBもこの範囲に含まれます。セットアップでは全モデルをRAMに置くモードも選べます。他のアプリや長文入力、画像入力に使う余裕も残します。
セットアップではMTP7 draftファイルもダウンロードします。draftが候補トークン8を提案し、本モデルが検証して生成を速めますが、draftレイヤーとheadはVRAMの一部を使います。長文脈のKVキャッシュもメモリを使うため、実行時はMonitorでVRAM・RAM使用量と最初のリクエストの待ち時間を確認します。
32K入力では最初の回答まで約6秒
公開されたstock Strataのコミュニティ測定は、RTX 5090 32GB、Core Ultra 9 285K、RAM 64GB、Ubuntu LinuxでIQ2_XSを実行した事例です。エンジン0.1.29、文脈上限131,072トークン、INT8 KV、MTPを使用し、4K・32K・128Kプロンプト9で各3回の中央値を報告しています。作業は合成コード説明で、各回256トークンを生成しました。
報告された生成速度は、入力4Kで179.4 tok/s、32Kで175.7、128Kで165.0でした。各入力長でのプロンプト処理量は4,269.8、5,543.2、5,778.7 tok/sです。128K入力はtok/sが高くてもトークン数が大きく、最初の回答まで約22秒かかりました。
左右にスクロールして各項目を比較できます。
| プロンプト | 入力処理量 | 回答の生成 | 最初のトークンまで |
|---|---|---|---|
| 4K | 4,269.8 tok/s | 179.4 tok/s | 0.974 s |
| 32K | 5,543.2 tok/s | 175.7 tok/s | 5.950 s |
| 128K | 5,778.7 tok/s | 165.0 tok/s | 22.262 s |
測定条件：2026-09-30・RTX 5090 32GB・Core Ultra 9 285K・RAM 64GB・Ubuntu 24.04.4・ドライバー595.84・Strata 0.1.29・IQ2_XS・INT8 KV・MTP・合成コード説明・新規入力・出力上限256トークン・長さ別3回の中央値。
NVFP4 forkとstock Strataを区別する
RTX 5090向けのsergqwer/strata-nvfp4は、NVFP410モデルパックと変更したエンジンを使う別forkです。試す場合はそのエンジンとモデルを合わせて用意し、通常のStrataで得た結果も比較用に残しましょう。
Windowsのsergqwer/strata-nvfp4事例ではNVFP4 PLE11ファイルを使用しました。多様なプロンプトではPLEテーブルをディスクから読み、約1,240 tok/sでした。繰り返し文字列の多い合成プロンプトでは行がキャッシュされ、約6,500〜7,300 tok/sでした。--ple-io mmapはウォーム実行12で約6,037 tok/sでしたが、初回のコールド実行は別条件です。測定ごとにプロンプトの種類とキャッシュ状態が異なります。
実際の長文入力が遅い場合、生成tok/sだけでなく、最初の質問の文脈長、プロンプト処理量、RAM使用量、SSD13読み込みを分けて確認します。続く会話では以前のプロンプトを再利用できることがあり、最初の長文リクエストとは待ち時間が異なります。MonitorでGPUが動作中にCPUが空いているか、CPUが専門家を計算しているか確認すると、ボトルネックを絞れます。
用語の注釈
VRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻るシステムRAM — プログラムの実行中にデータを一時保存するシステムメモリです。
本文に戻るCPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。
本文に戻るKVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻るコンテキスト長 — 1回のリクエストでモデルが扱える入力と生成内容のトークン範囲です。上限や実際のメモリ使用量はモデルと実行設定によります。
本文に戻るMTP — 複数の将来トークンを一度に予測する学習目標、またはそれを行うモデル構成です。投機的デコーディングでは、その予測を候補トークンとして提案できます。
本文に戻るトークン — モデルが入力や出力を分けて処理する単位です。
本文に戻るプロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻るNVFP4 — NVIDIAが定義した4ビット浮動小数点データ形式です。対応状況はGPU世代、モデル、ソフトウェア実装によって異なります。
本文に戻るPLE埋め込みテーブル — Per-Layer Embeddingの略で、モデルの特定の層に埋め込み情報を加える構造です。Qwen Flash-Next系はn-gramテーブルを使い、対応する実行環境ではRAMやSSDへオフロードできます。
本文に戻るウォーム実行 — モデルの読み込みと初期化を終えた後の測定です。初回実行時の読み込み時間を含まないことがあります。
本文に戻るSSD — フラッシュメモリを使うデータ保存装置です。電源を切ってもデータが保持されます。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- Strataはテキストと任意の画像を入力し、Qwen3.8-Flash-Nextの回答を返すローカル実行環境です。VRAM 32GBのRTX 5090はGPUにより多くの専門家を保持でき、システムRAMは残りの専門家と実行状態を扱います。StrataはRAM 64GBでIQ2_XS、96GB以上でIQ3_SやUD-IQ4_XSを候補にしています。公開されたstock StrataのRTX 5090事例は、バージョン0.1.29、IQ2_XS、Linux、RAM 64GBで合成コード説明タスクの3種類の入力長を測定しました。
- 必要なメモリはどのくらいですか？
- StrataはWindows・Linuxで動作し、テキストと任意の画像を受け取ってQwen3.8-Flash-Nextの回答をローカルチャットや接続アプリへ返します。RTX 5090のVRAM 32GBはより多くの専門家をキャッシュし、生成中のCPU作業を減らせます。システムRAMは全専門家、OS、アプリ、長文脈の状態を引き続き扱います。