Strataの量子化選び：Q2_0・IQ2_XS・IQ3_SとCoderを比較

Strataの量子化モデルはQwen3.8-Flash-Nextの重みを少ないビット数で保存したファイルです。ランタイム³に読み込むと入力トークン⁴を受け取り、回答トークンを生成します。Q2_0、IQ2_XS、IQ3_XXS、IQ3_Sは同じ元モデルの圧縮サイズです。CoderやSwift 1.5のように学習やエキスパート構成を変えたモデルとは区別します。

Strataのモデル全体のメモリ目安は、RAMとVRAM⁵に配置する重みの合計です。量子化サイズごとのエキスパート容量と開始時のRAMを表で比べます。

エキスパート容量はモデル重みのうちエキスパート部分の容量です。StrataのRAM目安にはOSや他のアプリ用に約10GBを加えます。VRAM 24GBのRAM 32GB PCでは低RAMモードでQ2_0やIQ2_XSも実行できます。

低RAMのresidentモードはGPU⁶にないエキスパートをRAMにコピーします。mmapモードは同じ範囲をファイルからマップしてOSのファイルキャッシュを利用します。GPUが大きいほどより多くのエキスパートをVRAMに置けるため、どちらの方式でもディスク読み込みを減らせます。GPUが小さくRAMの空きも少ないと、mmapはディスクを頻繁に読み、回答が遅くなることがあります。起動後にMonitorとディスクの動作を確認してください。

Coderはコーディングデータに合わせて各層512個中256個のエキスパートを残したIQ1_Mモデルです。エキスパートを半分に減らすことで、コード以外の作業や英語以外の言語で弱くなる場合があります。プロジェクトのissueには、英語のコード作業は問題ない一方、中国語の出力が誤ったり繰り返されたりする報告があります。韓国語・日本語の文書や一般的な質問が中心なら、Q2_0・IQ2_XSにも同じ質問を送り、結果を比べてください。

コード生成やリポジトリの編集が主な用途で、RAM が 32GB なら Coder を候補にできます。専門家を半分に減らしているため、コーディング以外の作業や英語以外の言語では結果が変わることがあります。

チャット・翻訳・文書要約も行うなら、同じ質問を元モデルと Coder に送り、言語ごとの回答を比べてください。Q2_0 の low-RAM モードに対応する 24GB GPU があれば、コーディング以外の作業でも元モデルを先に試せます。

Swift 1.5はUkisAIがQwen3.8-Flash-Nextをファインチューニングしたモデルです。トークン生成速度は同じサイズの元モデルと近い一方、回答前に考え込む傾向を抑えているため、最初の回答が早く届くことがあります。Q2_0やIQ2_XSなど対応する元サイズとメモリ要件は近く、IQ3_Sは提供されていません。

短い回答を頻繁に頼み、回答前の待ち時間が気になるならSwift 1.5を試します。複雑なコーディングや分析のように推論が結果に関わる作業では、元モデルとSwiftに同じ質問を送り、最初の回答までの時間と抜けた内容を比較してください。重みにはStrataのコードとは別のライセンスが適用されるため、Swift 1.5の配布ページで条件を確認します。

短い質問、普段使う韓国語・日本語の文書、コーディング依頼を同じ順番で送り、モデルサイズとStrataの版を記録します。RAM使用量、最初の回答までの時間、生成速度、作業に必要な内容が回答に含まれるかを比べると用途への適合を判断できます。RTX 5070の測定値を別のGPUやモデル版の予想速度に置き換えないでください。

Strata のコードは MIT License に従い、モデルファイルはそれぞれの配布条件に従います。Qwen の元ページには Qwen Community License 1.0 が記載されています。

Swift 1.5 のページでは、Swift の貢献部分に Swift Open License 1.0、Qwen の元の構成要素に Qwen Community License 1.0 を案内しています。Coder のページ上部には Apache 2.0 とありますが、ライセンス節では重みが元モデルの条件に従うと説明しています。

Coder を含むモデルを改変・再配布したり、サービスで使ったりする前に、配布ページのライセンス節と同梱の NOTICE を確認してください。UD-Q4_K_XL は実験モデルです。