Bonsai 2 27B：6GBという数字の前に確認したいこと

Bonsai 2 27BはQwen3.8-27Bを基にしています。重みの多くを-1、0、+1の3値で表し、128要素のグループとHadamard回転で量子化誤差を抑えます。最小のPTQ1_0言語重みは5.95GB、公式デモの標準PQ2_0は7.21GBです。MLX版はビジョンタワー込みで8.60GBです。『27Bが6GB』は事実ですが、実行時の総メモリが6GBという意味ではありません。長文ではKVキャッシュが増え、OSと実行バッファも同じメモリを使います。8GB機にファイルが入ることと快適に対話できることは分けて考えます。

圧縮重みを読むだけでは計算は完了しません。Bonsai 2は各線形層の前で活性値を回転させるため、その変換を理解するカーネルが必要です。公式デモのsetupスクリプトは対応済みllama.cppを取得します。通常版ではファイルを拒否したり、読み込めても意味のない文を出したりします。MLXもBonsai対応ローダーが必要です。初回は長文や画像ではなく短い質問で出力を確認し、モデル破損を疑う前にランタイムとチェックポイントの組み合わせを確認します。

PrismMLは同じPQ2_0をbatch 1で動かした複数環境の値を公開しています。128トークン生成はRTX 5090で129.9 tok/s、RTX 4090で81.2、RTX PRO 6000 Blackwellで124.8、Apple M5 Proで28.1です。512トークンのプリフィルはそれぞれ3,893、3,124、4,020、387 tok/sでした。ビジョンタワーを除いたメーカー測定なので、長い入力、OS、同時要求では変わります。速度体験画面では該当機器にこの測定点を使い、4K以上の入力では幅を広げます。一つの最高値ではなく、最初のトークンとその後の生成を一緒に確認できます。

PTQ1_0は1.75 bits/weightで小さいものの、常に速いわけではありません。強い圧縮ほど実行中の展開処理が増え、デコードは機器によって同程度か少し速いだけです。公開比較ではプリフィルはすべてPQ2_0の方が高速でした。長文やRAGでは1.26GBを節約する代わりに最初の回答を長く待つことがあります。8GBを超える余裕があるならPQ2_0から始め、メモリが本当に厳しい場合だけPTQ1_0を試し、同じ十問で回答の一貫性と最初のトークン時間を比べます。

メーカーの14件の思考系評価では、Bonsai 2 PQ2_0の平均は84.78、FP16 Qwen3.8-27Bは86.32で、合計では98.2%を維持した結果です。ただし、すべての日本語・韓国語の質問やコーディングで98.2%を保証するものではありません。平均には得意分野と不得意分野が混ざり、実際のプロンプトも評価セットとは異なります。よく使う質問、長文、コード修正を集め、元モデルやQ4版と並べて確認してください。小さいファイルで手元の機器をもう一度使えることが最大の魅力です。先に新しい機器を買わず、自分の作業で十分か確かめることでその利点を守れます。