K2 Horizon 0.9B〜36B-A4B：自分のハードウェアに合うモデルを選ぶ

メールの分類と短いコマンド変換のように、答えが短く、規則が明確なことは0.9Bまたは3.7Bからテストします。個人文書の要約と一般的な会話、簡単なコーディングは、7Bのバランスを取ることができます。複数のファイルの関係を考慮したコーディングと複雑な推論で、小さなモデルの失敗が繰り返されるときに32Bまたは36B-A4Bを確認します。

同じ質問をサイズ別に送信し、正解かどうか、根拠引用、最初のトークンと完了時間を一緒に書きます。より大きなモデルが文を長く書くという理由だけでは選択しません。小さな候補が必要な答えを安定的に出すことは、残りのメモリと高速な応答が大きな利点です。

0.9Bは128Kコンテキストと小さな重みが利点です。固定形式の抽出とルーティング、招待要約など、失敗を簡単に検証できる作業に適しています。 3.7Bからは公式の512Kコンテキストを提供しますが、長い入力を処理する時間とKVキャッシュ³は別々なので、8Kまたは16Kで始まります。

7Bは、8GBクラスのGPU⁴と16GB以上の統合メモリでQ4の実行を簡単に確認できます。ノートパソコンで他のアプリと書き込むときは、オペレーティングシステムとブラウザが使用するメモリを残します。 3.7Bと7Bの答え品質の違いが実際の仕事で小さい場合は、より速くて軽い方を維持することをお勧めします。

32B Q4ファイルは24GB GPUから短いコンテキストに入ることができますが、ランタイム⁵とKVキャッシュの余裕がギリギリかもしれません。 32GB以上のVRAM⁶または統合メモリは、他のアプリと長いコンテキストを一緒に維持しやすくなります。メモリが不足してシステムRAM⁷のオフロード⁸が開始されると、実行可能性と体感速度が大きく異なります。

32Bはすべてのトークンで完全な重み付けを使用するため、シングルユーザーデコード⁹はメモリ帯域幅¹⁰の影響を受けます。同じ32GB表示でも、メモリ帯域幅とエンジンが異なる場合、速度は異なります。サイトの速度比較で機器を変更し、モデルが入っているかどうかとトークン生成速度を別々に確認してください。

MoVA 36B-A4Bは約36B全体を保持し、トークンあたり約4Bをアクティブにします。アクティブ4Bは計算パスを記述しますが、必要なストレージ容量が4Bになるという意味ではありません。 Q4でも、完全な専門家の重みとKVキャッシュがアクセス可能なメモリに存在する必要があります。

重みが高速メモリに入ると、アクティブ計算量のおかげで、32B密集型よりもデコードが有利な組み合わせが発生する可能性があります。逆に、一部の専門家が遅いRAMまたはストレージから頻繁に呼び出されると、その利点は消えます。公式のvLLMの例では、2つのアクセラレータとエキスパートの並列を使用しているため、デスクトップGGUF¹¹と同じ条件ではありません。

長いコンテキストをサポートしても、最初のトークンまで読み取る時間とKVキャッシュが線形に小さくなることはありません。 4Kで答えの品質と速度を保存し、16K・64K順に増やして必要な情報を実際に探しているか確認します。 512Kの数字だけを見てファイル全体を入れると、待ち時間が増え、重要な根拠を見逃すことがあります。

購入前に、頻繁に書き込む入力の長さで3回繰り返した中央値を表示します。 7Bが必要な答えを出し、32Bが大きな違いを生み出すことができない場合、より大きな機器は必要ありません。対照的に、32Bまたは36B-A4Bでのみ繰り返し解決される問題がある場合は、その時点でメモリの余裕と電力、購入コストを一緒に比較します。