Q4_K_M · 4Kコンテキスト
K2 Horizon MoVA 36B-A4B 総36Bのうちトークンごとに4Bが動作するMoEモデル · Q4_K_Mの推定メモリ約22GB
全36Bのうち、トークン当たり約4Bを活性化するMoVA構造のMoEモデル。デコード計算は軽いですが、全体の重みはメモリにアクセスできる必要があり、公式サーバーの例はマルチGPUパスです。
- Q4_K_Mの推定メモリ
- 約22GB
- 総パラメータ
- 36B
- 活性パラメータ
- 4B
- ネイティブコンテキスト
- 512K
モデルから探す
このモデルに合う機器を探す
文書検索も同時に動かすなら
埋め込み・再ランキングモデルを同じGPUまたはユニファイドメモリに置く場合の予備容量です。CPUで別に動かすなら追加なしにしてください。
条件に合う機器 40· 5件を表示
価格は範囲の中央値です。GPU単体には基本構成の費用を加えています。速度は同じモデル・4K入力での推定です。
デバイスから再選択したい場合
予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。