Q4_K_M · 4Kコンテキスト

K2 Horizon 32B 32BのDenseモデル · Q4_K_Mの推定メモリ約21GB

K2 Horizonの32B密集モデルです。 24GB級の機器ではQ4と短いコンテキストから確認し、長い入力と同時要求を書くには32GB以上のメモリー空きを一緒に見なければなりません。

Q4_K_Mの推定メモリ
約21GB
総パラメータ
32B
活性パラメータ
32B
ネイティブコンテキスト
512K

モデルから探す

このモデルに合う機器を探す

文書検索も同時に動かすなら

埋め込み・再ランキングモデルを同じGPUまたはユニファイドメモリに置く場合の予備容量です。CPUで別に動かすなら追加なしにしてください。

条件に合う機器 40· 5件を表示

2× RTX 3090 48GB (NVLink)

余裕あり · Q4_K_M · 空き 24.3GB

₩5,900,000

48.5 ~ 67.4 tok/s

Studio M4 Max 64GB

余裕あり · Q4_K_M · 空き 35.3GB

₩6,050,000

21.4 ~ 23.7 tok/s

Studio M5 Max 64GB

余裕あり · Q4_K_M · 空き 35.3GB

₩6,925,000

24 ~ 26.6 tok/s

MBP M5 Max 64GB

余裕あり · Q4_K_M · 空き 35.3GB

₩7,300,000

24 ~ 26.6 tok/s

NVIDIA A40 48GB

余裕あり · Q4_K_M · 空き 25.3GB

₩7,500,000

26.5 ~ 29.5 tok/s

価格は範囲の中央値です。GPU単体には基本構成の費用を加えています。速度は同じモデル・4K入力での推定です。

デバイスから再選択したい場合

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。