Q4_K_M · 4Kコンテキスト

K2 Horizon 7B 7BのDenseモデル · Q4_K_Mの推定メモリ約6GB

品質とローカル実行負担の中間に置かれた7B密集モデルです。公式の512Kコンテキストをサポートしますが、デスクトップでは、作業に必要な長さに制限する方が応答性とメモリ管理に有利です。

Q4_K_Mの推定メモリ
約6GB
総パラメータ
7B
活性パラメータ
7B
ネイティブコンテキスト
512K

モデルから探す

このモデルに合う機器を探す

文書検索も同時に動かすなら

埋め込み・再ランキングモデルを同じGPUまたはユニファイドメモリに置く場合の予備容量です。CPUで別に動かすなら追加なしにしてください。

条件に合う機器 44· 5件を表示

Mac mini M4 16GB

余裕あり · Q4_K_M · 空き 8.0GB

₩1,180,000

19.8 ~ 22.1 tok/s

MBA M4 16GB

余裕あり · Q4_K_M · 空き 8.0GB

₩1,525,000

19.2 ~ 21.5 tok/s

Mac mini M6 16GB

余裕あり · Q4_K_M · 空き 8.0GB

₩1,669,000

25.9 ~ 28.9 tok/s

Mac mini M4 24GB

余裕あり · Q4_K_M · 空き 15.0GB

₩1,925,000

19.8 ~ 22.1 tok/s

MBA M4 24GB

余裕あり · Q4_K_M · 空き 15.0GB

₩1,950,000

19.2 ~ 21.5 tok/s

価格は範囲の中央値です。GPU単体には基本構成の費用を加えています。速度は同じモデル・4K入力での推定です。

デバイスから再選択したい場合

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。