Q4_K_M · 4Kコンテキスト

MiniCPM5-2B 2.51675648BのDenseモデル · Q4_K_Mの推定メモリ約3GB

2.51675648Bパラメータの密モデルで、131,072トークンのネイティブコンテキストに対応します。表示するメモリと生成速度は量子化・ハードウェア仕様に基づく推定であり、実測値ではありません。

このモデルを実行する代表的な設備

利用可能 7.25GB · 448GB/s

llama.cpp CUDA · Q4_K_M

トークン生成

216.5 ~ 246.6 tok/s

最初のトークン

0.68 ~ 1.2秒

利用可能 61GB · 3584GB/s

llama.cpp CUDA · Q4_K_M · GPU2台分離

トークン生成

938.1 ~ 1448 tok/s

最初のトークン

0.19 ~ 0.41秒

利用可能 13GB · 120GB/s

MLX 4ビット

トークン生成

53.2 ~ 59.6 tok/s

最初のトークン

3.4 ~ 8.3秒

実行ガイド

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値も一緒に変更されます。

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。