モデル別実行レシピ
MiniCPM5-2B Q4_K_Mをローカルで動かす安全な始め方
MiniCPM5-2Bは2.51675648Bパラメータの密モデルで、公式のGGUF、4ビットMLX、GPTQ版があります。このガイドでは一般的なPCで確認しやすい公式Q4_K_M GGUFとllama.cppのllama-serverを基準にします。サイトの速度とメモリ表示はハードウェア仕様に基づく推定値なので、下の短いローカルテストで実環境を確認してください。
実行レシピ
機器別の設定
1人で使う場合
使う機器を選ぶと、起動コマンドと調整できる設定が表示されます。
プロファイル
Apple MacBook Pro M5 Pro (64GB)
メモリに収まる推奨ランタイム： LM Studio (MLX 4ビット（GGUF Q4_K_Mとは別形式）) · ドキュメントに基づくランタイム設定
インストール後の初回実行や、毎日安定して使いたいときに
プロファイルのコンテキスト長
16,384 トークン
ランタイムのドキュメントに基づく初期設定です。下の手順に沿って調整し、速度を比べてください。
デコード速度の推定値
148.3 ~ 164.8 tok/s
1人で使う場合の推定値
最初のトークンまでの推定時間
5.7 ~ 12.3秒
プリフィル: 1,331 ~ 2,890 tok/s
推定メモリ使用量
約 2.59GB / 56GB
残余の余裕：少ない 53.4GB
サーバーアドレス
http://127.0.0.1:1234
ローカルのみ · 127.0.0.1
推定値は、計算ツールが推奨する量子化・高速化設定と 16,384トークンを基準にしています。上記の実行設定を測定した値ではありません。
このプロファイルの設定
| 設定値 | この設定にする理由 |
|---|---|
| モデルの重みMLX 4ビット（GGUF Q4_K_Mとは別形式） | MLXモデルのディレクトリを使います。Q4_K_MのGGUFとはファイル形式が異なります。 |
| 入力長の確認16,384 | lms loadのcontext-length設定と、実際に読み込まれたコンテキスト長を合わせて確認します。 |
| KVキャッシュモデル設定で確認 | この起動コマンドではKVキャッシュの精度を指定していません。 |
| プリフィルのバッチサイズランタイム設定で確認 | llama.cppのbatch-sizeとubatch-sizeを、MLXの設定値としてそのまま使わないでください。 |
| 同時リクエスト数1 | 1件のリクエストの速度を測ります。複数リクエストを合わせた処理量とは分けて確認します。 |
| メモリの余裕2GB以上 | モデルの読み込み後に、実際のメモリ使用量とスワップの有無を確認します。 |
MBP M5 Pro 64GB 実行コマンド（LM Studio)
# lms ls에서 확인한 MLX 4비트 모델 식별자를 입력
MODEL_ID=""
lms ls
: "${MODEL_ID:?MLX 모델 식별자를 입력하세요}"
lms load "$MODEL_ID" --gpu=max --context-length=16384
lms server start --port 1234起動後の確認
- 01起動ログで、モデルの読み込み完了と実際のコンテキスト長を確認します。
- 02ウォームアップ後はリクエストを1件ずつ送ります。同じ長さの異なる入力を3つ使い、キャッシュを再利用しない初回の処理時間を記録します。
- 03同じ入力を繰り返した結果は、キャッシュ再利用の記録として分けます。初回入力の結果と混ぜないでください。
- 04プリフィルtok/s、デコードtok/s、ピークメモリをまとめて記録し、その後は一項目ずつ変更します。
変わる点と注意点
- コンテキスト長と同時リクエスト数を控えめにしているため、機器の最大処理量より低い結果になることがあります。
1つずつ調整
高速化の手順
複数の値を一括で変更すると原因を特定するのが難しいです。
- STEP 1
基準値を保存
初回入力とキャッシュ再利用を分け、それぞれ3回記録します。プリフィル、デコード、ピークメモリを一緒に比較します。
とき： エラーがある場合やメモリの余裕が2GB未満の場合は、次の段階へ進まないでください。
- STEP 2
プリフィルのチャンクサイズを調整
1,024 → 2,048 → 4,096の順に増やし、長い入力のTTFTとピークメモリを比べます。
とき： TTFTが短くならない場合やピークメモリが急増する場合は、直前の値へ戻します。
- STEP 3
KVキャッシュ調整
コンテキスト長を確保したいときだけ、同じ質問でQ8キャッシュとF16/BF16の基準値を比較します。
とき： 出力に差が出る場合や、必要なコンテキスト長をすでに確保できている場合は、標準の精度を維持します。
- STEP 4
MTP・投機的デコーディング
対応モデルだけで有効にし、コードと通常の文章を分けて、採用率と実際のデコードtok/sを測定します。
とき： 3回の中央値が基準値より良くならなければ、無効に戻します。
- STEP 5
コンテキスト拡張
実際に必要な長さまで段階的に2倍ずつ伸ばし、入力途中の情報を見つけられるかと、スワップの有無を確認します。
とき： 情報を探す精度が落ちたり、スワップ・メモリ圧縮が始まったりしたら、一段階短くします。
自分の機器の測定記録を送る
同じ条件で3回以上測定したJSONを読み込んでください。送信ボタンを押すまでは、このブラウザ内でのみ確認します。
受け付けるのは機器・モデル・実行条件と測定値だけです。プロンプト・回答・元のログ・ファイルパスは含めないでください。
記録ファイルがなければ、起動中のローカルサーバーと測定ツールで作成できます。Node.js 20以上が必要です。結果の自動送信は行いません。
内容を確認したユーザーの投稿記録です。このサイトが直接測定した結果とは区別しています。
設定の問題を報告
この設定でどこにつまずいたかを教えてください。報告を読めるのは管理者だけです。
報告する設定 · MBP M5 Pro 64GB · MiniCPM5-2B · バランス
公式Q4_K_Mファイルを正確に取得する
公式Q4ファイル名はMiniCPM5-2B-Q4_K_M.ggufです。下のコマンドはそのファイルだけをmodels/minicpm5-2bへ取得するため、同じリポジトリのF16版とQ8版の容量を避けられます。完了後、保存先とファイル名がコマンドどおりか確認してください。
hf download openbmb/MiniCPM5-2B-GGUF MiniCPM5-2B-Q4_K_M.gguf --local-dir ./models/minicpm5-2b
4,096トークンでローカル専用サーバーを起動する
新しいllama.cppをインストールし、リポジトリのルートで下のコマンドを実行します。--host 127.0.0.1は同じコンピューターからの接続だけに限定し、-c 4096は最初のテストを4,096トークンに固定します。これはモデル本来の上限である131,072トークンを意味しません。短い依頼が安定して完了してから、必要な文書長に合わせて段階的に増やします。
起動後、同じコンピューターのブラウザーでhttp://127.0.0.1:8080を開きます。-ngl 99はGPUへの配置を要求するため、起動ログでCUDAまたはMetal対応のビルドか確認してください。最初のリクエストにはファイル読み込みやカーネル準備が含まれ、遅くなることがあります。ウォームアップ後、同じ長さの異なる質問を三つ送り、プリフィルとデコードを別々に記録します。同じ質問だけを繰り返すと、キャッシュ再利用をモデル本来の性能と誤認しかねません。hfが見つからなければHugging Face CLIを先に導入し、llama-serverがなければllama.cppの実行ファイルのパスを確認してください。
llama-server -m ./models/minicpm5-2b/MiniCPM5-2B-Q4_K_M.gguf -ngl 99 -c 4096 --host 127.0.0.1 --port 8080
MLXは別のモデルと実行経路
Apple Siliconでは公式4ビット版openbmb/MiniCPM5-2B-MLXを選べます。これはGGUFではなく、llama-serverのモデルパスへ渡すものでもありません。MLX対応ランナーでそのモデルIDを使い、GGUFと比較するときはコンテキスト長とプロンプトを揃えます。形式とカーネルが異なるため、一方の実測速度をもう一方の実測値として扱わないでください。
DSparkには別のドラフトモデルが必要
MiniCPM5-2Bの公式案内には、別のMiniCPM5-2B-DSparkドラフトチェックポイントと対応するSGLang実行経路があります。これは本体に内蔵された一般的なMTP機能ではなく、Q4_K_M GGUFサーバーで名前だけを有効にする設定でもありません。まず通常実行を確認し、その後でDSparkチェックポイント、SGLangのバージョン、起動コマンドをまとめて合わせます。このサイトでは機器別のDSpark測定を確認するまで高速化率を適用しません。
変更履歴
サイトの説明を変更した記録です。インストール済みのエンジンやモデルのバージョンを自動で確認した結果ではありません。
MiniCPM5の実行レシピを追加
公式GGUFの起動コマンドとMLX配布版を区別して案内します。機器別の測定を確認するまでDSparkの高速化率は適用しません。