LLMの量子化：Q4・Q8・FP16をどう選ぶか

モデルは重みという数値を使って入力を処理し、次のトークン⁴を計算します。量子化は、その数値を少ない段階で表して小さく保存する処理です。16ビットから4ビットにすると、数値自体のビット数は4分の1になります。実際のファイルには補助値、メタデータ、高精度で残す部分もあるため、ダウンロード容量を確認します。

重みの表現が変わると、同じPDFでも回答が変わることがあります。量子化で元の値を表す段階が減るためです。容量が減って実行できる利点と、仕事に必要な情報が回答に残るかを合わせて比べます。

まずアプリが読める形式に絞ります。llama.cpp系はGGUF⁵、MLX⁶実行ソフトはMLX変換版、AWQ・GPTQ対応サーバーは対応配布版を選びます。その形式内でQ4・Q8などの容量と回答を比べます。グループサイズ・補正値・混合精度が違うと同じ4ビットでも結果が変わります。

元のモデル、トークナイザー、チャットテンプレートも確認します。画像入力のエンコーダーやMTP⁷など追加部品が必要な機能は、その配布版に含まれている必要があります。容量が小さい理由と必要な機能の対応を合わせて調べると、ダウンロードのやり直しを減らせます。

Q8はVRAM⁸を超えて一部をシステムRAM⁹に置き、Q4はGPU¹⁰に全部収まる場合を考えます。Q4でオフロード¹¹が減ると、2つのメモリ間の転送時間も短くなります。同じ機器で量子化を変えたとき、体感が大きく変わる理由の1つです。

両方がGPUに収まる場合は、読むデータ量と量子化演算を処理するカーネルの効率が重要です。容量の比率ではなく、同じ入力のプリフィル¹²とデコード¹³を別々に記録します。元モデル、正確なファイル名、アプリのバージョン、メモリ配置、キャッシュ設定を残すと、差が出た組み合わせを再確認できます。

契約書の更新日と自動更新の例外を調べるなら、原文で正答と根拠を先に示しておきます。同じPDFと質問をQ4とQ8に送り、日付、適用対象、例外を照合します。重み表現の差を調べるには、文書アプリが抽出する入力も同じにします。

可能ならサンプリング設定とシードも合わせ、複数の質問で繰り返します。誤った根拠、抜けた条件、答えられなかった項目を分け、人の再確認時間を記録します。Q4で必要な回答が安定するなら今の構成で始められ、重要な誤りがQ8で繰り返し減るならメモリ追加を検討する根拠になります。

重みの量子化とKVキャッシュ¹⁴の精度は1つずつ変えます。大きなQ4モデルと小さなQ8モデルでは規模と構造も変わるため、それぞれの構成で作業を終える結果と時間を比べます。最小ファイルや最大ビット数より、作業が安定して終わる構成を選ぶことが目標です。