Gemma 4の12Bと26B-A4B、自分の機器ならどちらか

機械に警告灯が表示されたら、写真と取扱説明書の該当箇所を一緒に入力し、何の表示が見えるか、説明書がどの点検順を示すか尋ねられます。回答が画像で見える内容と文書の手順を区別しているか確認します。

まず説明書のテキストだけを送り、必要な手順を見つけるか確認します。次に写真を加え、アプリが画像入力をモデルへ渡すか試してください。製品群に画像・音声対応があっても、すべてのサイズ、変換ファイル、実行アプリの組み合わせが入力を扱えるとは限りません。テキストだけを受け取ったような回答なら入力経路を調べます。

12B denseモデルはtoken²計算にモデル全体の経路を使います。約26BのMoEではtokenごとに約4Bがactiveになります。この数値はそのtokenの計算規模であり、ファイル全体の容量ではありません。次のtokenで別の専門家が必要になることがあるため、runtime³は全重みにアクセスできる必要があります。

公式案内の12B元重み約24GBは、デスクトップ向けQ4変換ファイルの容量と同じではありません。保存精度とファイル形式が異なるためです。実ファイルの容量を確認し、実行時にはcontextに応じたKV cache⁴やruntime用の余裕も見込みます。

生の4bit重みだけと仮定する概算は、parameter数×4÷8です。10進GBでは12Bが6GB、26Bが13GBになりますが、実際のダウンロード容量や実行メモリではありません。block metadataやscale、異なる精度で保存される構成要素、vision入力、runtimeの容量は含まれません。

16GB級の機器は12B Q4を検討する出発点です。実際に読み込めるかはファイル、runtime、メモリを共有する他のプログラムによって変わります。短い説明書の抜粋と1件のリクエストから始め、普段使うブラウザーや文書アプリを開いた状態でも同じ質問を試してください。Macのunified memory⁵はCPU⁶、GPU⁷、OS、アプリで共有します。

同じ16GBでもディスクリートGPUのVRAM⁸とMacのunified memoryでは配分が異なります。PCではシステムRAM⁹は別ですが、画面表示や他のGPU処理がVRAMを使うことがあります。MacではCPUとGPUがunified memoryを共有します。モデルを替える前にruntimeの表示とログで不足しているメモリを確認してください。

24GB以上は26B-A4B Q4を比較する出発点です。同じ写真と説明書の箇所を両方の候補に送り、画像に見える表示と文書の点検手順をそれぞれ正しく示すか確認します。回答が長いことやモデル名が大きいことだけで優劣を決めず、必要な答えの基準を先に決めてください。

モデルファイルとアプリ、説明書の範囲、画像が入力されたか、各回答がどの根拠を見落としたかを記録します。一方の候補が画像を受け取れていなければ、モデルサイズの比較にはなりません。入力経路をそろえても12Bが重要な条件を繰り返し見落とし、実行環境にメモリの余裕がある場合に大きい候補を検討できます。

このモデルは写真と説明書から情報を探す補助ツールです。機械の診断や修理判断の代わりにはならないため、安全に関わる手順はメーカーの説明書と担当者の判断で確認してください。