実行プログラムと拡張機能

GGUFとMLX、ダウンロードするモデル形式の選び方

モデル名は同じですが、一方はGGUFファイル、他方はMLXフォルダです。より小さいものを取得すればよいでしょうか？ダウンロード時間を短縮するには、ファイルよりも先に実行するアプリを決定する必要があります。この2つのデプロイメント方式は、同じ元データを異なる実行環境で使用するための選択です。

モデル名だけが正しいからといって開けるとは限りません

プログラムは重みだけでなく、モデル構造およびトークン化方式を理解しなければなりません。GGUFはllama.cppシリーズで広く使用されている配布形式です。重みおよびメタデータなどを含みますが、すべての新しい構造に対応する万能ファイルとは限りません。

MLX用のデプロイバージョンは、Apple Silicon向けのMLX実行環境に適したモデルおよび設定ファイルを使用します。厳密には、GGUFというコンテナとMLXという実行エコシステムを比較していることになります。ファイル拡張子を変更するだけでは、互いに変化しません。

同じオリジナルモデルがGGUFとMLX形式に変換され、異なる実行経路を経る図 — ファイルフォーマットは、単なる拡張子ではなく、量子化方式およびランタイム機能、利用可能な最適化パスを一緒に決定します。

まず、現在のアプリがどのパスを使用しているかを確認します

Windows・Linuxでllama.cppシリーズのアプリを使用する予定なら、サポートされているGGUFを検索するのが自然です。MacでMLXベースのアプリを使用する場合、そのアプリが推奨するMLXの配布版から確認します。MacでもGGUFパスを使用できるため、OSを一つに絶対に決めるとは限りません。

同じ画面のアプリが2つのパスを提供しても、実際のエンジンやサポートオプションは異なり得ます。ファイルサイズだけを見てはいけません。使用可能な機能とランタイムバージョンを確認してください。モデルを受け取っていない場合は、この確認により大きなファイルを再ダウンロードするのを減らすことができます。

高便携性のモデルファイルが複数のCPU・GPUアダプタに分散され、専用形式はユニファイドメモリチップに直接接続される図 — GGUFはさまざまなデバイスで簡単に開けるのに対し、MLXはApple Siliconの専用パスを活用できるという違いがあります。

Q4という精度の表示と、ファイル形式は別のもの

GGUFには複数の精度が含まれることができ、MLXの配布バージョンにもさまざまな量子化が存在します。同じ4ビットというだけでは、数字を減らしたという意味にはなりません。ファイルサイズおよび品質・実行速度についても完全に同じとは言えません。

比較する際には、同じ元のモデルと類似した精度、同じ入力長を保つようにしてください。異なるチャットテンプレートが結果を変える可能性があります。モデル名とtok/sの値だけを残すと、後の差の原因を特定するのは難しいです。

同じモデルファイルを読み込む2つのランタイムが、量子化、キャッシュおよびMTP機能を互いに異なるようにサポートする図 — 重みがファイルに存在しても、ランタイムが新しいアーキテクチャや特殊ヘッドを理解できない場合、その機能を使用することはできません。

テキストは動くのに、画像入力やMTPが使えないとき

変換版に追加された重みが欠落している可能性や、実行プログラムがその機能をまだ処理できない可能性があります。一般的な回答となるのは、そのパスの一つを確認したということです。ビジョン入力、ツール呼び出し、およびMTPについてはそれぞれのサポート範囲を確認する必要があります。

分割ファイルの場合には、必要なチャンクをすべて受信しなければならず、別途エンコーダーが求められる可能性もあります。最初はテキスト質問で正常な動作を確認したのち、機能を追加してください。問題を解決するために正常なファイルをすべて削除してから始めなければならないわけではありません。

長く使えるモデルファイルの選び方

常にどちらの形式が優れているという結論よりも、現在のアプリで安定して起動でき、必要な機能を使用できるかどうかが重要です。その条件を満たした後、通常の質問の結果と最初のトークン・デコード・メモリを比較します。

良い設定を確認したら、ファイルバージョンとアプリバージョンを記録しておいてください。アップデート後でも元に戻る基準ができます。モデルのダウンロード時間よりも、実際にドキュメントを整理したりコードを修正したりする時間が増えれば十分です。