llmfit：自分のMacで動くモデルから絞り込みます

llmfitは実行中のマシンのCPU¹コア、メモリ、GPU²、VRAM³を読み取り、その構成で動くモデルと量子化⁴をスコア順に並べます。入力はスペック、出力は並べ替えた一覧です。

モデル名を知らなくてもよい点がこのツールの価値です。買う機種が決まっていない段階で「この機種で何が動くか」を先に確認できます。

判定は4軸に分かれます。メモリに載るか、どれくらい速いか、モデル自体の品質、コンテキストをどれだけ持てるかです。4つの値が1画面に並びます。

MacではHomebrewで入れます。UbuntuやWindowsでも同じツールが使えるため、Macとデスクトップを並べて比べるときに便利です。

引数なしで実行します。上部に検出したスペック、下部にスコア付きの一覧が並び、モデルを選んでEnterを押すと詳細が開きます。

検出がおかしいときはdoctorを使います。何を読んだかをそのまま表示するので、メモリの読み違いも原因を追いやすくなります。

搭載スコアはモデルが利用可能なメモリをどれだけ使うかを見ます。50〜80%の帯を最も良く評価し、きつすぎても余りすぎても下がります。ここが違えば他のスコアは意味を持たないため最初に見ます。

速度スコアはメモリ帯域を基準に推定します。同じモデルでも帯域が違えば値が変わるため、機種比較ではこの軸が重要です。

品質とコンテキストはモデル自体の性質なので、機種が変わっても大きくは変わりません。この2つはどのモデルを選ぶかを決めるときに見ます。

一覧の速度はあくまで推定です。llmfitはその推定に入れた値をinfoで公開します。前提が自分の環境と違えば数字も変わります。

実測はbenchです。すでに動いているランタイム⁵に接続し、トークン⁶生成速度と最初のトークンまでの時間を測ります。今使っている構成の実際の値が出ます。

両方を見ると推定がずれた点が見えます。その差がこのツールを使う理由です。推定だけで機種を選ぶと、実測で順位が逆転することがあります。

GGUF⁷、AWQ、GPTQ、EXL2をまとめて扱います。固定ビットを仮定せず、Q8_0からQ2_Kへ下げながらメモリに収まる最も高い品質を選びます。全体のコンテキストが収まらない場合は半分にして再調整します。

エキスパートモデルは有効パラメータで計算します。全体のパラメータで計算すると実際より重く出て、動くモデルを見落とします。

この差は大きなモデルで顕著です。全体が100GBを超えても、一度に使う部分が小さければノートPCでも動きます。

recommendに--jsonを付けるとスクリプトがそのまま扱える形で出ます。配備前の確認や表作りに向きます。

brew install AlexsJones/llmfit/llmfit
llmfit doctor
llmfit recommend --json

serveを起動するとHTTP API⁸が開きます。スペックとモデル一覧を取得できるので、ダッシュボードやパイプライン⁹に接続できます。

llmfit serve --host 0.0.0.0 --port 8787
curl -s localhost:8787/api/v1/system

benchに--shareを付けると測定値をリポジトリへ送れます。結果はまず手元に保存され、送る時点でだけ外に出ます。

同じ環境の人は次のリリースでその値を見ます。推定がチェック付きの実測値に変わり、最初から実測で始められます。

モデル一覧が増えても推定が一緒に良くなる構造です。測定が溜まる分だけ推定の空白が減ります。

llmfitはモデルを実行しません。ダウンロードと実行はOllamaやllama.cpp、MLX¹⁰などのランタイムが担います。benchも動いているものに接続する方式です。

速度を保証するわけでもありません。他のアプリがメモリを使ったりドライバが違えば値は変わります。同じ機種でも条件が同じでなければ同じ数字にはなりません。

実際に動かして測るツールもあります。Ollamaでモデルを取得して実行しますが、エキスパートモデルを通常モデルとして計算するためメモリを大きく見積もります。どちらが適切かは確認したい対象によります。

購入判断にはこの一覧を出発点にし、最後の確認はbenchで行うのが安全です。

llmfitが答えない最後の部分は「この環境で実際どれくらい出るか」です。一覧の速度はメモリ帯域から計算した値なので、同じ環境でも量子化ファイルやコンテキスト長が違えば実測とずれます。

このサイトは機種ごとにプリフィル¹¹、トークン生成、最初のトークンまでの時間を条件付きでまとめています。同じモデルを複数の機種で同じ条件のまま比べられます。llmfitで候補を絞り、絞った候補だけを実測値で確認する順番が速いです。

消費電力は計算しません。このサイトは機種ごとに最大電力と待機電力をメーカー基準で分けて書き、出典も残しています。電気料金の計算機では1日の使用時間と家庭の既存使用量を入れて、累進区分や夏・冬の料金まで反映した月額を出します。