まず読み込み

LFM3-1.7B:1.1GBのモデルでMacのエージェントを動かす

2Bが9Bの席に座る条件を見ます

LFM3-1.7Bは2B級6モデルのうちテキストを担当します。4ビットで1.1GBなのでMacでもスマホでも動き、128Kを埋めてもキャッシュは1.6GBです。ツール呼び出し1や長いタスクでは9B級と渡り合いますが、コーディングと知識はまだ不足しています。

実行条件と要点
  • 4ビットのファイルは1.1GBです。
  • 128Kを埋めてもKVキャッシュは1.6GBです。
  • ツール呼び出しと長いタスクで9B級と渡り合います。
  • コーディングと知識は9Bに劣ります。

2Bが9Bの席を狙う理由

Liquid AIが10月27日に公開したテキストモデルです。同じバックボーンから6つの2B級モデルが分かれ、このモデルがテキストを担当します。入力はテキスト、出力は回答とツール呼び出しです。

サイズを抑えた方法が要点です。24層のうち13層が直近の数トークン2だけを見る短い畳み込み、5層が256トークン窓のスライディングアテンション3、全体アテンションは6層だけです。長い文脈のコストが小さくなります。

学習は22Tトークンで、最後の3.5Tはエージェントの軌跡とツール呼び出しを増やした中間学習です。2B級なのにツール呼び出しの点が高い理由がここにあります。

1つのバックボーンから分かれた6モデル
モデルサイズ担当
LFM3-1.7B1.7Bテキストとツール呼び出し
LFM3-VL-2B1.9B画像・動画の理解
LFM3-Audio-2B2B音声認識・合成・対話
LFM3-Omni-2B2.2B見て聞いて話す
d1-2B, d1-Omni-2B2B判断向けに特化
小さなロボット装置がブラウザー・カレンダー・メッセージ画面につながる机
エージェントはモデルの大きさより、道具をどれだけ正確に呼べるかで決まります。2Bがそこで勝つ場合が出てきました。

ファイルとメモリから計算します

まずダウンロードするファイルを決めます。4ビットなら1GB強で、スマホやRaspberry Pi 5でも動きます。

コンテキストは256Kまで開いています。128Kを埋めるとKVキャッシュ4は1.6GBで、同じ条件でQwen3.5-4Bは4.3GB、MiniCPM5-2Bは5.6GBを使います。長い文脈で差が出ます。

重み1.1GBにキャッシュ1.6GBを足しても3GB未満です。8GBのMacでも余裕が残り、モデルを載せたまま別の作業ができます。

ダウンロードするファイル
ファイル名ファイルサイズ使う場面
Q4_K_M1.1GB最初に取る基本ファイル
Q8_01.85GB品質を少し上げたいとき
BF163.47GB変換や検証に使うとき
モデル重み、コンテキスト、ツール結果、OSの余裕を限られた棚に分けた様子
2Bでもメモリは要ります。重みよりコンテキストキャッシュの方が大きいことが多いです。

llama.cppで起動します

GGUF5を取得してllama-serverで開くとOpenAI形式のAPI6が生まれます。文脈は--ctx-sizeで決め、Macでは--n-gpu-layers 99で全体をGPU7に載せます。

取得して起動
hf download LiquidAI/LFM3-1.7B-GGUF LFM3-1.7B-Q4_K_M.gguf --local-dir ./lfm3

llama-server -m ./lfm3/LFM3-1.7B-Q4_K_M.gguf \
  --ctx-size 32768 --n-gpu-layers 99 --jinja \
  --temp 0.1 --top-k 50 --repeat-penalty 1.1 \
  --port 8080

サンプリングは対話とツール呼び出しでtemperature 0.1、top_k 50、繰り返しペナルティ1.1です。数学や科学はtemperature 1.0、top_p 0.95、top_k 20に切り替えます。

llama.cppでツール呼び出しを使うには--jinjaが必要です。モデル付属のチャットテンプレートがツール定義をプロンプト8に入れ、応答から呼び出しを取り出す部分もそのテンプレートに従います。メモリが足りなければ--n-gpu-layersを下げて一部だけ載せます。その分デコード9は遅くなるので、文脈を削るか層を削るかを先に決めます。

エージェントに繋ぎます

関数スキーマをtoolsで渡すとテンプレートがXML形式の呼び出しを作ります。結果はtoolメッセージで付け、スキーマは次のリクエストにも渡し続けます。

ツールが数千個あるならdefer_loadingで定義をプロンプトから外し、検索ツールが名前を返したときだけ入れます。256Kの文脈でも定義を全部載せるとすぐ埋まります。

後処理学習はHermes Agent、Pi、OpenClawのようなハーネスを想定して行われました。ハーネスが求めるツール結果の形に合わせてこそ、呼び出しが安定して続きます。

エージェント用ノートPCと別の機器にあるローカル推論サーバーが接続された机
ハーネスとモデルは分けられます。ノートPCが道具を呼び、重い計算は別の機材が担います。

Macで測った値

MacPawが実際のmacOS環境で65の日常タスクを比較しました。LFM3-1.7Bは成功率64%でQwen3.5-2Bの48%を上回り、タスクあたりのトークンは58%少なく、途中で止まった割合は1%未満で比較モデルは15%でした。

デバイス速度はllama.cppのQ4_0、32Kコンテキスト条件で比較モデルより1.8〜2.8倍速く、メモリ使用量も最小でした。スマホ2種、Raspberry Pi 5、M4 Max、Ryzen AIを含む測定です。

これらはメーカーと協力会社が公開した測定値です。手元で同じ数字を見るには量子化10と文脈を合わせる必要があり、ハーネスが違えば成功率も変わります。

どこが弱いか

エージェントのコーディングや複雑な多段推論には勧めません。モデルカードがそう明記しており、SWE-bench Verifiedは43.40でQwen3.5-9Bの51.20より低いです。

知識も狭いです。Humanity's Last Examはツールなしで7.17、検索を付けると13.90に上がります。知識は検索で補い、モデルは判断と呼び出しに使う構成が適します。

ライセンスはLFM Open License v1.0です。オープンソースライセンスではないため、商用利用の条件を確認してください。

左右にスクロールして各項目を比較できます。

モデルカードの比較
ベンチマークLFM3-1.7BLFM2.5-2.6BQwen3.5-9B
LiveClaw(エージェント)45.6014.7035.77
BFCL V4(ツール呼び出し)71.3955.8962.83
SWE-bench Verified43.4018.0051.20
AA-LCR(長い文脈)52.836.0062.00

用語の注釈

  1. ツール呼び出し — ファイル読み取り、検索、コマンド実行などの外部機能を、名前と引数でモデルが要求する形式です。実行の有無はエージェントランタイムと権限設定が決めます。

    本文に戻る
  2. トークン — モデルが入力や出力を分けて処理する単位です。

    本文に戻る
  3. Attention — 入力トークン間の関連度を計算し、各位置の情報を現在の表現に反映するニューラルネットワーク演算です。

    本文に戻る
  4. KVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。

    本文に戻る
  5. GGUF — モデル情報を格納するファイル形式で、llama.cpp系のツールで広く使われます。

    本文に戻る
  6. API — 別のコードからプログラムの機能を呼び出すための決められたインターフェースです。

    本文に戻る
  7. GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。

    本文に戻る
  8. プロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。

    本文に戻る
  9. トークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。

    本文に戻る
  10. 量子化 — モデルの重みや計算値を少ないビット数で表し、保存容量やメモリ使用量を減らす方法です。表現が粗くなるため、精度にも影響することがあります。

    本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか?
LFM3-1.7Bは2B級6モデルのうちテキストを担当します。4ビットで1.1GBなのでMacでもスマホでも動き、128Kを埋めてもキャッシュは1.6GBです。ツール呼び出しや長いタスクでは9B級と渡り合いますが、コーディングと知識はまだ不足しています。
必要なメモリはどのくらいですか?
重み1.1GBにキャッシュ1.6GBを足しても3GB未満です。8GBのMacでも余裕が残り、モデルを載せたまま別の作業ができます。
選ばないほうがよいのはどのような場合ですか?
エージェントのコーディングや複雑な多段推論には勧めません。モデルカードがそう明記しており、SWE-bench Verifiedは43.40でQwen3.5-9Bの51.20より低いです。
条件と出典はどこで確認できますか?
ライセンスはLFM Open License v1.0です。オープンソースライセンスではないため、商用利用の条件を確認してください。