LFM3-1.7B: 1.1GB 모델로 맥에서 에이전트 돌리기

LFM3-1.7B는 Liquid AI가 10월 27일 공개한 텍스트 모델이에요. 같은 백본에서 텍스트·비전·오디오·옴니·결정 모델 여섯 개를 뽑았고, 그중 텍스트를 맡아요. 입력은 텍스트, 출력은 답변과 도구 호출이에요.

크기를 줄인 방식이 눈에 띄어요. 24층 가운데 13층은 짧은 합성곱(최근 몇 토큰²만 보는 층), 5층은 256토큰 창의 슬라이딩 어텐션³, 6층만 전역 어텐션이에요. 전역 어텐션을 4분의 1로 줄였으니 문맥이 길어질 때 드는 비용이 작아요.

학습은 22T 토큰이고, 마지막 3.5T는 에이전트 궤적과 도구 호출 비중을 높인 중간 학습이에요. 2B급인데 도구 호출 점수가 높게 나오는 이유가 여기 있어요.

내려받는 파일부터 정해요. 4비트면 1GB 남짓이라 폰이나 라즈베리파이에서도 돌아가요.

문맥은 256K까지 열려 있어요. 128K를 채우면 KV 캐시⁴가 1.6GB인데, 같은 조건에서 Qwen3.5-4B는 4.3GB, MiniCPM5-2B는 5.6GB를 써요. 문맥을 길게 쓰는 작업에서 차이가 커져요.

메모리는 가중치 1.1GB에 캐시 1.6GB를 더해 3GB 안쪽이에요. 8GB 맥에서도 여유가 남아서, 모델을 띄워 두고 다른 작업을 같이 해도 돼요.

GGUF⁵를 받아 llama-server로 열면 OpenAI 형식 API⁶가 생겨요. 문맥은 --ctx-size로 정하고, 맥에서는 --n-gpu-layers 99로 전체를 GPU⁷에 올려요.

hf download LiquidAI/LFM3-1.7B-GGUF LFM3-1.7B-Q4_K_M.gguf --local-dir ./lfm3

llama-server -m ./lfm3/LFM3-1.7B-Q4_K_M.gguf \
  --ctx-size 32768 --n-gpu-layers 99 --jinja \
  --temp 0.1 --top-k 50 --repeat-penalty 1.1 \
  --port 8080

샘플링은 대화와 도구 호출에서 temperature 0.1, top_k 50, 반복 페널티 1.1이에요. 수학이나 과학 문제는 temperature 1.0, top_p 0.95, top_k 20으로 갈아타요.

llama.cpp에서 도구 호출을 쓰려면 --jinja를 켜야 해요. 모델에 들어 있는 채팅 템플릿이 도구 정의를 프롬프트⁸에 넣고, 응답에서 호출을 꺼내는 것도 그 템플릿을 따라요. 메모리가 모자라면 --n-gpu-layers를 낮춰 일부만 올려요. 대신 디코드⁹가 느려지니, 문맥을 줄일지 레이어를 줄일지 먼저 정하세요.

도구 정의를 tools로 넘기면 템플릿이 XML 형식 호출을 만들어요. 결과는 tool 메시지로 붙이고, 스키마는 다음 요청에도 계속 넘겨야 해요.

도구가 수천 개면 defer_loading으로 정의를 프롬프트에서 빼고, 검색 도구가 이름을 돌려줄 때만 넣어요. 256K 문맥이라도 도구 정의를 다 실으면 금방 차요.

후처리 학습이 Hermes Agent, Pi, OpenClaw 같은 하네스를 염두에 두고 이뤄졌어요. 하네스가 요구하는 도구 결과 형식을 그대로 맞춰야 도구 호출이 안정적으로 이어져요.

MacPaw가 실제 macOS 환경에서 65개 일상 작업으로 비교했어요. LFM3-1.7B가 성공률 64%로 Qwen3.5-2B의 48%를 앞섰고, 작업당 토큰은 58% 적게 썼어요. 중간에 멈춘 비율은 1% 미만이었고, 비교 모델은 15%였어요.

기기 속도는 llama.cpp Q4_0, 32K 문맥 조건에서 비교 모델보다 1.8~2.8배 빨랐고 메모리도 가장 적게 썼어요. 폰 두 종과 라즈베리파이5, M4 Max, 라이젠 AI를 포함한 측정이에요.

이 값은 제조사와 협력사가 공개한 측정이에요. 내 맥에서 같은 숫자를 보려면 양자화¹⁰와 문맥을 맞춰야 하고, 하네스가 다르면 성공률도 달라져요.

에이전트 코딩과 복잡한 다단계 추론에는 권장하지 않아요. 모델 카드가 직접 그렇게 적고 있고, SWE-bench Verified 43.40은 Qwen3.5-9B의 51.20보다 낮아요.

지식도 좁아요. Humanity's Last Exam이 도구 없이 7.17인데 검색을 붙이면 13.90으로 올라가요. 지식은 검색으로 채우고 모델은 판단과 호출에 쓰는 구성이 맞아요.

라이선스는 LFM Open License v1.0이에요. 오픈소스 라이선스가 아니라서 상업적 사용 조건을 직접 확인해야 해요.