llmfit: 내 맥에서 돌아갈 모델부터 걸러요

llmfit은 지금 쓰는 기기의 CPU¹ 코어와 메모리, GPU²와 VRAM³을 읽어요. 그리고 그 구성에서 실제로 돌아갈 모델과 양자화⁴를 점수순으로 늘어놓아요. 입력은 사양이고 출력은 정렬된 목록이에요.

모델 이름을 몰라도 된다는 점이 이 도구의 값이에요. 사고 싶은 기기가 정해지지 않은 상태에서 "이 기기로 뭐가 되나"를 먼저 확인할 수 있어요.

판정은 네 축으로 나뉘어요. 메모리에 들어가는지, 얼마나 빠를지, 모델 자체의 품질, 문맥을 얼마나 담는지예요. 네 값을 한 화면에서 같이 보여줘요.

맥에서는 홈브루로 설치해요. 우분투와 윈도우도 같은 도구를 쓸 수 있어서, 맥과 데스크톱을 같이 비교할 때 유용해요.

설치한 뒤에는 인자 없이 실행해요. 화면 위쪽에 감지한 사양이, 아래쪽에 모델 목록이 점수와 함께 붙어요. 모델 하나를 고르고 Enter를 누르면 상세가 열려요.

감지가 이상하면 doctor를 써요. 어떤 값을 읽었는지 그대로 보여줘서, 메모리를 잘못 잡았을 때 원인을 찾기 쉬워요.

적재 점수는 모델이 가용 메모리를 얼마나 쓰는지를 봐요. 50~80% 구간을 가장 좋게 보고, 너무 빡빡하거나 반대로 남으면 점수가 내려가요. 이 값이 틀리면 나머지 점수는 의미가 없어서 가장 먼저 봐야 해요.

속도 점수는 메모리 대역폭⁵을 기준으로 추정해요. 같은 모델이라도 대역폭이 다르면 값이 갈리고, 그래서 기기별 비교에서 이 축이 중요해요.

품질과 문맥은 모델 자체의 성질이라 기기가 바뀌어도 크게 달라지지 않아요. 이 두 값은 어떤 모델을 고를지 정할 때 봐요.

목록에 나오는 속도는 어디까지나 예측이에요. llmfit은 그 예측에 어떤 값을 넣었는지 info로 공개해요. 전제가 내 기기와 다르면 숫자도 달라져요.

실측은 bench로 해요. 이미 돌고 있는 런타임⁶에 붙어 토큰⁷ 생성 속도와 첫 토큰까지 걸린 시간을 재요. 모델을 새로 받지 않아도 되니, 지금 쓰는 구성의 실제 값이 나와요.

두 값을 같이 보면 예측이 어긋난 지점이 보여요. 그 차이가 이 도구를 쓰는 이유예요. 예측만 믿고 기기를 사면 순위가 뒤집힐 수 있어요.

GGUF⁸, AWQ, GPTQ, EXL2를 같이 다뤄요. 그리고 고정된 비트를 가정하지 않고, Q8_0에서 Q2_K까지 내려가며 메모리에 들어가는 가장 높은 품질을 골라요. 전체 문맥이 안 들어가면 문맥을 절반으로 줄여 다시 맞춰 봐요.

전문가 모델은 활성 파라미터로 계산해요. 전체 파라미터로 계산하면 실제보다 무겁게 나와서, 돌아가는 모델을 놓치게 돼요.

이 차이는 큰 모델에서 크게 드러나요. 전체가 100GB를 넘어도 한 번에 쓰는 부분이 작으면 노트북에서도 돌아가요.

recommend에 --json을 붙이면 스크립트가 바로 먹는 형태로 나와요. 배포 전 점검이나 표 만들기에 쓰기 좋아요.

brew install AlexsJones/llmfit/llmfit
llmfit doctor
llmfit recommend --json

serve를 켜면 HTTP API⁹가 열려요. 사양과 모델 목록을 조회할 수 있어서 대시보드나 파이프라인¹⁰에 붙일 수 있어요.

llmfit serve --host 0.0.0.0 --port 8787
curl -s localhost:8787/api/v1/system

bench에 --share를 붙이면 측정값을 저장소로 보낼 수 있어요. 결과는 먼저 내 기기에 저장되고, 보내는 시점에만 밖으로 나가요.

같은 기기를 쓰는 사람은 다음 릴리스에서 그 값을 봐요. 추정 대신 체크 표시가 붙은 숫자로 바뀌어서, 처음부터 실측으로 시작할 수 있어요.

모델 목록이 늘어도 예측이 같이 좋아지는 구조예요. 측정이 쌓이는 만큼 추정의 빈칸이 줄어들어요.

llmfit은 모델을 실행하지 않아요. 다운로드와 실행은 Ollama나 llama.cpp, MLX¹¹ 같은 런타임이 맡아요. bench도 이미 돌고 있는 것에 붙는 방식이에요.

속도를 보장하지도 않아요. 다른 앱이 메모리를 쓰거나 드라이버가 다르면 값이 달라져요. 같은 기기라도 조건이 같아야 같은 숫자가 나와요.

실제로 돌려서 재는 도구도 있어요. 그런 도구는 Ollama로 모델을 받아 직접 실행해 재지만, 전문가 모델을 일반 모델처럼 계산해서 메모리를 크게 잡아요. 어느 쪽이 맞는지는 확인하려는 대상에 따라 갈려요.

구매 판단에는 이 목록을 출발점으로 쓰고, 마지막 확인은 bench로 하는 편이 안전해요.

llmfit이 답하지 않는 마지막 조각은 "이 기기에서 실제로 얼마나 나오나"예요. 목록의 속도는 메모리 대역폭에서 계산한 값이라, 같은 기기라도 양자화 파일과 문맥 길이가 다르면 실측과 갈려요.

이 사이트는 장비별로 프리필¹²과 토큰 생성, 첫 토큰까지 걸린 시간을 조건과 함께 모아 둬요. 같은 모델을 여러 기기에서 같은 조건으로 견줘 볼 수 있어요. llmfit으로 후보를 좁히고, 좁힌 후보만 실측값으로 확인하는 순서가 빠릅니다.

전력은 아예 계산하지 않아요. 이 사이트는 기기별 최대 전력과 대기 전력을 제조사 기준으로 나눠 적고 출처를 남겨요. 전기요금 계산기에서는 하루 사용 시간과 집의 기존 사용량을 넣어 누진 구간과 여름·겨울 요금까지 반영해 월 비용을 내요.