LFM2.5-24B-A2B 로컬 LLM: 한국어 지원 24B MoE를 내 PC에서

LFM2.5-24B-A2B는 질문을 받아 답을 만드는 텍스트 추론 모델이에요. 이름의 24B는 모델이 들고 있는 전체 파라미터 수이고, A2B는 토큰 하나를 처리할 때 실제로 계산에 쓰는 활성 파라미터가 약 2B대라는 뜻이에요. 모델 카드는 활성 파라미터를 2.45B로 적어요. 40개 층 가운데 30개는 짧은 합성곱 블록, 10개는 일반 어텐션⁵을 쓰고, MoE 블록마다 64개 전문가 중 4개를 고르는 방식이에요.

이 구조가 실용적인 이유는 메모리와 속도가 따로 움직이기 때문이에요. 모델을 올리려면 24B에 해당하는 가중치 공간이 필요하지만, 토큰을 만드는 속도는 활성 2.45B의 계산량에 가까워요. 같은 24B 밀집 모델과 비교하면 같은 메모리에서 더 많은 토큰을 기대할 수 있고, 반대로 7B 모델처럼 가벼운 메모리로는 이 모델을 올릴 수 없어요. 두 숫자를 함께 봐야 하는 이유예요.

한국어를 지원하는 로컬 LLM⁶을 찾는다면 지원 언어 목록과 실제 한국어 품질을 나눠서 봐야 해요. 이 모델은 16개 언어 목록에 한국어를 넣었고, 무료 사용 범위도 함께 정해 두었어요.

모델 카드는 영어, 아랍어, 중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스페인어, 베트남어, 태국어, 인도네시아어, 힌디어, 러시아어, 폴란드어를 지원 언어로 적어요. 한국어가 목록에 있다는 점은 국내 사용자에게 중요해요. 다만 지원 언어 목록은 학습 데이터에 포함됐다는 뜻이고, 한국어 품질이 같은 24B 한국어 특화 모델과 같다는 보장은 아니에요.

공식 저장소는 같은 모델을 여러 형식으로 나눠 배포해요. Transformers·vLLM·SGLang용 원본 체크포인트⁷, 블록 단위 FP8⁸, GGUF, ONNX, Apple Silicon용 MLX 4비트가 있어요. llama.cpp나 Ollama로 실행하려면 GGUF를, M 시리즈 Mac에서 MLX 계열 도구를 쓴다면 MLX 4비트 파일을 골라요. 두 파일은 서로 바꿔 쓸 수 없어요.

파일 크기는 형식에 따라 크게 달라요. 4비트 계열은 원본보다 작지만, 양자화⁹ 방식에 따라 답변 품질과 속도가 함께 달라져요. 어떤 파일로 첫 실행을 했는지 메모해 두면 나중에 다른 형식과 비교할 때 조건을 맞출 수 있어요.

모델 카드는 같은 크기의 다른 MoE보다 최대 1.7배 빠르고, Apple M5 Max에서 184 tok/s, NVIDIA B300 한 장에서 출력 21K tok/s까지 나온다고 밝혀요. 이 숫자는 제작사가 정한 조건에서 잰 값이에요. 우리 장비의 속도로 읽으려면 같은 하드웨어인지, 어떤 양자화 파일을 썼는지, 문맥 길이가 얼마였는지, 생각 토큰이 출력에 포함됐는지를 먼저 맞춰야 해요.

추론 모델이라 같은 질문에도 생각 토큰이 먼저 나와요. 체감 대기 시간을 비교하려면 첫 답이 나오기까지 걸린 시간과 전체 완료 시간을 따로 재세요. 생각 토큰을 출력에 포함했는지에 따라 두 번째 숫자가 크게 달라져요.

모델 카드는 이 모델을 도구를 부르고 추론하는 기기를 위한 에이전트에 권하고, 지식이 많은 작업에는 권하지 않아요. 검색이나 웹 도구를 붙여 쓰라는 안내예요. 회의록 요약이나 사내 문서 검색처럼 근거 문서가 따로 있는 작업은 RAG¹⁰와 함께 쓸 때 제 역할을 해요.

공개 벤치마크는 제작사 블로그와 모델 카드에 함께 있어요. 같은 표에 나온 경쟁 모델 수치와 비교하려면 평가 조건이 같은지 확인하세요. 도구 호출¹¹ 벤치마크는 프롬프트¹²와 실행 환경에 따라 결과가 달라지므로, 내 업무 문장으로 직접 한 번 시험해 보는 편이 정확해요.

이 모델의 라이선스는 오픈소스 표준이 아니라 Liquid가 만든 LFM Open License v1.0이에요. 개인 사용과 연구는 자유롭게 할 수 있지만, 상업적 사용에는 조건이 붙어요. 연 매출이 1,000만 달러 미만이면 상업적으로 써도 되고, 이 기준을 넘으면 별도 허가가 필요해요. 라이선스는 이 기준선을 Threshold로 정의하고 상업적 사용 권한을 이 선을 넘지 않는 조건에 걸어 두고 있어요.