Laya-MLX: 맥에서 13ms로 선택을 끝내는 결정 모델

Laya-MLX는 문장을 만들지 않아요. 상태와 질문을 함께 넣고, 정해진 선택지마다 확률을 돌려줘요. 출력 토큰²이 0개인 이유가 여기에 있어요.

구조는 인코더와 결정 헤드로 나뉘어요. 양방향 인코더가 상태와 질문을 함께 읽고, 헤드가 확률을 계산해요. 토큰을 하나씩 이어 붙이는 과정이 없어서 지연이 짧아요.

생성 모델에 선택을 맡기면 답을 문장으로 받아 다시 파싱해야 해요. 형식이 어긋나면 재시도가 붙고, 그만큼 지연이 늘어나요. 확률을 직접 받으면 파싱 단계가 사라져요.

모델은 4억2,100만 파라미터와 3억2,200만 파라미터 두 계열이에요. 같은 맥에서 생성 모델을 돌리는 것에 비해 메모리 사용이 1GB 안쪽이에요.

선택은 이름 붙은 후보 중 어디에 속하는지 확률로 답해요. 점수는 정해진 등급에 걸릴 확률과 기대 점수를 내고, 참거짓은 명제가 맞을 확률 하나를 돌려줘요.

글을 쓰거나 여러 단계를 추론하는 일에는 맞지 않아요. 정해진 후보 중에서 고르거나, 정해진 등급에 점수를 매기는 일에 쓰는 도구예요.

패키지를 설치하고 모델을 불러온 뒤, 상태와 질문을 넘기면 돼요. 아래 예시는 문의 문장을 부서 셋 중 하나로 나누는 코드예요.

pip install laya-mlx

처음 불러올 때 체크포인트³를 내려받고, 그 다음부터는 로컬에서만 실행돼요. 파이썬 3.11 이상과 macOS 14 이상이 필요해요.

import laya_mlx as laya

agent = laya.load("aac6fef/laya-mlx")
result = agent.predict(
    "I was billed twice. Please refund the duplicate.",
    {"department": {
        "type": "choice",
        "instructions": "Who should handle this?",
        "criteria": ["billing", "technical", "sales"],
    }},
)
print(result["answers"]["department"])

GPU⁴ 대신 CPU⁵로도 돌릴 수 있어요. 백엔드만 바꾸면 같은 코드에서 두 방식을 오갈 수 있어요.

영어 입력만 다루면 421M 모델로 충분하고, 여러 언어가 섞이면 다국어 체크포인트가 빨라요. 문맥 한도가 각각 달라서 긴 지시문을 넣을 때는 이 값을 먼저 확인해야 해요.

미리 변환된 FP16⁶ 체크포인트가 공개되어 있어서, 원본 저장소에서 직접 변환하지 않아도 바로 불러올 수 있어요.

측정 환경은 M3 Max 40코어 GPU에 128GB 메모리예요. 시간에는 프롬프트⁷ 준비와 토큰화, 동기화된 추론, 보정, 결과 형식화가 모두 들어가고 모델을 읽는 시간은 빠져 있어요.

질문 길이와 개수가 달라지면 값도 달라져요. 표의 숫자는 짧은 질문 하나와 50개 묶음을 잰 것이라, 긴 지시문을 넣으면 지연이 늘어나요.

MLX로 옮긴 구현이 원본과 같은 선택을 하는지 63개 검증 질문으로 확인했어요. FP32⁸와 FP16 양쪽에서 63개가 모두 일치해서 378번 비교가 전부 통과했어요.

같은 호출을 100번 반복해도 결과가 유한하고 같았고, 메모리 사용이 늘지 않았어요. 이건 그 검증 질문들에 대한 결과라서 모든 질문에서 같다는 뜻은 아니에요.

게임 데모도 같은 검증에 쓰여요. 스네이크 한 판에서 2,400번의 이동을 처리했고, 안전 장치가 두 번 개입했으며 중간에 멈추지 않았어요.

속도보다 먼저 본 것이 이 일치 여부예요. 확률을 쓰는 곳에서는 1% 차이가 판단을 바꾸기 때문에, 옮긴 구현이 원본과 같은 답을 내는지가 시작점이에요.

HTTP 서버와 MCP⁹ 서버 진입점이 함께 들어 있어요. 앱에서 호출하거나 에이전트 도구로 노출할 때 별도 코드를 쓰지 않아도 돼요.

pip install 'laya-mlx[serve]'
laya-mlx-serve

랭체인이나 라마인덱스 같은 프레임워크에 붙이는 확장도 따로 있어요. 이미 쓰는 파이프라인¹⁰에 결정 단계만 바꿔 끼울 수 있어요.

여러 질문을 한 번에 보낼 때는 묶음 크기를 조절해요. 기본값은 16이고, 측정에 쓰인 50개 처리량¹¹은 64로 묶었을 때의 값이에요.

이 패키지는 원 제작사의 공식 배포가 아니라 MLX로 옮긴 독립 포트예요. 가중치와 질문 형식, 보정, 출력 스키마는 원본을 그대로 쓰지만, 지원 범위는 원본과 달라요.

CUDA¹²와 ONNX 실행, 학습은 들어 있지 않아요. 학습이 필요하면 원본 프로젝트를 써야 하고, 이 패키지는 추론과 변환만 담당해요.

원본 프로젝트의 어느 버전을 따라가는지 저장소에 기록되어 있어요. 그 기록을 보고 원본 문서와 대조하면, 어떤 기능이 아직 없는지 확인할 수 있어요.

측정은 macOS 27.2에서 이뤄졌고, 더 오래된 macOS에서는 같은 값이 나온다고 볼 수 없어요. 처음 쓸 때는 짧은 질문으로 지연을 직접 재 보는 편이 좋아요.