실행 프로그램과 확장
최종 업데이트
GGUF와 MLX 모델 형식, 무엇이 다른가
GGUF와 MLX는 파일뿐 아니라 실행 경로도 달라요
GGUF1는 모델 가중치와 설정을 담는 파일 형식이고, MLX2는 Apple Silicon에서 모델을 실행하는 프레임워크예요. 배포 페이지의 ‘MLX 모델’은 그 프레임워크에 맞춰 변환한 가중치와 설정을 뜻해요. 사용할 앱을 정하면 어떤 배포본을 내려받아야 하는지 고르기 쉬워요.
계약서 PDF에서 갱신일과 자동 연장 예외를 찾으려 모델을 내려받으면, 같은 이름 아래 GGUF 파일과 MLX용 폴더가 함께 있을 수 있어요. 실행 프로그램3은 가중치뿐 아니라 모델 구조와 토큰4화 방식도 이해해야 하므로, 파일을 고르기 전에 앱이 해당 배포본을 실제로 지원하는지 확인해요.
GGUF 컨테이너와 MLX 배포 경로를 구분해요
GGUF는 가중치와 메타데이터 등을 담는 GGML·llama.cpp 계열 컨테이너예요. 파일 확장자가 GGUF라고 모든 새 모델 구조를 자동으로 지원하는 것은 아니며, 런타임이 내부 구조와 필수 구성 요소를 이해해야 해요. 불러오기 오류가 나면 확장자뿐 아니라 해당 버전의 모델별 지원 조건을 확인해요.
MLX 배포본은 Apple Silicon의 MLX 생태계에서 쓰도록 모델 파일과 설정을 맞춰요. GGUF 컨테이너와 완전히 같은 범주의 확장자를 비교하는 것이 아니라, 서로 다른 실행 생태계용 배포 경로를 비교하는 셈이에요. 폴더 이름이나 확장자를 바꾸는 것만으로 변환되지는 않아요.
다운로드 전에 앱과 파일 구성을 확인해요
먼저 실제 앱의 설정이나 모델 추가 화면에서 사용 중인 런타임을 봐요. Windows·Linux에서 llama.cpp 앱을 쓸 계획이면 지원되는 GGUF가 자연스러운 선택이고, Mac의 MLX 기반 앱이라면 권장 MLX 배포본을 확인해요. Mac에서도 GGUF를 쓸 수 있으므로 운영체제만으로 결정하지 않아요.
GGUF가 여러 조각으로 나뉘었다면 필요한 파일을 모두 받고, MLX 폴더에는 설정·토크나이저·가중치가 갖춰졌는지 살펴요. 다운로드가 완료됐는지와 분할 묶음에 빠진 조각이 없는지 대조해요. 체크섬이 제공되면 파일과 확인하고, 비슷한 이름의 양자화5 파일을 섞지 않도록 다운로드 항목과 로컬 파일명을 하나씩 비교해요.
앱에 모델을 등록한 뒤 간단한 텍스트 질문과 계약서 입력을 차례로 시험해요. 파일 이름, 앱·런타임 버전, 선택 경로를 기록하면 어느 단계에서 오류가 생겼는지 좁히기 쉬워요.
양자화 표기와 실행 형식을 따로 비교해요
GGUF와 MLX 배포본 모두 여러 정밀도로 제공될 수 있어요. Q4나 4비트는 파일 형식이 아니라 양자화 표기예요. 같은 비트 수라도 압축 방식이 다를 수 있으므로 파일 크기·품질·속도까지 같다고 가정하지 않아요.
가능하면 같은 원본 모델과 비슷한 정밀도로 맞추고, 같은 계약서·질문·앱 입력을 사용해 첫 토큰 대기, 생성 시간, 메모리, 근거 정확성을 기록해요. 모델 이름과 tok/s만 비교하면 첫 응답, 생성, 양자화 차이 중 무엇이 영향을 줬는지 알기 어려워요.
채팅 템플릿은 역할과 지시가 입력에 들어가는 방식에 영향을 줘요. 두 배포본이 서로 다른 템플릿을 적용하면 입력창에 같은 문장을 넣어도 실제 모델 입력은 달라질 수 있어요. 런타임 비교가 목적이라면 템플릿을 확인하고, 맞출 수 없는 차이는 기록해요. 파일 읽기, 모델 구조 해석, 커널 선택과 메모리 배치까지 실행 경로에 포함되므로 형식 하나만의 효과라고 단정할 수 없어요.
텍스트 응답 뒤에 필요한 기능을 각각 시험해요
‘갱신일이 언제인가요?’에 답했다고 해서 PDF 처리와 모든 실행 기능이 확인된 것은 아니에요. 앱이 PDF에서 글을 추출해 모델에 전달하는지, 이미지 입력·도구 호출6·MTP7처럼 추가 지원이 필요한 기능이 동작하는지 따로 시험해요. 가중치에 관련 데이터가 있더라도 런타임이 구조나 기능을 지원하지 않을 수 있어요.
먼저 일반 텍스트 질문으로 모델이 열리고 응답하는지 확인한 뒤 필요한 기능을 하나씩 추가해요. 텍스트는 되지만 PDF 표를 읽지 못한다면 문서 추출이나 입력 형식이 원인일 수 있어요. 일반 질문부터 실패하면 모델 구조 지원과 파일 구성을 먼저 봐요. 분할 가중치를 모두 받았는지, 별도 인코더가 필요한지 등 오류가 난 단계와 로그를 확인하면 정상 파일까지 다시 받을 필요를 줄일 수 있어요.
계약서에서 필요한 근거를 찾는 결과로 결정해요
GGUF와 MLX 중 모든 장비에서 더 나은 형식은 없어요. 실제 앱이 안정적으로 여는지, 계약서 PDF에 필요한 기능이 그 조합에서 동작하는지 먼저 확인한 다음 같은 문서와 질문으로 품질, 첫 토큰 대기, 생성 시간, 메모리를 비교해요. 화면이나 로그에 선택된 런타임도 남겨요.
한 경로가 조금 느려도 표의 날짜와 예외를 정확히 찾고 다른 경로가 근거를 놓친다면, 현재 목적에는 먼저 작업을 끝낼 수 있는 구성이 더 적합해요. 문서 추출을 개선한 뒤 빠른 경로를 다시 시험할 수 있어요. 두 구성 모두 근거를 정확히 찾으면 대기, 메모리, 앱 사용 편의성을 기준으로 결정해요.
잘 작동하는 조합을 찾으면 파일과 앱·런타임 버전을 남겨 업데이트 후에도 같은 질문으로 비교해요. 선택 기준은 확장자나 파일 크기만이 아니라 모델을 열고 필요한 기능으로 문서를 정확히 처리하는지예요.
용어 각주
GGUF — 모델 정보를 담는 파일 형식으로 llama.cpp 계열 도구에서 널리 사용됩니다.
본문으로 돌아가기MLX — Apple이 개발하는 머신러닝 프레임워크로, Apple Silicon의 CPU와 GPU가 공유하는 메모리를 활용해 모델을 실행합니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기도구 호출 — 모델이 파일 읽기·검색·명령 실행 같은 외부 기능의 이름과 인자를 요청하는 형식입니다. 요청을 실제로 실행할지는 에이전트 런타임과 권한 설정이 결정합니다.
본문으로 돌아가기MTP — 한 번에 여러 미래 토큰을 예측하도록 학습하는 목표 또는 이를 수행하는 모델 구성입니다. 추측 디코딩에서는 이 예측을 후보 토큰으로 제안할 수 있습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- GGUF는 모델 가중치와 설정을 담는 파일 형식이고, MLX는 Apple Silicon에서 모델을 실행하는 프레임워크예요. 배포 페이지의 ‘MLX 모델’은 그 프레임워크에 맞춰 변환한 가중치와 설정을 뜻해요. 사용할 앱을 정하면 어떤 배포본을 내려받아야 하는지 고르기 쉬워요.
- 필요한 메모리는 어느 정도인가요?
- 가능하면 같은 원본 모델과 비슷한 정밀도로 맞추고, 같은 계약서·질문·앱 입력을 사용해 첫 토큰 대기, 생성 시간, 메모리, 근거 정확성을 기록해요. 모델 이름과 tok/s만 비교하면 첫 응답, 생성, 양자화 차이 중 무엇이 영향을 줬는지 알기 어려워요.