로컬 LLM 실행 프로그램, 무엇부터 쓰면 될까요?

아직 로컬 답변을 받아보지 않았다면 Ollama나 LM Studio 안내부터 시작할 수 있어요. 이미 Mac에서 모델을 쓰고 있다면 oMLX·MTPLX가 현재 파일을 지원하는지 확인하고, Woof 전용 엔진 Husky처럼 특정 모델에 맞춘 실행 경로도 구분해요. 다른 모델의 최대 속도를 지금 모델의 가속 배수로 적용할 수는 없어요.

개인 PDF에서 갱신 날짜를 찾고 싶다면 먼저 파일을 열어 질문할 수 있는 앱이 필요해요. LM Studio는 화면에서 모델과 실행 상태를 살펴보며 채팅하기 쉽고, Ollama는 모델을 이름으로 관리하고 로컬 API를 연결하기 간단해요. 다만 PDF 텍스트 추출과 관련 문단 검색은 문서 앱이 제공하는 기능이므로 엔진 선택만으로 생기지는 않아요.

질문에 날짜와 예외를 넣고, 원본 문서에서 답의 근거를 확인해요. 앱이 근거 문단을 모델에 전달하고 위치를 남기는지 살펴봐야 해요. 이 단계가 빠지면 엔진 속도와 관계없이 답변에서 빠진 출처를 찾을 수 없어요.

다른 프로그램에서 같은 모델을 쓰려면 서버가 요청에 답하는지 확인하고, API 주소와 포트가 클라이언트 설정과 맞는지 대조해요. ‘OpenAI 호환’ 표시는 연결을 시작하는 단서예요. 클라이언트가 쓰려는 기능까지 지원하는지는 별도로 확인해요.

같은 Qwen 모델 이름이라도 파일 하나는 GGUF³, 다른 하나는 Apple Silicon용 MLX⁴ 변환본일 수 있어요. 둘 다 4비트라고 표시돼도 압축 방식과 남은 가중치가 같다는 뜻은 아니에요. 앱과 파일을 한 번에 바꾸면 결과가 달라졌을 때 원인을 찾기 어려우므로 모델 형식부터 확인해요.

Mac에서 MLX 경로를 쓰려면 oMLX와 MTPLX를 후보로 볼 수 있어요. oMLX는 모델 관리와 반복 입력 캐시가 필요한 경우, MTPLX는 지원 모델에 MTP⁵가 포함되고 생성 대기를 줄이는지 확인할 때 살펴봐요. 각 안내에서 현재 모델 형식과 지원 항목을 대조하고, 지금 앱으로 PDF 질문을 끝낼 수 있다면 시험하지 않을 엔진까지 미리 설치하지 않아도 돼요.

앱이 정해 주는 설정을 넘어 파일 별칭, 문맥 길이, GPU⁶ 적재 층, 동시 슬롯을 직접 관리하려면 llama.cpp 서버를 볼 수 있어요. 그 대신 앱이 맡던 모델 파일과 옵션 관리를 직접 해요. GGUF 파일 하나와 짧은 질문으로 응답부터 확인하고 이후 실제 PDF를 넣으면 단계별로 점검하기 쉬워요.

실행한 파일과 옵션을 기록하면 PDF가 들어왔을 때 메모리 부족인지 첫 토큰⁷ 지연인지 전체 생성 시간인지 비교할 수 있어요. GPU를 쓰려던 구성이라면 상태 화면이나 로그에서 실제 선택된 backend를 확인해요. 한쪽은 GPU, 다른 쪽은 CPU⁸로 돌았다면 엔진 이름만 비교한 결과로 보기 어려워요.

혼자 PDF를 읽을 때는 답변 하나의 시작과 완료 시간이 중요해요. 편집기와 문서 앱이 동시에 서버를 호출하면 한 요청이 끝날 때까지 다른 요청이 기다릴 수 있어요. 이때는 서버가 요청을 어떻게 관리하는지와 총 처리량⁹을 봐야 해요. vLLM과 SGLang은 여러 요청을 계속 제공할 필요가 있을 때 검토할 만하고, 개인 채팅만 한다면 기능이 많다는 이유로 복잡도를 늘릴 필요는 없어요.

여러 GPU를 쓴다면 가중치를 여러 장치에 나눌지, 모델 복제본을 각각 올려 요청을 나눌지 먼저 정해요. 런타임¹⁰과 연결 장비가 그 경로를 지원해야 하고 DGX Spark는 ARM64라 일반 PC용 설치 명령을 그대로 쓸 수 있다고 가정하지 않아요. 짧은 시작 예제는 연결 확인에 쓰고 큰 모델의 포맷과 분산 설정은 장비별 안내를 따라요.

현재 앱과 후보 앱에 같은 PDF, 질문, 출력 길이를 주고 가능하면 모델 파일과 양자화¹¹도 맞춰요. 최초 모델 로딩은 반복 대화 지연과 분리하고, 처음 여는 문서와 다시 여는 문서도 따로 기록해요. 첫 토큰까지와 답변 완료까지의 시간은 나누어 적고, 필요한 조항과 근거가 남았는지도 확인해야 같은 일을 비교한 셈이에요.

PDF 근거 질문, 짧은 채팅, 편집기 호출을 한 번에 바꾸지 않아요. 모델이 더 빨라도 근거가 빠지거나 도구 호출¹²이 안 되면 기존 일을 대신하지 못해요. 문서 채팅이면 LM Studio나 Ollama를 지원하는 앱, 다른 프로그램 연결이면 API 서버, 실행 설정 직접 제어면 llama.cpp, 계속 쌓이는 요청이면 vLLM·SGLang을 검토해요. 현재 구성이 필요한 일을 끝내고 있다면 그대로 유지하는 것도 선택이에요.