MiniCPM5-2B Q4_K_M을 로컬에서 실행하는 안전한 시작점

MiniCPM5-2B는 2.51675648B 파라미터의 밀집형 모델이에요. 공식 배포에는 GGUF, Apple Silicon용 4비트 MLX³, GPTQ가 있지만, 먼저 MiniCPM5-2B-Q4_K_M.gguf와 llama.cpp의 llama-server를 조합해요. 파일 형식과 런타임⁴을 한 번에 바꾸지 않으면 문제 원인을 찾기 쉬워요.

저장소 전체 대신 Q4_K_M만 받으면 F16·Q8 파일을 중복 보관하지 않아도 돼요. 다운로드가 끝나면 파일 경로와 이름을 아래 서버 명령에 맞추세요. 서버 시작 로그에서 모델 적재와 요청 대기 상태를 확인한 뒤 질문을 보내요.

최신 llama.cpp에서 모델 경로를 지정하고 -c 4096으로 첫 문맥 크기를 제한해요. 이는 입력과 출력이 함께 쓰는 실행 설정이며 모델의 네이티브 문맥 상한 131,072토큰과는 달라요. 짧은 메모가 안정적으로 처리된 뒤 실제 문서 길이에 맞춰 늘려요.

--host 127.0.0.1은 같은 컴퓨터만 접속하게 해요. 서버가 listening 상태가 되면 그 컴퓨터의 브라우저에서 http://127.0.0.1:8080을 열어요. -ngl 99는 GPU⁵ 적재 요청이므로 CUDA⁶·Metal⁷ 빌드를 사용하고, 로그의 backend와 GPU에 배치된 레이어 수를 확인해요.

처음에는 모델 파일 읽기와 메모리 적재가 들어가므로 서버 준비 시간을 요청 응답과 따로 재요. 준비용 요청 한 번 뒤 회의 메모를 넣고, 최초 준비·첫 요청·이미 준비된 후속 답변을 구분해요. 같은 세션의 캐시 효과를 보려는지, 요청마다 새 프로세스를 시작하는지 조건도 기록해요.

속도 비교는 질문·입력 길이·출력 예산·backend를 고정해 같은 요청을 세 번 실행하고 중앙값을 남겨요. 프리필⁸은 입력을 읽고 디코드⁹는 답을 생성하는 구간이므로 분리해요. 답변의 정확성은 원문에 없는 결론이 있는지, 담당자와 마감일을 실제 메모에서 찾을 수 있는지 따로 대조해요.

Apple Silicon에서는 openbmb/MiniCPM5-2B-MLX 4비트 배포본을 선택할 수 있지만 GGUF 파일이 아니므로 llama-server에 그대로 지정하지 않아요. MLX 호환 실행기에서 모델 ID를 사용하고, 비교할 때 같은 메모와 질문·문맥 길이, backend를 기록해요. 형식과 커널이 달라 한 경로의 속도를 다른 경로의 측정으로 옮길 수 없어요.

DSpark는 전용 MiniCPM5-2B-DSpark 체크포인트¹⁰와 호환 SGLang 경로가 필요한 별도 배포예요. 기본 GGUF 서버와 기준 결과를 만든 뒤 체크포인트·엔진 버전·명령을 함께 맞춰 시험해요. 하드웨어별 검증 수치가 확인되지 않은 가속 배율은 적용하지 않아요.