Ollama: 내 컴퓨터의 모델을 다른 앱에 연결할 때

이미 Ollama가 실행 중이면 서버를 또 시작하지 말고 그대로 사용해요. 처음이라면 공식 설치본으로 준비하고 작은 모델을 받아요. ollama list에서 정확한 태그를 확인하는데, 목록에 있는 모델과 메모리에 올라온 모델은 다른 상태예요.

아래 예제는 qwen3.5:0.8b로 짧은 JSON 응답을 받아 주소·포트·모델 선택을 확인해요. 다른 모델을 쓴다면 ollama list에 나온 태그를 pull과 요청 본문에 함께 넣어요. 응답이 돌아오면 연결은 확인된 것이지만, 편집기 도구 호출²이나 긴 문맥, 이미지 입력은 각각 별도로 시험해야 해요.

2026년 9월 25일 Ollama v0.40.0-rc0 릴리스 노트는 Apple Silicon에서 MLX³ runtime⁴이 지원하는 모델 아키텍처를 MLX로 자동 실행한다고 설명해요. 이는 지원 대상 아키텍처에 관한 내용이지 모든 모델과 태그가 MLX를 쓴다는 뜻은 아니에요. 릴리스는 시험 기간 동안 추가 모델을 검증하고 활성화하겠다고 밝혔으므로, 모델 목록에 있다는 것만으로 새 경로가 적용됐다고 보지 않아요.

안정판 0.35.0의 /v1/systemone과 같은 별도 기능과도 구분해요. RC에서 요청을 보낸 뒤 로그에서 선택된 runner/backend가 MLX인지 확인해요. ollama ps의 PROCESSOR는 CPU⁵와 GPU⁶에 모델이 얼마나 배치됐는지 보여줄 뿐 MLX backend 지표가 아니에요. 로그에서 경로를 구분할 수 없다면 속도 변화만으로 MLX가 선택됐다고 추론하지 않아요.

oMLX도 MLX 기반의 별도 Mac 앱·서버예요. 모델 받기, 변환본·태그, 캐시와 서버 설정이 Ollama와 다를 수 있어요. 두 실행기가 실제로 같은 변환본을 읽는지 확인하고, 다르면 파일과 양자화⁷ 차이를 비교 조건에 남겨요.

Mac 기종, macOS, 원본 모델 revision, 파일과 양자화를 정해 기록해요. 세 실행기가 같은 파일을 읽을 수 있다면 그대로 사용하고, 변환이 필요하면 변환본 출처와 양자화도 적어요. 프롬프트⁸·문맥 길이·생성 상한을 고정하고 안정판 Ollama, 0.40.0-rc0, oMLX를 각각 나눠 비교해요.

최초 로딩과 이미 올라온 모델의 요청을 섞지 않아요. 각 실행기에서 준비 실행 후 같은 입력을 적어도 세 번 보내고 첫 토큰⁹까지의 시간과 답변 생성 속도를 따로 기록해요. 한 요청의 지연과 여러 요청 처리량¹⁰도 다른 지표예요. RC가 빨랐다면 실제 선택된 backend 로그와 조건 차이가 원인을 뒷받침하는지 확인하고, 해당 조합의 결과를 일반 성능 배수로 확대하지 않아요.

연결이 안 되면 ollama --version, 서버 주소 127.0.0.1:11434, 모델 태그를 확인해요. 앱과 터미널이 서로 다른 서버를 보거나 클라우드 모델 이름을 넣었을 수 있어요. 짧은 /api/chat 요청도 실패한다면 MLX보다 서버와 요청 형식부터 해결해요.

특정 모델만 로드되지 않으면 정확한 태그와 실행기의 아키텍처 지원을 확인해요. RC의 MLX 경로는 시험 중이므로 안정판에서 되던 모델이 같은 runner로 동작한다고 가정하지 않아요. 로그의 MLX 초기화나 로드 오류와 Ollama 버전을 같이 기록해요. 파일 손상을 확인하기 전 ollama rm으로 다운로드 파일부터 삭제하지 않아요.

ollama ps의 CPU·GPU 적재와 backend 로그는 다른 정보예요. 메모리가 모자라 일부가 CPU에 남는 상황과 MLX 지원 아키텍처가 아니라 다른 경로를 쓰는 상황을 구분해요.

편집기에서 필요한 텍스트 요청과 현재 모델이 잘 작동하면 안정판 Ollama를 유지할 수 있어요. 0.40.0-rc0는 대상 모델이 MLX 지원 아키텍처이고 로그에서 자동 선택을 확인할 수 있으며 같은 작업에서 실제 차이가 있을 때 검토해요. oMLX와 비교할 때도 최대 속도보다 모델 지원 경로, 앱 연결, 장시간 서버 운영, 동시 요청과 메모리 사용을 봐요.

공식 릴리스와 API 안내에서 설치본, 지원 범위와 현재 버전을 확인해요. 각 실행기에서 선택된 runner, 최초 로딩인지 warm 요청인지, 반복 지연과 답변 품질을 기록하면 업데이트 뒤 다시 비교할 수 있어요. 측정된 특정 조합 외에 성능 배수를 일반화하지 않아요.

Ollama 0.40.1은 Windows에서 Clef 헤드를 읽을 때 2 GiB 경계를 넘는 읽기 문제를 수정했어요. 같은 릴리스에는 Windows의 모델 매니페스트에서 심볼릭 링크를 피하는 변경도 들어갔습니다. Windows에서 Clef를 실행하다 로딩 단계에서 멈췄다면 먼저 앱을 업데이트하고 다시 실행해보세요.

업데이트 뒤 새 터미널에서 ollama --version을 실행하고 0.40.1 이상인지 확인하세요. 2026년 10월 9일 기준 0.40.2는 사전 릴리스이므로 일반 설치는 안정 릴리스 0.40.1을 기준으로 안내해요. 모델 파일을 다시 지우기 전에 앱 버전과 첫 오류 메시지부터 확인하면 불필요한 재다운로드를 줄일 수 있어요.