실행 프로그램과 확장
로컬 LLM 첫 실행이 느릴 때, 장비 탓하기 전에 볼 다섯 가지
설치를 끝내고 첫 질문을 보냈는데 아무것도 나오지 않으면 장비 선택부터 잘못한 것 같습니다. 그러나 그 기다림에는 모델 파일을 준비하는 시간이 섞여 있을 수 있습니다. 무작정 설정을 올리기 전에 같은 짧은 질문을 다시 보내는 것부터 시작해보세요.
파일을 받는 중인지, 답을 만드는 중인지
처음 선택한 모델은 다운로드가 필요할 수 있고, 이미 받은 모델도 실행 메모리에 올리는 과정이 있습니다. 진행 표시와 로그에서 현재 단계를 먼저 확인하세요. 네트워크가 느려 파일을 기다리는 상황은 더 빠른 GPU를 달아도 해결되지 않습니다. 첫 요청 뒤 곧바로 보낸 두 번째 요청이 훨씬 빨라진다면 준비 비용이 섞였을 가능성을 살펴볼 수 있습니다. 다만 두 번째 결과만 남기면 매번 앱을 새로 켜는 사람의 경험과 달라집니다. 처음 켠 상태와 계속 켜둔 상태를 따로 적어두어야 내 사용 습관에 맞는 속도를 비교할 수 있습니다.
입력을 줄였을 때 달라지는지
대화 이력과 첨부 문서를 빼고 새로운 대화에서 짧게 물어보세요. 이때 빨라졌다면 처음의 문제가 답변을 쓰는 속도만은 아니었다는 단서가 됩니다. 필요한 것보다 큰 문맥 설정도 점검할 대상입니다. 최대 지원 길이는 언제나 켜야 하는 권장값이 아닙니다. 다만 무조건 줄이면 이전 대화나 문서가 잘릴 수 있으므로, 실제로 전달된 입력과 사용할 여유를 함께 확인해야 합니다. 짧은 질문이 잘된 뒤 문서를 조금씩 늘리면 어느 지점부터 기다림이 커지는지 알 수 있습니다. 설정을 여러 개 동시에 바꾸면 이 원인을 놓치기 쉽습니다.
모델을 올린 위치가 같은지
파일을 정상적으로 열었다고 GPU만으로 실행되는 것은 아닙니다. 전용 GPU 장비에서는 VRAM에 들어가지 않은 부분이 다른 경로에서 계산될 수 있습니다. 실행 프로그램의 모델 적재 표시를 확인하고, 필요한 경우 더 작은 파일로 같은 질문을 시험하세요. 이것은 작은 모델이 항상 좋다는 주장이 아니라 메모리 경계 때문에 느린지 구분하기 위한 진단입니다. 맥에서는 운영체제와 다른 앱이 쓰는 통합 메모리도 함께 봐야 합니다. 한 번 실행됐다는 표시와 평소 작업을 함께 켜도 안정적이라는 판단 사이에는 확인할 조건이 남아 있습니다.
두 번째 질문만 빠른 이유를 섞지 않습니다
모델이 이미 메모리에 남아 있는 효과와 입력의 공통 부분을 재사용하는 효과는 다릅니다. 반복 질문이 빨라졌다고 모두 같은 캐시 덕분이라고 결론 내리지 마세요. 앱을 계속 켜둔 채 새 문장을 보낼 때와 같은 긴 문장을 다시 보낼 때를 나눠보면 차이를 살펴볼 수 있습니다. 여러 번 시험할 때는 먼저 준비용 실행을 하고 그 사실도 기록하세요. 결과 중 가장 빠른 한 번만 고르는 것보다 비슷한 조건에서 반복해 범위를 보는 편이 낫습니다. 비교 대상 앱의 버전과 모델 파일 이름도 남겨야 업데이트 후 결과가 바뀌었을 때 원인을 찾기 쉽습니다.
답변이 끊겼다면 느린 것과 다른 문제입니다
문장이 중간에 끝나는 상황은 생성 속도보다 출력 상한, 종료 조건, 문맥 여유나 실행 오류를 먼저 살펴볼 일입니다. 상한을 늘릴 때는 더 오래 생성하고 메모리 조건도 달라질 수 있다는 점을 기억하세요. 반대로 답변이 짧게 끝났다고 상한을 모두 쓴 것은 아닙니다. 모델이 스스로 종료했을 수도 있습니다. 앱의 완료 이유나 로그가 있으면 함께 확인합니다. 결국 첫 시험의 목표는 가장 큰 숫자를 얻는 것이 아니라 짧은 질문 하나가 안정적으로 끝나는 기준을 만드는 것입니다. 그 기준이 생긴 뒤 필요한 문서와 출력 길이, 가속 옵션을 하나씩 더하면 됩니다.