로컬 LLM 시작하기: 설치 방법과 내 PC에 맞는 모델 고르기

브라우저 체험에서 모델을 받은 뒤 짧은 질문을 입력해 보세요. 첫 다운로드에는 인터넷이 필요하고, 이후 계산은 지원되는 브라우저의 WebGPU에서 이뤄집니다. 현재 체험 모델은 Qwen 3.5 0.8B Q4입니다. 대형 모델의 능력을 대표하는 시험이 아니라, 로컬에서 답이 나오는 과정을 보는 출발점입니다.

예를 들어 '냉장고에 달걀과 대파가 있어. 만들 수 있는 저녁 메뉴 두 개를 세 문장으로 알려 줘'처럼 답을 판단할 수 있는 질문이 좋습니다. 최신 소식이나 정확한 전문 지식을 묻는 시험부터 시작하면 모델의 지식과 실행 성공 여부를 한꺼번에 판단하게 됩니다.

Windows라면 작업 관리자에서 시스템 메모리와 GPU의 전용 메모리를 확인하세요. 공유 GPU 메모리를 전용 VRAM처럼 더해서 생각하면 안 됩니다. 맥은 이 Mac에 관하여에서 칩과 메모리를 확인합니다. 통합 메모리는 CPU와 GPU가 함께 쓰므로 표시된 전부를 모델에 줄 수는 없습니다.

다운로드 크기는 시작점일 뿐입니다. 대화가 길어지면 앞의 내용을 기억할 공간이 늘고, 다른 앱도 메모리를 씁니다. 처음에는 짧은 대화 하나와 작은 모델 하나만 열어 보세요. 무엇을 줄였을 때 문제가 사라지는지 알아야 다음 선택도 쉬워집니다.

LM Studio는 모델을 검색하고 내려받아 대화창에서 사용하는 흐름이 자연스럽습니다. Ollama는 모델 이름과 명령어로 실행을 반복하거나 다른 프로그램에 연결할 때 편리합니다. 둘 다 설치해야 로컬 LLM이 되는 것은 아닙니다. 지금 편한 쪽 하나로 답변을 받아 보는 것이 먼저입니다.

앱을 설치한 뒤에는 앱에 맞는 모델 형식을 골라야 합니다. GGUF, MLX, 브라우저용 MLC 파일은 이름이 같은 모델이라도 서로 그대로 바꿔 넣는 파일이 아닙니다. 아래 설치 글에서는 프로그램 안에서 선택하는 순서부터 설명합니다.

짧은 문장 고치기, 이미 내용을 아는 글 요약하기, 조건이 있는 간단한 질문을 준비해 보세요. 답이 빠른지만 보지 말고 요청한 길이를 지키는지, 없는 내용을 덧붙이는지, 중요한 조건을 빠뜨리는지도 봅니다. 실제 쓸 질문을 남겨 두면 모델을 바꿨을 때 느낌에만 의존하지 않아도 됩니다.

첫 실행만 오래 걸렸다면 모델 로딩일 수 있습니다. 글이 시작되기 전까지 기다린다면 입력을 읽는 단계, 글은 시작됐는데 천천히 나온다면 생성 단계가 불편한 것입니다. 같은 '느림'이어도 해결해야 할 부분이 다릅니다.

작은 모델이 내 질문의 조건을 자주 놓친다면 더 큰 모델을 시험해 볼 이유가 생깁니다. 이미 답의 내용은 만족스러운데 기다림이 길다면 속도가 문제입니다. 문서 길이를 늘릴 때만 실패한다면 문맥 설정과 메모리를 살펴야 합니다. 이 세 가지를 나누면 '비싼 것을 사면 해결될까'라는 막연한 고민이 줄어듭니다.

속도 비교에서는 같은 모델과 같은 입력 길이를 두고 기기만 바꿔 보세요. 장비 선택 글은 예산과 확장성을 판단할 때, 실행 레시피는 이미 가진 장비를 더 잘 쓸 때 이어 읽으면 됩니다. 첫 질문이 잘 끝났다면 오늘은 거기까지여도 충분합니다.