메모리와 모델
최종 업데이트
로컬 LLM VRAM·통합 메모리 용량 계산 가이드
VRAM과 통합 메모리로 로컬 LLM에 필요한 여유를 계산해요
로컬 LLM1을 실행하면 프로그램이 모델을 컴퓨터 메모리에 올려 답을 계산해요. 전용 그래픽카드를 쓰는 PC에서는 GPU2의 VRAM3이 모델 계산에 쓰이고, Apple Silicon Mac에서는 CPU4와 GPU가 통합 메모리5를 함께 사용해요. 원하는 모델을 올린 뒤 평소 입력으로 대화를 이어갈 여유가 있는지 확인하는 방법을 설명해요.
모델 파일 외에도 실행 프로그램6은 계산 공간을 쓰고, 긴 입력과 후속 질문을 처리할 때 대화 상태를 저장하는 KV 캐시7도 늘어요. PC와 Mac의 메모리 구조를 살펴본 뒤 긴 글 요약을 예로 용량과 속도를 판단해볼게요.
같은 모델로 문서를 요약하고 추가 질문을 보내면서 메모리가 부족해지는 지점과 답변 속도를 함께 확인해요.
PC에서는 VRAM과 시스템 RAM이 나뉘어요
전용 그래픽카드가 있는 PC에는 VRAM과 시스템 RAM8이 따로 있어요. GPU가 계산하는 모델 가중치와 작업 공간은 GPU 메모리에, 운영체제와 브라우저·문서 앱은 주로 시스템 RAM에 놓여요. NVIDIA CUDA9 문서도 GPU 장치 메모리와 CPU가 쓰는 호스트 메모리를 구분해요.
시스템 RAM을 늘리면 운영체제·앱과 CPU에 배치한 모델이 쓸 공간이 생겨요. GPU에 올릴 부분은 그래픽카드의 VRAM 안에 들어가야 해요. 실행 앱이 모델 일부를 RAM에서 계산하는 기능을 제공하면, VRAM이 부족한 모델도 나눠 실행할 수 있어요.
Mac에서는 CPU와 GPU가 같은 메모리를 써요
Apple Silicon Mac의 CPU와 GPU는 같은 물리 메모리를 공유해요. 이 구조를 통합 메모리라고 해요. PC처럼 VRAM과 시스템 RAM을 더하지 않고, Mac에 표시된 통합 메모리를 하나의 공간으로 봐요. Apple Metal10 문서에서 CPU와 GPU가 시스템 메모리를 공유하는 구조를 설명해요.
32GB Mac에서는 macOS와 브라우저, 문서 앱이 사용한 뒤 남은 공간을 모델과 계산이 나눠 써요. 평소 앱을 켠 상태에서 모델을 불러오고 후속 질문까지 해보세요. 그때의 메모리 압력과 앱 반응을 보면 실생활에서 쓸 여유가 남는지 알 수 있어요.
좌우로 밀어 표 전체를 비교하세요.
| 구성 | GPU가 쓸 메모리 | CPU와 앱이 주로 쓰는 메모리 | 용량을 볼 때 |
|---|---|---|---|
| 전용 GPU PC | 그래픽카드 VRAM | 시스템 RAM | VRAM과 RAM을 따로 확인해요. |
| Apple Silicon Mac | CPU·GPU가 공유하는 통합 메모리 | 같은 통합 메모리 | 운영체제와 앱이 쓸 공간을 남겨요. |
모델 파일 외의 작업 공간도 계산해요
모델 파일에는 답을 만드는 가중치가 저장돼요. 실행 프로그램은 가중치를 올리고 입력을 읽거나 답을 만들 때 임시 작업 공간을 써요. 긴 글에 후속 질문을 보내면 대화 상태를 보관하는 KV 캐시도 필요해요. 그래서 가중치에 실행 공간과 대화 기록이 쓸 용량을 더해요.
설명용으로 20GB 모델 파일을 24GB VRAM에서 실행한다고 가정하면 산술상 4GB가 남아요. 이 공간을 실행 프로그램의 작업 영역과 KV 캐시가 나눠 써야 해요. 실제 메모리 점유는 파일 형식과 실행 방식에 따라 달라지므로, 이 계산은 대략적인 예산으로 보고 앱에서 적재 후 사용량을 확인해요.
| 항목 | 계산 | 다음 판단 |
|---|---|---|
| GPU VRAM | 24GB | 전용 메모리 총량 |
| 모델 파일 | −20GB | 가중치 공간의 기준 |
| 산술상 남는 양 | =4GB | 실행 공간과 KV 캐시가 함께 써요. |
| 실제 실행 | 사용 조건에 따라 확인 | 긴 입력과 후속 질문까지 시험해요. |
메모리 용량과 대역폭은 다른 질문에 답해요
용량은 모델과 계산 상태가 들어갈 자리가 충분한지 알려줘요. 대역폭은 GPU와 메모리 사이에서 데이터를 얼마나 빠르게 주고받는지를 나타내요. 용량이 넉넉해도 데이터 공급이 느리면 계산이 기다릴 수 있고, 대역폭이 높아도 모델이 들어갈 자리가 없으면 실행할 수 없어요. 먼저 작업이 가능한 용량을 고르고 그 안에서 대역폭과 연산 성능을 비교해요.
모델과 긴 입력, 후속 질문이 무리 없이 처리되는데 응답만 느리다면 메모리를 더 늘리는 것보다 속도 지표를 비교해요. 반대로 입력 중 메모리가 부족하거나 다른 앱을 닫아야 한다면 용량 여유가 우선이에요.
VRAM이 부족하면 RAM 오프로딩을 시험해요
일부 실행 프로그램은 모델 층 일부를 GPU VRAM에 두고 나머지를 시스템 RAM에서 계산할 수 있어요. VRAM에 다 들어가지 않는 모델을 실행하는 오프로딩11 방식이에요. 대신 CPU 계산과 메모리 사이의 데이터 이동이 더해져 답변이 느려질 수 있으므로, 적재 여부와 함께 요약 완료 시간도 확인해요.
실행 앱의 설정에서 GPU에 올릴 층 수나 메모리 배분 항목을 찾아요. 한 설정만 바꾼 뒤 같은 모델과 긴 글로 요약과 후속 질문을 끝내고 완료 시간을 비교해요. GPU에 더 올리면 RAM에서 계산하는 부분은 줄 수 있지만 VRAM이 모자라면 적재가 실패할 수 있어요. 설정 이름과 지원 범위는 앱마다 달라 도움말을 확인해요.
GPU 두 장에 모델을 나눠 실행해요
24GB 카드 두 장은 합계 48GB를 가지고 있어요. 모델 분할을 켜면 실행 프로그램이 가중치와 작업 공간을 각 카드에 배치해요. 카드 사이에 필요한 데이터를 주고받는 시간도 생기므로, 적재 후에는 같은 질문의 첫 답과 완료 시간을 한 장 구성과 비교하세요.
llama.cpp 서버 문서에는 GPU에 배치할 모델 층 수와 여러 GPU의 분할 모드가 나와 있어요. 한 모델을 나누는 방식과 GPU마다 별도 요청을 처리하는 방식은 달라요. 사용할 앱이 해당 런타임과 분할 옵션을 지원하는지 먼저 확인해요.
평소 작업으로 구매 전 메모리를 시험해요
모델 탐색기에서 모델과 양자화12 파일 크기를 보고, 실행 앱이 해당 파일을 지원하는지 확인해요. PC는 VRAM과 시스템 RAM을 따로 적고 Mac은 통합 메모리를 확인해요. 운영체제와 평소 함께 켜는 앱의 사용 공간도 남겨요. 양자화는 가중치를 더 적은 비트로 저장해 파일과 실행 메모리를 줄이는 방식이에요.
평소 처리할 글을 입력해 요약한 다음 후속 질문까지 보내요. Windows에서는 작업 관리자의 GPU 항목에서 전용 메모리를 보고, Mac에서는 활성 상태 보기의 메모리 탭에서 메모리 압력과 앱 사용량을 살펴봐요. Apple 안내에 따르면 메모리 압력은 여유 메모리와 스왑 상태 등을 함께 반영해요. 어느 단계에서 부족해지거나 앱이 느려지는지 적으면 현재 구성이 충분한지 알 수 있어요.
원하는 입력이 끝까지 처리되고 속도도 괜찮다면 현재 용량으로 시작해요. 긴 입력에서 부족해지면 양자화나 지원되는 오프로딩을 시험하고, 그래도 자주 중단되면 더 큰 메모리를 비교해요. 작업은 끝나지만 답이 느리다면 대역폭이나 연산 성능을 살펴봐요. 예상 속도는 계산기에서 비교하고 구매 전에는 사용할 앱과 입력으로 한 번 더 확인해요.
용어 각주
대규모 언어 모델 — 대규모 텍스트 데이터에서 언어 패턴을 학습해 문맥에 맞는 텍스트를 처리하고 생성하는 모델입니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기통합 메모리 — CPU와 GPU가 같은 물리 메모리 풀을 공유하는 구조입니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기Metal — Apple 기기에서 그래픽과 GPU 병렬 계산을 실행하는 저수준 기술입니다.
본문으로 돌아가기오프로딩 — 메모리가 부족할 때 모델 데이터 일부를 GPU 메모리에서 시스템 RAM이나 저장장치로 옮겨 처리하는 방식입니다. 데이터 이동이 추가됩니다.
본문으로 돌아가기양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- 로컬 LLM을 실행하면 프로그램이 모델을 컴퓨터 메모리에 올려 답을 계산해요. 전용 그래픽카드를 쓰는 PC에서는 GPU의 VRAM이 모델 계산에 쓰이고, Apple Silicon Mac에서는 CPU와 GPU가 통합 메모리를 함께 사용해요. 원하는 모델을 올린 뒤 평소 입력으로 대화를 이어갈 여유가 있는지 확인하는 방법을 설명해요.
- 필요한 메모리는 어느 정도인가요?
- 32GB Mac에서는 macOS와 브라우저, 문서 앱이 사용한 뒤 남은 공간을 모델과 계산이 나눠 써요. 평소 앱을 켠 상태에서 모델을 불러오고 후속 질문까지 해보세요. 그때의 메모리 압력과 앱 반응을 보면 실생활에서 쓸 여유가 남는지 알 수 있어요.