메모리와 모델
최종 업데이트
Strata PC 메모리 가이드: RAM 32·48·64·96GB에서 모델 고르기
RAM에는 모델 가중치와 함께 운영체제, 문맥이 들어갈 여유도 남겨요.
Strata는 보통 전체 전문가를 RAM1에 두고 GPU2에 자주 쓰는 복사본을 캐시해요. resident 저RAM 모드에서는 GPU에 없는 전문가를 RAM에 복사하고, mmap 모드에서는 파일을 매핑해 필요한 전문가를 읽어요. RAM 32GB는 GPU 용량에 따라 Coder 또는 저RAM Q2_0·IQ2_XS, 48GB는 IQ2_XS·Q2_0, 64GB는 IQ2_XS와 더 큰 크기, 96GB 이상은 IQ3_S·UD-IQ4_XS가 후보예요. 운영체제와 앱을 위한 여유, 문맥의 KV 캐시3, CPU4와 NVMe5가 맡는 작업까지 함께 계산해요.
VRAM은 전문가 캐시, RAM은 CPU 계산 공간이에요
Strata는 Qwen3.8-Flash-Next의 일부 가중치를 GPU 메모리(VRAM6)에 올리고 나머지 전문가 계산을 시스템 RAM과 CPU에 분산해 모델을 실행해요. 기본 구성에서는 전체 전문가를 RAM에 두고 GPU는 자주 쓰이는 전문가의 복사본을 캐시해요. 토큰7마다 필요한 전문가가 GPU에 있으면 GPU가 계산하고, 없으면 CPU가 RAM의 전문가를 계산해 GPU 작업과 함께 진행해요.
GPU 용량이 커지면 더 많은 전문가를 VRAM 캐시에 담아 CPU가 계산할 몫을 줄일 수 있어요. 하지만 시스템 RAM은 운영체제, 브라우저 같은 앱, 문맥의 KV 캐시, 모델 적재에도 필요해요. Strata의 모델 선택표가 전문가 크기에 약 10GB를 더해 RAM을 추정하는 이유예요. 모델 파일 용량만 RAM과 비교하지 말고 다른 작업이 쓸 자리를 남겨요.
resident와 mmap은 RAM이 부족할 때 읽는 방식이 달라요
저RAM resident 모드는 GPU가 보관하는 전문가를 제외한 나머지를 시작할 때 RAM으로 복사해요. 답을 만드는 동안 파일에서 전문가를 읽지 않으며, RAM에 GPU 몫을 뺀 전문가와 약 4GB의 headroom을 확보하지 못하면 엔진이 이 변형을 선택하지 않아요. Strata 문서는 RAM 32GB와 VRAM 24GB 조합에서 Q2_0·IQ2_XS·Coder의 resident 실행을 예로 들어요.
mmap 모드는 전문가 파일을 메모리 주소에 매핑하고 필요한 부분을 읽어요. 운영체제가 파일 캐시에 둔 데이터를 RAM 부족 시 회수할 수 있지만, 작업 중 자주 필요한 전문가가 캐시에 없으면 SSD8에서 다시 읽어요. VRAM 12~16GB, RAM 32GB에서 Coder는 resident로 둘 수 있지만 IQ3_XXS처럼 RAM 여유를 넘는 모델은 mmap이 될 수 있어요. SSD를 많이 읽는 동안 응답이 느려지면 RAM이 감당할 수 있는 더 작은 모델로 바꾸거나 실행 중 다른 앱을 닫아요.
RAM 용량별로 실행 크기를 좁혀요
Strata의 RAM별 선택표는 모델 크기와 GPU 용량을 함께 고려한 시작 기준이에요. RAM 32·48·64·96GB에서 먼저 비교할 모델과 전문가 가중치 용량을 정리했어요.
| 시스템 RAM | 시작 모델 | 구성 메모 |
|---|---|---|
| 32 GB | Coder | 일반 GPU 구성의 시작점; VRAM 24GB면 Q2_0·IQ2_XS도 저RAM 모드 가능 |
| 48 GB | IQ2_XS 또는 Q2_0 | IQ2_XS는 균형형, Q2_0은 더 빠른 선택 |
| 64 GB | IQ2_XS; IQ3_XXS·IQ3_S도 가능 | IQ3_S는 다른 앱을 적게 열어요 |
| 96 GB+ | IQ3_S 또는 UD-IQ4_XS | UD-IQ4_XS는 RAM 약 80GB부터 전문가 전체를 RAM에 둘 수 있어요 |
표의 RAM별 추천은 시작 기준이에요. 기본 모델 적재에 OS와 다른 프로그램을 위한 약 10GB를 더하고, 32GB PC는 GPU 용량에 따라 저RAM 모드 선택이 달라져요. 문맥 길이와 앱을 켠 상태의 여유는 Monitor에서 확인해요.
문맥 캐시와 이미지 입력도 메모리를 사용해요
문맥 길이는 모델이 한 대화에서 다룰 수 있는 입력과 출력의 상한이에요. 대화를 길게 유지할수록 KV 캐시가 커져요. 64K 이상에서는 설정에 따라 캐시 일부를 RAM에 스트리밍하고 GPU에는 자주 읽는 부분만 둘 수 있어 RAM과 VRAM의 사용량이 달라져요. RAM이 부족하면 우선 문맥 길이를 줄이고, 짧은 질문과 긴 문서를 구분해 필요한 길이를 정해요.
이미지 입력을 켜면 비전 인코더가 VRAM을 추가로 사용해 전문가 캐시가 줄어들 수 있어요. 이미지 기능이 필요하지 않다면 설치 설정에서 끄고, 필요한 경우에는 다른 앱을 닫아 여유 공간을 만들어요. 저RAM 구성에서 모델 적재 후 응답이 중단되면 context와 image 설정을 한 번에 하나씩 낮춰 어느 공간이 부족한지 확인해요.
CPU와 NVMe SSD는 GPU 밖의 작업을 이어받아요
CPU는 GPU 캐시에 없는 전문가를 계산해요. AVX2를 지원하는 최근 데스크톱 CPU가 기본 조건이고, AVX-512를 지원하는 일부 CPU는 CPU 전문가 계산에 도움이 돼요. CPU와 RAM 대역폭이 GPU 밖 전문가 계산 속도에 영향을 주므로, 시스템 도구에서 RAM 채널 구성과 실제 메모리 속도를 함께 확인해요.
Strata는 SSD에 층별 임베딩 표를 두고 토큰마다 필요한 행을 읽어요. 이는 전문가 파일을 RAM에 resident로 복사하는 방식과 별개의 자료예요. NVMe SSD는 초기 모델 파일 적재와 PLE9 행 조회를 빠르게 해요. mmap 저RAM 모드에서 전문가도 SSD에서 자주 읽는다면 SSD 성능과 RAM 파일 캐시의 영향을 함께 받아요. 디스크 사용률이 계속 높고 출력이 느리면 더 작은 모델이나 resident 구성이 가능한 GPU·RAM 조합을 고려해요.
용어 각주
시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기NVMe — SSD가 PCI Express를 통해 통신할 때 사용하는 저장 장치용 프로토콜입니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata는 보통 전체 전문가를 RAM에 두고 GPU에 자주 쓰는 복사본을 캐시해요. resident 저RAM 모드에서는 GPU에 없는 전문가를 RAM에 복사하고, mmap 모드에서는 파일을 매핑해 필요한 전문가를 읽어요. RAM 32GB는 GPU 용량에 따라 Coder 또는 저RAM Q2_0·IQ2_XS, 48GB는 IQ2_XS·Q2_0, 64GB는 IQ2_XS와 더 큰 크기, 96GB 이상은 IQ3_S·UD-IQ4_XS가 후보예요. 운영체제와 앱을 위한 여유, 문맥의 KV 캐시, CPU와 NVMe가 맡는 작업까지 함께 계산해요.
- 필요한 메모리는 어느 정도인가요?
- Strata는 Qwen3.8-Flash-Next의 일부 가중치를 GPU 메모리(VRAM)에 올리고 나머지 전문가 계산을 시스템 RAM과 CPU에 분산해 모델을 실행해요. 기본 구성에서는 전체 전문가를 RAM에 두고 GPU는 자주 쓰이는 전문가의 복사본을 캐시해요. 토큰마다 필요한 전문가가 GPU에 있으면 GPU가 계산하고, 없으면 CPU가 RAM의 전문가를 계산해 GPU 작업과 함께 진행해요.