필요한 메모리는 어느 정도인가요?

Qwen3.6 같은 MoE 모델은 토큰을 만들 때마다 일부 전문가 가중치를 골라 계산해요. PolyStrata는 자주 쓰는 전문가를 GPU 메모리에 캐시하고, 나머지는 RAM에 둔 채 CPU로 계산해요. 이 덕분에 모델 파일이 8GB보다 커도 GPU와 시스템 메모리에 나눠 실행할 수 있죠.

실행 프로그램과 확장

최종 업데이트 2026-10-31

8GB GPU로 Qwen·Gemma를 빠르게? PolyStrata 설치와 두 GPU 활용법

폴리스트라타(PolyStrata)는 GPU와 CPU를 함께 써서 큰 MoE 모델을 내 PC에서 실행하는 도구예요.

8GB 그래픽카드와 RAM¹ 32GB를 갖춘 PC라면 Qwen3.6·Gemma 4 실행을 시도해 볼 수 있어요. 메모리에 맞는 모델 파일을 고른 뒤 설치하고, 브라우저에서 첫 질문을 보내 보세요.

실행 조건과 핵심 내용

8GB 노트북의 Qwen3.6 UD-Q3_K_M은 짧은 대화에서 94–100 tok/s를 기록했어요.
모델 파일은 SSD에 저장하고, GPU에 담지 못한 전문가 계산에는 시스템 RAM과 CPU를 함께 써요.
두 NVIDIA GPU는 Linux에서 모델 층을 나눠 실행해요. Windows 두 GPU 구성은 시험되지 않았어요.
설치 후 로컬 브라우저 채팅과 OpenAI 호환 앱 연결을 시작할 수 있어요.

GPU 메모리에 자주 쓰는 전문가를 남겨 둬요

Qwen3.6 같은 MoE² 모델은 토큰³을 만들 때마다 일부 전문가 가중치를 골라 계산해요. PolyStrata는 자주 쓰는 전문가를 GPU⁴ 메모리에 캐시하고, 나머지는 RAM에 둔 채 CPU⁵로 계산해요. 이 덕분에 모델 파일이 8GB보다 커도 GPU와 시스템 메모리에 나눠 실행할 수 있죠.

기존 Strata에서 쓰던 Qwen3.8-Flash-Next도 실행할 수 있어요. 이 모델에는 Strata 엔진을 그대로 쓰고, Qwen3.6·Ornith 1.5·Gemma 4·Tiel Coder·GLM 5.3 Flash에는 PolyStrata 전용 엔진을 써요. 설치한 모델은 서버를 켜 둔 상태에서 바꿀 수 있고, 로컬 채팅과 코딩 에이전트에 연결할 수 있어요.

나무색 따뜻한 실내 책상 위의 검은 타워형 PC, 화면이 비어 있는 모니터와 RAM 모듈 — 모델을 실행하는 PC에서 브라우저 채팅을 열어요.

8GB GPU를 쓴다면 시스템 RAM도 함께 준비해요

NVIDIA RTX 20 시리즈 이후의 8GB 이상 카드를 쓸 수 있고, 공개된 8GB 실행 구성은 RAM 32GB 노트북이에요. GPU에 들어가지 않는 모델을 RAM에 두기 때문에, 파일을 저장할 SSD⁶와 실행할 때 쓸 RAM이 모두 필요해요. Qwen3.6·Gemma 4·Ornith·Tiel Coder의 파일 크기와 메모리 요구량을 먼저 비교해 보세요.

8GB GPU와 함께 쓸 모델 파일과 RAM
모델	파일 크기	시스템 RAM
Qwen3.6-35B-A3B	13 / 17 / 23GB	17 / 21 / 27GB
Gemma 4 26B-A4B	11 / 13 / 17GB	15 / 18 / 21GB
Ornith 1.5	14 / 17 / 24GB	18 / 22 / 28GB
Tiel Coder 35B-A3B	14 / 17 / 23GB	18 / 21 / 27GB

8GB GPU 병용 시 설치 프로그램의 RAM 추정치 · 파일 크기와 RAM의 세 값은 각 행에서 왼쪽부터 같은 순서로 대응 · 이미지 입력은 저장 공간 약 1GB 추가

Qwen3.6의 중간 크기를 고르면 모델 파일은 약 17GB, 함께 쓸 RAM은 약 21GB예요. RAM 32GB PC에서 시작하더라도 다른 앱은 닫아 여유를 두세요. 긴 문서나 대화 기록을 넣을 계획이라면 문맥 길이도 낮게 시작해 조금씩 늘리는 편이 좋아요.

Windows에서는 NVIDIA 카드로 이 네 모델을 실행해요. Linux에서는 AMD 베타도 제공하며, RX 7600으로 시험한 모델은 Qwen3.6과 Ornith예요. AMD 베타는 엔진을 PC에서 직접 빌드해 사용해요. Qwen3.8-Flash-Next의 AMD 지원은 기존 Strata 실행 경로를 따라가요.

GLM 5.3 Flash를 고른다면 준비할 메모리도 크게 늘어요. 모델 파일은 79–114GB이고, 32GB GPU와 함께 쓸 RAM은 구성에 따라 약 60–96GB 이상이에요. 8GB 노트북에서는 위의 네 모델부터 선택하세요.

따뜻한 나무색 책상 위에 놓인 그래픽카드, RAM 모듈과 NVMe SSD — VRAM과 시스템 RAM은 모델 실행에서 서로 다른 몫을 맡아요.

같은 8GB 노트북에서 Qwen과 Gemma는 얼마나 빠를까요?

아래는 짧은 대화에서 답변이 생성되는 속도예요. 같은 모델도 양자화⁷ 파일을 바꾸면 속도가 달라져요. RTX 4070 Laptop과 RTX 5090의 결과를 파일별로 나눴어요.

Qwen3.6·Gemma 4의 파일별 토큰 생성 속도
모델·양자화	RTX 4070 Laptop 8GB	RTX 5090 32GB
Qwen3.6 · UD-Q2_K_XL	123–124 tok/s	450 tok/s
Qwen3.6 · UD-Q3_K_M	94–100 tok/s	394–395 tok/s
Qwen3.6 · UD-Q4_K_M	82–86 tok/s	363–401 tok/s
Gemma 4 · UD-Q2_K_XL	101–104 tok/s	327–340 tok/s
Gemma 4 · UD-Q3_K_M	92–93 tok/s	353–356 tok/s
Gemma 4 · UD-Q4_K_M	85 tok/s	335–346 tok/s

프로젝트 공개 측정 · 노트북: RTX 4070 Laptop 8GB / Core i7-14700HX / RAM 32GB · 워크스테이션: RTX 5090 32GB / Xeon Platinum 8470Q 25 vCPU / RAM 120GB · 짧은 대화의 토큰 생성 속도

8GB 노트북에서 Qwen3.6은 Q3 파일로 94–100 tok/s, Q4 파일로 82–86 tok/s를 기록했어요. 처음에는 Q3로 평소 쓰는 질문이나 코드 수정을 시도하고, 답변 품질이 아쉽다면 같은 요청을 Q4로 비교해 보세요. 속도를 더 높이거나 RAM 사용량을 줄여야 할 때는 Q2를 시험해 볼 수 있어요.

긴 문서 입력과 두 GPU의 효과도 비교해 봐요

긴 문서를 요약할 때는 입력을 읽는 속도도 중요해요. 아래 표에는 Qwen3.6·Gemma 4의 생성·입력 처리 속도를 모았어요. RTX 4070 Laptop·RTX 5090의 단일 GPU 결과와, Linux에서 RTX 3080 두 장으로 모델 층과 전문가 캐시를 나눈 layer split 결과를 함께 볼 수 있어요.

좌우로 밀어 표 전체를 비교하세요.

PolyStrata가 공개한 모델별 속도와 장비 조건
모델·설정	장비와 입력	생성	입력 처리
Qwen3.6 UD-Q3_K_M · 1 GPU	RTX 4070 Laptop 8GB, i7-14700HX, RAM 32GB · 짧은 대화	94–100 tok/s	30–32K 입력: 1,690 tok/s
Qwen3.6 UD-Q3_K_M · 1 GPU	RTX 5090 32GB, Xeon 8470Q 25 vCPU, RAM 120GB · 짧은 대화	394–395 tok/s	30–32K 입력: 6,350–6,550 tok/s
Qwen3.6 UD-Q3_K_M · 2× RTX 3080 10GB	Xeon 8255C · 입력 2,727토큰	2 GPU: 217–221 tok/s / 1 GPU: 165–177 tok/s	2 GPU: 3,425–3,562 tok/s / 1 GPU: 1,567–1,582 tok/s
Gemma 4 UD-Q3_K_M · 2× RTX 3080 10GB	Xeon 8255C · 입력 3,527토큰	2 GPU: 191–193 tok/s / 1 GPU: 182–187 tok/s	2 GPU: 3,540–3,590 tok/s / 1 GPU: 2,170 tok/s

RTX 3080 비교: 2×10GB·각 320W / Xeon Platinum 8255C / Linux / CUDA⁸ 12.4 / 2026-10-11 엔진 · 짧은 입력 뒤 256토큰 생성 · Qwen3.6은 각 구성 3회, Gemma 4는 각 2회 재시작 · 입력 처리는 캐시 없이 Qwen3.6 2,727토큰, Gemma 4 3,527토큰

자료: 모델별 README와 MULTI_GPU.md 공개 측정

같은 Qwen3.6 UD-Q3_K_M 파일에 30–32K 토큰을 입력했을 때, RTX 4070 Laptop 8GB는 1,690 tok/s, RTX 5090 32GB는 6,350–6,550 tok/s로 처리했어요. Linux의 RTX 3080 두 장 실험에서는 Qwen3.6의 생성·입력 처리 속도가 단일 카드보다 높았고, Gemma 4는 생성 속도 차이가 더 작았어요. Linux 데스크톱에 카드가 두 장 있다면 자주 쓰는 모델로 layer split을 시험해 볼 만해요.

열린 PC 케이스 안에 장착된 그래픽카드 두 장과 주변 부품 — 레이어 분할에서는 두 카드가 모델의 서로 다른 층을 계산해요.

설치 도구가 GPU와 모델 설정을 안내해요

GitHub가 열리지 않으면 개발자 백업⁹ 페이지에서 소스 ZIP을 받을 수 있어요. 백업 안내의 소스는 0.1.43.1-poly.2예요. ZIP을 내려받아 압축을 풀거나, 아래 Git 명령으로 같은 백업 저장소를 복제하세요.

Git을 쓸 때는 Git과 Git LFS를 먼저 설치해요. 백업 저장소는 source 브랜치에 있고, 일부 바이너리를 Git LFS로 보관해요. ZIP으로 받았다면 이 명령은 건너뛰어요.

Git LFS를 준비하고 개발자 백업 복제

git lfs install
git clone -b source https://huggingface.co/spaces/VecSzn/PolyStrata
cd PolyStrata

준비한 PolyStrata 폴더에서 운영체제에 맞는 설치 파일을 실행해요. Windows는 START-HERE.bat, Linux는 setup.sh예요.

Windows 설치 시작

START-HERE.bat

Linux 설치 시작

./setup.sh

설치 도구가 GPU를 확인하고 모델·양자화 크기·문맥 길이·이미지 입력 여부를 물어요. 추천값을 고르면 엔진과 모델을 준비해요. Qwen3.8-Flash-Next 파일은 약 70GB, 나머지는 대략 11–114GB라 저장 공간을 비워 둬요.

NVIDIA용 엔진을 직접 빌드할 때 Windows에는 Visual Studio 빌드 도구와 CUDA Toolkit이 필요해요. 미리 빌드된 엔진을 받을 수 없으면 설치 프로그램이 로컬 빌드에 필요한 도구 설치를 제안해요. Linux에서 직접 빌드할 때는 g++와 CUDA Toolkit을 준비해요.

Linux에서 NVIDIA GPU 두 장을 쓰려면 카드 번호를 확인하고 설치할 때 두 카드를 지정해요. 설정 도구가 선택을 저장하고 첫 카드를 주 GPU로 두며, layer split은 auto로 시작해요.

Linux에서 NVIDIA GPU 두 장 지정

nvidia-smi
./setup.sh --gpus 0,1

Linux에서 이미 설치한 CUDA 12.x 도구 모음을 쓰려면 아래 옵션을 지정해요. 두 RTX 3080의 공개 측정은 CUDA 12.4로 빌드한 엔진을 사용했어요. PolyStrata 전용 엔진의 두 GPU 실행은 Linux NVIDIA 구성에서 시험됐어요.

CUDA 12로 strata-poly 컴파일

./setup.sh --cuda 12

브라우저에서 첫 질문을 보내고 정상 응답을 확인해요

설치가 끝나면 터미널이나 배치 창을 열어 둔 채 모델이 준비되기를 기다려요. 처음에는 모델을 RAM에 읽고 GPU 메모리를 준비하므로 PC가 잠시 느려질 수 있어요. 모델을 모두 불러오면 창에 브라우저 주소가 표시돼요.

브라우저에서 http://127.0.0.1:8080을 열고 Chat 입력창에 ‘이 문장을 한 문장으로 요약해 줘: 오늘 회의는 오후 3시에 시작하고, 배포 여부는 QA 결과를 확인한 뒤 결정합니다.’라고 보내요. 화면에 요약 답변이 표시되고 서버 창이 종료되지 않았다면 로컬 채팅이 준비된 거예요.

OpenAI 호환 앱은 아래 URL을 서버 주소로 입력해 연결해요. PolyStrata를 실행 중인 같은 PC에서 사용할 수 있어요. Anthropic 호환 API¹⁰도 제공하므로, 그 방식을 쓸 때는 설치 문서의 해당 연결 설정을 따르세요.

OpenAI 호환 API 기본 URL

http://127.0.0.1:8080/v1

첫 오류는 모델 적재와 GPU 선택부터 살펴봐요

브라우저에 연결할 수 없으면 서버 창이 아직 모델을 불러오는 중인지 먼저 확인해요. 첫 모델 적재는 몇 분 걸릴 수 있어요. 창에 오류가 나온 경우 그대로 두고 마지막 오류 문장을 읽어요. 모델 파일 다운로드가 중간에 멈췄다면 운영체제에 맞는 설치 파일을 다시 실행해 이어받아요.

CUDA 컴파일 오류가 나면 설치 창의 마지막 오류에서 빠진 도구나 지원하지 않는 GPU가 있는지 확인해요. CUDA 12 Toolkit을 설치한 Linux NVIDIA PC라면 앞 절의 CUDA 12 옵션으로 다시 빌드할 수 있어요.

두 GPU가 보이지 않으면 GPU 목록의 카드 번호와 설치 단계에서 저장한 선택을 대조해요. 두 GPU 실행은 Linux NVIDIA 구성에서 시험됐어요.

용어 각주

시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기
MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기
SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기
양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기
CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기
백업 — 설정과 데이터를 파일로 저장해 두는 것입니다. 기기가 고장 나도 같은 설정으로 되돌릴 수 있습니다.
본문으로 돌아가기
API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: 8GB 그래픽카드와 RAM 32GB를 갖춘 PC라면 Qwen3.6·Gemma 4 실행을 시도해 볼 수 있어요. 메모리에 맞는 모델 파일을 고른 뒤 설치하고, 브라우저에서 첫 질문을 보내 보세요.
필요한 메모리는 어느 정도인가요?: Qwen3.6 같은 MoE 모델은 토큰을 만들 때마다 일부 전문가 가중치를 골라 계산해요. PolyStrata는 자주 쓰는 전문가를 GPU 메모리에 캐시하고, 나머지는 RAM에 둔 채 CPU로 계산해요. 이 덕분에 모델 파일이 8GB보다 커도 GPU와 시스템 메모리에 나눠 실행할 수 있죠.