실행 프로그램과 확장
최종 업데이트
12GB GPU로 125B 모델을? Strata는 어떻게 실행할까?
GPU 메모리가 125B 모델 전체를 담지 못해도, Strata는 PC의 여러 부품에 실행 작업을 나눠요.
Strata는 Qwen3.8-Flash-Next를 실행해 브라우저나 호환 앱에 답변을 보내는 Windows·Linux용 로컬 런타임1이에요. GPU2에는 자주 쓰는 전문가를 캐시하고 RAM3·CPU4는 GPU에 없는 부분을 처리하며, SSD5는 선택한 모델과 PLE6 데이터를 읽는 데 쓰여요. RAM·GPU·운영체제에 맞는 구성을 고른 뒤 로컬 주소에서 첫 질문을 보내는 방법을 살펴봐요.
Strata는 Windows·Linux PC에서 Qwen3.8-Flash-Next를 실행하고, 텍스트 질문이나 선택한 이미지에 대한 답을 브라우저와 연결한 앱으로 돌려주는 로컬 런타임이에요. 기본 서버 주소는 내 PC 안에서만 접속하는 http://127.0.0.1:8080이에요.
모델 전체의 가중치가 GPU 한 장의 메모리보다 커도, Strata는 GPU·시스템 RAM·CPU와 저장장치에 역할을 나눠 실행해요. 각 부품의 몫을 알면 내 PC에서 어떤 구성이 현실적인지, 응답이 느린 구간이 어디인지 판단하기 쉬워져요.
125B 모델의 일부만 토큰마다 계산해요
Qwen3.8-Flash-Next의 언어 모델 코어는 약 125B 파라미터의 MoE7 구조예요. PLE 임베딩과 MTP8 구성까지 더한 전체 모델은 약 180B예요. 코어의 가중치를 여러 전문가(expert) 묶음으로 나누고 토큰9마다 필요한 일부를 선택하므로, 큰 모델을 실행하면서 매 토큰에는 일부 전문가만 계산해요.
Strata는 전문가를 GPU 메모리에 캐시해 자주 쓰는 부분을 빠르게 처리하고, GPU에 올라오지 않은 전문가의 계산은 CPU와 시스템 RAM이 맡도록 구성해요. 질문을 보내면 로컬 서버가 입력을 모델에 전달하고 생성한 답을 브라우저의 Chat이나 호환 앱에 돌려줘요. 텍스트만 쓰거나 이미지 입력을 켤 수 있지만, 실제 지원 범위는 GPU와 설치한 구성에 따라 달라요.
시작 전 기준은 지원 GPU의 VRAM10 12GB 이상, RAM 32GB 이상, 여유 디스크 약 80GB예요. 저장소는 Windows와 Linux를 안내하며 GPU별 지원 여부는 버전마다 바뀔 수 있어요. 현재 요구사항과 설치 경로는 Strata 저장소와 설치 안내에서 확인해요.
GPU·RAM·CPU·SSD는 서로 다른 몫을 맡아요
일반 실행에서는 시스템 RAM에 전문가 가중치를 두고 GPU 메모리에 자주 쓰는 전문가를 캐시해요. GPU에 없는 전문가를 계산할 때는 CPU가 참여해요. GPU 캐시가 커지면 더 많은 전문가 계산을 GPU에서 처리할 수 있지만, 모델의 전체 가중치와 실행 중 필요한 공간도 함께 고려해야 해요.
저RAM 모드는 GPU에 없는 전문가를 RAM이나 파일에서 가져올지 정해요. 남은 전문가 가중치가 RAM 여유에 들어가면 resident 방식이 시작할 때 그 부분을 RAM에 고정해요. 그래서 정상 응답 중에는 SSD에서 전문가를 읽지 않아요.
RAM이 부족하면 mmap 방식으로 파일을 매핑하고 GPU가 필요한 부분을 파일 캐시에서 읽어요. GPU 메모리가 작아 GPU에 없는 전문가를 자주 가져오는 구성에서는 답변 생성이 느려질 수 있어요. 설치 프로그램은 사용 가능한 RAM에 맞춰 방식을 고르고, START-HERE.bat --setup --low-ram on|off로 저RAM 설정을 바꿀 수 있어요.
PLE(per-layer embeddings)는 모델의 층마다 필요한 임베딩 표예요. Strata 구성에서는 이 자료를 SSD에 두고 필요한 데이터를 읽어 GPU·RAM의 가중치 공간을 아낄 수 있어요. 저장장치와 운영체제의 파일 캐시가 읽기에 영향을 주므로 NVMe11 SSD와 충분한 여유 공간이 도움이 돼요. 구성에 따라 PLE 파일 읽기와 GPU·CPU 계산이 함께 이뤄져요.
응답이 끝날 때까지는 Monitor에서 GPU·CPU·RAM 사용량을 함께 살펴봐요. RAM 여유가 거의 없고 디스크 읽기가 계속되면 메모리를 쓰는 다른 앱을 닫거나 작은 모델을 골라요. GPU 메모리 여유가 줄어 전문가 캐시가 작아지면 CPU가 맡는 계산이 늘 수 있어요. Strata가 사용하는 메모리 계층과 저RAM 모드는 기술 설명에 정리돼 있어요.
Linux에서 Intel Arc나 Radeon도 활용하고 싶다면 XeStrata 설치 조건을 살펴보세요. 사용할 GPU와 배포판을 맞춘 뒤 해당 설치 절차로 넘어가면 돼요.
RAM과 작업 언어에 맞춰 모델 변형을 골라요
모델 선택 화면에서는 RAM과 사용할 작업에 맞는 양자화12 크기를 고르면 돼요. Q2_0, IQ2_XS, IQ3_S는 전체 전문가를 보존하는 양자화 변형이고, Coder는 코드 작업에 맞춰 512개 전문가 가운데 256개를 남긴 변형이에요. 모델을 작게 만들면 필요한 파일과 메모리가 줄지만, Coder는 일반 대화나 일부 언어 작업에서 원본과 다른 결과를 낼 수 있어요.
Strata의 현재 모델 안내는 RAM 32GB에서 Coder, 48GB에서 IQ2_XS 또는 더 빠른 Q2_0, 64GB에서 IQ2_XS를 시작점으로 제시해요. 64GB면 더 큰 변형도 선택할 수 있지만 IQ3_S와 긴 문맥을 함께 쓰면 운영체제와 앱이 쓸 여유가 줄 수 있어요. 96GB 이상에서는 IQ3_S나 Unsloth UD-IQ4_XS를 검토할 수 있고, UD-Q4_K_XL은 실험용 구성이에요. 모델 파일 크기만 합산하지 말고 문맥의 KV 캐시13와 함께 켜 둘 앱까지 RAM 예산에 넣어요.
RAM 32GB와 VRAM 24GB를 함께 쓸 때는 Q2_0·IQ2_XS를 저RAM 모드로 실행하는 선택지가 있어요. VRAM 12~16GB와 RAM 32GB 조합이면 Coder부터 살펴보는 편이 현실적이에요. GPU에 없는 전문가를 SSD에서 자주 읽게 되는 구성은 NVMe에서도 느릴 수 있으니, 처리해야 할 작업 언어와 생성 대기 시간을 함께 고려해요.
한국어나 일본어 문서와 코드를 자주 다룬다면 전문가를 절반 덜어낸 Coder만으로 판단하지 말고, 같은 입력으로 Q2_0이나 IQ2_XS를 비교해요. Swift 1.5는 답변 전에 생각하는 시간을 줄이도록 조정한 변형으로, 토큰 생성 속도는 Q2_0 등과 비슷하면서 더 이른 답을 낼 수 있어요. 변형마다 결과와 라이선스가 다를 수 있으니 다운로드 페이지와 모델 선택 안내를 읽고 선택해요.
0.1.43.1에서는 adaptive overlap을 필요한 PC에서만 켜요
0.1.43.1부터 STRATA_ADAPT_OVERLAP은 모든 장비에서 기본으로 꺼져 있어요. 일부 Linux NVIDIA PC에서 0.1.43의 기본 설정이 디코드14를 늦췄기 때문이에요. STRATA_ADAPT_OVERLAP=1로 시험할 수 있으며, 시작 로그에서 상태를 확인하고 같은 모델·질문으로 켜기 전후를 비교해요. 아래의 0.1.43 결과는 당시 조건의 측정값으로 읽어주세요.
0.1.43의 GPU별 측정 결과를 살펴봐요
Strata 0.1.43은 2026년 10월 11일 공개됐어요. 아래 표는 NVIDIA·AMD·Intel 구성별로 입력 처리와 답변 생성에서 달라진 부분을 정리한 거예요.
| GPU·설정 | 모델·조건 | 0.1.43 변화 |
|---|---|---|
| Radeon AI PRO R9700 32GB · 16GB급 캐시 설정 | IQ3_XXS | 디코드 +21~38%; 프롬프트 4K +7.5%, 32K +15.6% |
| Radeon AI PRO R9700 · 실제 32GB 구성 | Q2_0 / IQ3_XXS | 디코드 +2~10% |
| Radeon AI PRO R9700 · 실제 32GB 구성 | IQ3_S | 디코드 +6~14%; 프롬프트 32K +17%, 64K +27% |
| RTX 5070 · Windows 기본값 | Q2_0 / IQ3_XXS | 기본 디코드 변화 없음 |
| Arc Pro B70 | IQ3_S · 128K 설정 | 디코드 +14~21%; 4K 프롬프트 8.5→3.3초, 16K 27.4→13.4초 |
R9700의 물리 VRAM은 32GB예요. ‘16GB급 캐시’ 행은 전문가 캐시를 16GB 카드 규모로 제한한 측정이에요. 이전 빌드와 번갈아 실행한 5쌍의 중앙값이며, Arc Pro B70 프롬프트15는 3쌍을 비교했어요.
Windows RTX 5070은 기본 설정에서 0.1.42와 같은 디코드 결과예요. NVIDIA용 두 가지 변경은 Windows에서 기본 적용되지 않아요. Linux NVIDIA에서는 adaptive tier 복사를 다음 디코드 창과 겹치고, PCIe 분담 비율을 자동 측정해 적용해요. 같은 변경을 Windows에서 선택하려면 STRATA_ADAPT_OVERLAP=1, STRATA_PCIE_AUTO_CANON=1처럼 별도 설정이 필요해요. Windows RTX 5070의 adaptive overlap은 Q2_0에서 2.6% 느려져 기본값에서 제외됐어요.
R9700은 캐시 용량과 양자화 조합에 따라 결과가 달라져요. 제한 캐시와 실제 32GB 캐시 행을 나눠 읽으면 GPU에 두는 전문가 수가 결과에 어떻게 반영되는지 볼 수 있어요. Arc Pro B70도 입력 처리 개선을 보였어요. 구체적인 숫자와 모델·문맥 조건은 표에 모았어요.
전체 수치와 측정 조건은 v0.1.43 릴리스 노트와 상세 측정 문서에 있어요.
설치 후 Monitor와 로컬 채팅에서 확인해요
새 설치에서는 Windows의 START-HERE.bat 또는 Linux 저장소 폴더의 ./setup.sh로 엔진과 모델을 준비해요.
버전 태그를 고정하지 않은 브랜치 Git 설치를 갱신할 때는 같은 Strata 폴더의 UPDATE.bat 또는 ./update.sh를 사용해요.
태그 고정 설치나 ZIP 설치는 새 릴리스 ZIP으로 옮겨요. 처음 실행할 때 RAM·VRAM에 맞는 모델과 문맥을 고르고, 이미지 입력을 쓰지 않는다면 vision을 꺼 GPU 메모리를 전문가 캐시에 남겨둬요. 단계별 파일 선택은 Windows·Linux 설치 가이드에 있어요.
설치가 끝나면 브라우저에서 http://127.0.0.1:8080을 열고 Chat에 짧은 질문을 보내요. 질문과 답변이 보이면 로컬 서버와 모델이 요청을 처리한 거예요. 호환 앱의 서버 주소는 http://127.0.0.1:8080/v1을 사용해요. 외부 앱에서도 사용할 경우 API 안내의 주소와 인증 설정을 따르고, 포트를 네트워크에 공개할 때는 로컬 전용 기본값을 그대로 둘 때와 접근 범위가 달라진다는 점을 확인해요.
첫 설치 다운로드가 끊겼다면 Windows START-HERE.bat 또는 Linux ./setup.sh를 다시 실행해요. 브랜치 Git 설치를 갱신하는 작업은 UPDATE.bat 또는 ./update.sh로 구분해요. 서버가 열리지 않으면 포트 8080을 다른 프로그램이 쓰는지 확인하고, 모델 적재나 응답이 중단되면 RAM·VRAM 여유와 선택한 모델·문맥 길이를 살펴봐요. 세부 증상은 공식 문제 해결 안내를 참고해요.
여러 Radeon을 묶는 Linux 서버 설정
여러 Radeon을 레이어 분할로 묶는 Linux --serve 설정은 서버용 고급 구성이에요. Strata 0.1.43에서는 gfx12 Radeon 3장 이상일 때 --pipeline-windows 2가 기본 적용돼요. 두 장 구성에서는 코드 생성이 3% 느려진 측정이 있어 기본값에서 꺼져 있고, 옵션으로 켤 수 있어요.
별도 측정에서는 R9700 네 장을 카드당 225W로 설정했어요. IQ3_S에서 짧은 이야기 +3.8%, 코드 +12.6%, 4K 문서 +18.7%였어요. 파이프라인16은 창마다 CPU로 전달하는 전문가 행 배치 크기17를 바꿔요. 계산 순서가 달라지면서 합산과 반올림 결과가 달라질 수 있어 일부 답은 직렬 실행과 조금 차이가 날 수 있어요. 구성과 성능 조건은 AMD HIP 가이드와 상세 측정 문서에 있어요.
코드와 모델 파일은 각 라이선스를 읽어요
Strata 저장소의 코드는 MIT License로 배포돼요. 모델 가중치는 별도 배포처의 이용 조건을 따르므로 Qwen 원본, Coder·Swift 1.5와 Unsloth 변형을 내려받기 전에 각 모델 카드의 라이선스를 확인해요. 도구의 코드 라이선스와 모델 파일의 사용·재배포 조건은 따로 확인해야 해요.
Strata 저장소와 모델의 라이선스 안내는 프로젝트 문서와 저장소 라이선스, 각 모델 배포 페이지에 있어요.
설치 순서가 필요하면 Windows·Linux 설치 가이드를, 양자화 크기와 RAM 선택을 더 비교하려면 모델 선택 가이드를 이어서 살펴봐요.
용어 각주
런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기MTP — 한 번에 여러 미래 토큰을 예측하도록 학습하는 목표 또는 이를 수행하는 모델 구성입니다. 추측 디코딩에서는 이 예측을 후보 토큰으로 제안할 수 있습니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기NVMe — SSD가 PCI Express를 통해 통신할 때 사용하는 저장 장치용 프로토콜입니다.
본문으로 돌아가기양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기파이프라인 — 입력부터 결과까지 이어지는 처리 단계의 묶음입니다. 각 단계에서 서로 다른 모델이나 도구를 사용할 수 있습니다.
본문으로 돌아가기배치 크기 — 한 번의 처리 묶음에 함께 넣는 입력 또는 요청의 수입니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata는 Qwen3.8-Flash-Next를 실행해 브라우저나 호환 앱에 답변을 보내는 Windows·Linux용 로컬 런타임이에요. GPU에는 자주 쓰는 전문가를 캐시하고 RAM·CPU는 GPU에 없는 부분을 처리하며, SSD는 선택한 모델과 PLE 데이터를 읽는 데 쓰여요. RAM·GPU·운영체제에 맞는 구성을 고른 뒤 로컬 주소에서 첫 질문을 보내는 방법을 살펴봐요.
- 필요한 메모리는 어느 정도인가요?
- 시작 전 기준은 지원 GPU의 VRAM 12GB 이상, RAM 32GB 이상, 여유 디스크 약 80GB예요. 저장소는 Windows와 Linux를 안내하며 GPU별 지원 여부는 버전마다 바뀔 수 있어요. 현재 요구사항과 설치 경로는 [Strata 저장소](https://github.com/Niko1221/Strata)와 [설치 안내](https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md)에서 확인해요.
- 조건과 출처는 어디서 확인하나요?
- 한국어나 일본어 문서와 코드를 자주 다룬다면 전문가를 절반 덜어낸 Coder만으로 판단하지 말고, 같은 입력으로 Q2_0이나 IQ2_XS를 비교해요. Swift 1.5는 답변 전에 생각하는 시간을 줄이도록 조정한 변형으로, 토큰 생성 속도는 Q2_0 등과 비슷하면서 더 이른 답을 낼 수 있어요. 변형마다 결과와 라이선스가 다를 수 있으니 다운로드 페이지와 [모델 선택 안내](https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md#pick-by-ram)를 읽고 선택해요.