모델별 실행 레시피
최종 업데이트
Windows·Linux에서 Strata 설치하고 첫 질문 보내기
첫 설치는 모델을 고르고 다운로드가 끝날 때까지 기다린 다음 브라우저에서 확인해요.
Strata 0.1.43은 Windows·Linux PC에서 GPU1에 맞는 Qwen3.8-Flash-Next 실행 엔진을 준비하고 로컬 브라우저와 호환 앱에 답을 보내요. 설치 전 지원 GPU, RAM2 32GB 이상, 모델과 런타임3을 위한 디스크 약 80GB를 확인해요. 저장소를 받은 뒤 Windows는 START-HERE.bat, Linux는 ./setup.sh를 실행하고, http://127.0.0.1:8080에서 짧은 질문에 답이 오는지 봐요.
Strata 설치 프로그램은 PC에서 Qwen3.8-Flash-Next를 실행할 엔진과 모델 파일을 준비해요. 준비가 끝나면 로컬 서버가 브라우저나 호환 앱의 질문을 받아 모델의 답을 돌려줘요. 저장소의 시작 파일을 실행하고 모델을 고른 뒤 http://127.0.0.1:8080에서 첫 응답을 확인하면 돼요.
Windows와 Linux는 시작 파일이 다르지만 첫 준비 흐름은 비슷해요. 그래픽 드라이버, 모델 크기에 맞는 메모리, 다운로드를 끝낼 저장 공간을 확인한 다음 운영체제에 맞는 시작 파일을 실행해요. 설치 화면이 묻는 선택은 권장값에서 시작하고 실제 사용에 맞춰 조정할 수 있어요.
다운로드 전에 드라이버와 디스크 공간을 확인해요
Strata 0.1.43은 Windows 10/11 또는 Linux에서 동작해요. GPU는 NVIDIA RTX 20/30/40/50 시리즈나 문서에 나온 지원 Radeon 계열이 기준이에요. NVIDIA 드라이버는 580 이상을 권장하고, AMD는 Windows에서 최신 Adrenalin 드라이버, Linux에서 커널 amdgpu 드라이버를 사용해요. 내 카드의 모델명과 드라이버는 Windows 장치 관리자·AMD Software 또는 Linux 장치 정보에서 확인해요.
RAM은 모델 크기에 따라 다르며 32GB부터 검토할 수 있어요. 64GB면 문서의 모든 모델 크기를 실행할 수 있지만 큰 변형과 긴 문맥을 쓸 때는 다른 앱이 쓸 공간도 남겨야 해요. 저장장치는 모델 약 70GB, MTP4 약 6GB, 설정·이미지 관련 추가 공간을 고려해 약 80GB를 비워요. Linux AMD에서 setup이 ROCm5을 내려받으면 약 10GB가 더 필요해요. NVMe6 SSD7는 모델을 처음 읽고 시작하는 시간을 줄이는 데 도움이 돼요.
이 글에서는 Strata 0.1.43을 기준으로 설치해요. 아래 Git 명령은 비교 기준인 그 버전에 고정해 저장소를 받아요. Git 없이 설치한다면 같은 v0.1.43 릴리스 ZIP을 받아 압축을 풀어요. 이후 새 버전으로 옮기는 방법은 설치 방식별로 아래에 정리했어요. 새 설치라면 Linux NVIDIA 회귀를 수정한 0.1.43.1 ZIP을 선택해 아래 절차로 시작할 수 있어요.
git clone --depth 1 --branch v0.1.43 https://github.com/Niko1221/Strata.git
cd Strata
운영체제에 맞는 시작 파일을 실행해요
저장소 폴더 안에서 Windows는 START-HERE.bat을 두 번 클릭해요. Linux는 터미널에서 폴더로 이동한 뒤 ./setup.sh를 실행해요. Linux에서 실행 권한 오류가 나면 bash setup.sh로 시작할 수 있어요. 설치기는 필요한 Python 환경, GPU 엔진, 모델과 MTP 초안 계층을 준비해요.
NVIDIA PC에서 드라이버가 580보다 낮으면 안내된 드라이버를 먼저 업데이트해요. NVIDIA 준비 엔진이 맞지 않는 환경에서는 빌드 도구를 설치해 컴파일할 수 있지만 설치기가 진행 전에 안내해요. AMD Windows는 Adrenalin 드라이버와 번들 HIP8 엔진을 사용하고, Linux AMD는 ROCm 경로와 카드용 엔진 컴파일이 추가돼요.
설치 질문은 RAM과 GPU 여유에 맞춰 모델 크기와 문맥을 정해요. 기본 선택을 그대로 쓰면 설치가 이어지고, 이미지를 입력할 일이 없으면 vision 옵션을 끄면 GPU 메모리를 전문가 캐시에 남길 수 있어요. 긴 문맥은 KV 캐시9도 더 사용하므로 필요한 길이부터 시작해요.
START-HERE.bat./setup.sh다운로드와 첫 모델 적재가 끝날 때까지 기다려요
설치기는 약 70GB 모델과 실행 파일을 내려받아요. 첫 설치의 다운로드가 끊기면 Windows는 START-HERE.bat, Linux는 저장소 폴더의 ./setup.sh를 다시 실행해요. 설치기가 이미 받은 파일부터 이어서 진행해요. 모델을 처음 RAM과 GPU에 적재할 때는 PC가 1~3분 느려지거나 응답하지 않는 듯 보일 수 있어요. 진행 메시지가 바뀌는 동안 창을 닫지 말고 기다려요.
완료되면 브라우저가 열리거나 화면에 로컬 주소가 표시돼요. http://127.0.0.1:8080의 Chat에 짧은 질문을 입력하고 답이 화면에 나타나는지 확인해요. 서버 창에는 모델이 시작됐다는 메시지가 남고, 다음 실행은 이미 받은 파일을 다시 다운로드하지 않아요. 서버를 멈출 때는 실행 창을 닫아요.
위 명령으로 받은 0.1.43 고정 설치와 ZIP 설치는 새 릴리스 ZIP으로 옮겨요. 기존 Strata 폴더는 남겨두고 같은 상위 폴더에 새 ZIP을 풀어 START-HERE.bat 또는 ./setup.sh를 실행해요. 옆의 기존 Strata-data 폴더를 찾으면 큰 모델을 다시 받지 않아요. 설정 파일은 기존 Strata 폴더 안에 있으므로, 새 설치 화면에서 모델·문맥·작업 폴더를 다시 확인해요.
버전을 고정하지 않고 git clone으로 받은 브랜치 설치는 해당 폴더에서 Windows UPDATE.bat 또는 Linux ./update.sh로 갱신해요. 스크립트가 코드·엔진·패키지와 설정을 갱신하고 끝나면, START-HERE.bat 또는 ./setup.sh로 모델을 시작해요. 앞의 태그 고정 설치에서는 이 업데이트 스크립트의 git pull이 실패하므로 새 ZIP 경로를 사용해요.
첫 결과가 안 보이면 오류가 난 단계부터 확인해요
첫 다운로드가 끝나지 않으면 인터넷 연결과 남은 공간을 확인한 뒤 Windows START-HERE.bat 또는 Linux ./setup.sh를 다시 실행해요. 설치기가 이미 받은 파일부터 이어받아요. 브랜치 Git 설치를 갱신하는 경우에만 UPDATE.bat 또는 ./update.sh를 사용해요. NVIDIA 드라이버가 오래됐다는 안내는 드라이버를 업데이트하고 PC를 재시작한 뒤 시작 파일을 다시 열어요.
port 8080 is already in use가 나오면 Strata 서버 창이 이미 실행 중인지 먼저 확인해요. 다른 프로그램이 쓰는 포트라면 공식 설치 안내에서 포트 변경 방법을 확인하고 다른 포트로 시작해요. 서버는 실행됐는데 브라우저가 열리지 않으면 주소를 직접 입력해요.
모델 적재가 멈추거나 engine stopped unexpectedly가 보이면 PC를 재시작하고 브라우저·게임·편집기처럼 메모리를 쓰는 앱을 닫은 뒤 다시 시도해요. 그래도 멈추면 RAM·VRAM10 여유를 확인하고 Q2_0·IQ2_XS 같은 작은 모델이나 짧은 문맥을 선택해요. Linux AMD의 ROCm 설치나 컴파일에서 실패했다면 터미널의 마지막 오류와 선택된 GPU 아키텍처를 기록하고 AMD HIP 공식 문제 해결 안내를 확인해요.
첫 답변이 보이면 설치 흐름은 끝났어요. 답이 늦거나 중단되는지 보려면 Monitor의 GPU·CPU11·RAM 사용량을 함께 확인해요. 모델을 더 줄여야 하는지, 드라이버와 런타임이 맞는지, 다운로드가 완전했는지를 오류가 난 단계에 맞춰 살펴보면 다음 조치를 고르기 쉬워요.
Windows GGUF-mmap이 느리면 0.1.43을 확인해요
이 항목은 첫 설치보다 기존 Windows 저메모리 구성이 느릴 때 확인해요. GGUF12 shard를 mmap한 상태에서 NTFS 비버퍼 읽기를 하면 전문가 파일 읽기가 한 번에 하나씩 처리될 수 있었어요. Strata 0.1.43은 파일 tier가 비버퍼 읽기를 시작할 때 각 shard의 매핑 뷰를 닫아 전문가 파일을 다시 병렬로 읽어요.
업데이트 뒤에도 차이를 보려면 같은 GGUF 모델과 프롬프트13로 비교해요. 릴리스 예시는 RTX 5070·Ryzen 5 7600·RAM 64GB에서 IQ3_XXS를 읽었고, 전문가 22GiB를 RAM에 둔 짧은 프롬프트 디코드14는 13.3에서 18.2 tok/s, 12GiB 조건은 4.6에서 8.5 tok/s였어요. 이는 해당 Windows 구성에서 측정한 결과예요.
용어 각주
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기MTP — 한 번에 여러 미래 토큰을 예측하도록 학습하는 목표 또는 이를 수행하는 모델 구성입니다. 추측 디코딩에서는 이 예측을 후보 토큰으로 제안할 수 있습니다.
본문으로 돌아가기ROCm — AMD GPU에서 AI와 고성능 계산을 실행하는 소프트웨어 플랫폼입니다. 지원 여부는 GPU 모델뿐 아니라 운영체제·드라이버·프레임워크 버전의 조합으로 확인합니다.
본문으로 돌아가기NVMe — SSD가 PCI Express를 통해 통신할 때 사용하는 저장 장치용 프로토콜입니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기HIP — GPU용 C++ 코드를 여러 플랫폼으로 옮기는 데 쓰는 API와 실행 환경입니다. CUDA 코드 이식을 돕습니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기GGUF — 모델 정보를 담는 파일 형식으로 llama.cpp 계열 도구에서 널리 사용됩니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata 0.1.43은 Windows·Linux PC에서 GPU에 맞는 Qwen3.8-Flash-Next 실행 엔진을 준비하고 로컬 브라우저와 호환 앱에 답을 보내요. 설치 전 지원 GPU, RAM 32GB 이상, 모델과 런타임을 위한 디스크 약 80GB를 확인해요. 저장소를 받은 뒤 Windows는 START-HERE.bat, Linux는 ./setup.sh를 실행하고, http://127.0.0.1:8080에서 짧은 질문에 답이 오는지 봐요.
- 필요한 메모리는 어느 정도인가요?
- 설치 질문은 RAM과 GPU 여유에 맞춰 모델 크기와 문맥을 정해요. 기본 선택을 그대로 쓰면 설치가 이어지고, 이미지를 입력할 일이 없으면 vision 옵션을 끄면 GPU 메모리를 전문가 캐시에 남길 수 있어요. 긴 문맥은 KV 캐시도 더 사용하므로 필요한 길이부터 시작해요.