실행 프로그램과 확장
최종 업데이트
VRAM 4GB에서도 35B 모델을? XeStrata의 Ornith·llm-jp 실행 조건
4GB VRAM은 특정 베타 양자화 파일의 최소 경로예요. 모델 가중치를 둘 시스템 RAM과 디스크 여유를 함께 맞춰야 실행을 시작할 수 있어요.
XeStrata의 4GB 표기는 Ornith-1.5 35B-A3B Q4_K_M과 llm-jp-4.1 32B-A3B Q4_K_M 같은 특정 베타 파일에 한정돼요. 두 파일은 각각 약 21.7GB와 21.5GB이며 시스템 RAM1은 약 30GB가 기준이에요. VRAM2 4GB로는 125B Qwen3.8이나 모든 양자화3를 실행할 수 없어요.
GPU4 메모리가 4GB여도 시스템 RAM을 함께 쓰는 XeStrata의 베타 MoE5 모델을 시험해볼 수 있어요. Ornith-1.5 35B-A3B와 일본어용 llm-jp-4.1 32B-A3B의 파일 크기·RAM 조건을 비교하고, 지원되는 파일을 선택해 첫 질문을 보내는 과정을 따라가요.
4GB 조건에 맞는 파일부터 고르기
XeStrata README는 beta 모델 표에 모델 다운로드 크기, RAM, 최소 VRAM을 따로 표시해요. 4GB라고 적힌 항목은 Ornith-1.5 35B-A3B Q4_K_M과 llm-jp-4.1 32B-A3B Q4_K_M이에요. 각 파일은 약 21.7GB와 21.5GB, RAM은 각각 약 30GB로 안내돼요.
Q4_K_M보다 작은 커뮤니티 재현 파일도 README에 있어요. GSQ-RCO-3BIT는 13GB·RAM 22GB·VRAM 4GB부터지만 MTP6 layer는 없어요. 기본 공식 Q4_K_M과는 파일 출처와 MTP 조건이 다르므로, 직접 비교하려면 그 차이를 기억해 두세요. 반대로 Q5_K_M은 파일 25.3GB·RAM 34GB·VRAM 6GB부터, Q6_K은 29.2GB·38GB·6GB부터, Q8은 37.8GB·46GB·6GB부터예요.
일본어 사용과 계열 실험 중 무엇이 우선인가요?
일본어 문서·대화가 목적이면 llm-jp-4.1 32B-A3B Q4_K_M부터 검토하세요. README는 21.5GB 파일, 약 30GB RAM, VRAM 4GB부터로 안내해요. BF167 파일은 64.3GB, RAM 73GB, VRAM 8GB부터라서 같은 4GB 구성에 들어가지 않아요.
Ornith-1.5 35B-A3B Q4_K_M도 같은 RAM·VRAM 기준으로 표기돼요. 더 큰 Q4 계열 파일은 4GB 항목으로 이어지지 않으므로, 모델을 바꾸기보다 같은 Q4_K_M부터 짧은 입력으로 실행 여부를 확인하는 편이 판단하기 쉬워요. 두 계열 모두 README에서 beta, text-only로 구분돼요.
다운로드 전에 PC 메모리와 설치 경로 확인하기
XeStrata의 배포판 설치 안내는 Ubuntu 26.04와 Fedora 44 패키지를 제공해요. 모델 파일은 약 22GB이므로 대상 드라이브에 여유 공간을 두고, 동시에 시스템 RAM 약 30GB가 사용 가능한지도 확인하세요. 사용 중인 다른 앱이 RAM을 차지하면 실제 여유량은 설치된 총 RAM보다 적어요.
이 표는 beta 경로예요. README에는 일부 저용량 카드 확인이 실제 카드 실행이 아니라 B70의 VRAM 한도와 XMX 경로를 제한한 점검이라고 적혀 있어요. 따라서 현재 가진 카드에서 4GB 실행이 재현됐다는 뜻으로 읽지 말고, 본인 환경에서 setup과 짧은 첫 생성을 확인하는 단계가 남아요.
설치 후 짧은 질문으로 메모리 여유 확인하기
배포판에 맞는 릴리스 패키지를 설치한 다음 xestrata --setup을 실행해요. GPU 검사 결과를 확인하고 Ornith 또는 llm-jp의 Q4_K_M을 골라요. 다운로드 전에 표시되는 RAM 권장치와 파일 크기가 위 표와 맞는지도 대조하세요.
xestrata --setup첫 생성은 짧은 일본어 질문이나 한두 문장 요약 요청으로 시작해요. 브라우저에서 http://127.0.0.1:8095를 열어 답변이 끝까지 도착하고 터미널에 메모리 오류가 남지 않으면 기본 실행을 확인한 상태예요. 같은 입력을 저장해 두면 양자화나 문맥 길이를 바꿨을 때 비교하기 편해요.
첫 오류가 RAM 부족인지 지원 경로인지 나눠 보기
xestrata --setup에서 GPU 라이브러리를 찾지 못하면 xestrata --check의 카드 이름과 gfx 코드, 설치된 배포판을 README의 지원표와 맞춰요. AMD는 해당 gfx 코드의 rocBLAS가 배포판에 포함돼야 해요. 패키지 설치가 끝났는데도 setup이 안 열리면 터미널의 첫 오류 줄과 ~/.local/state/xestrata 로그를 확인해요.
RAM이 부족하면 다른 앱을 닫고 다시 시도해요. 그래도 해결되지 않으면 같은 4GB 경로에 Q4_K_M보다 작은 파일이 있는지 README에서 확인해요. 없다면 RAM을 늘리거나 더 작은 모델을 고르는 편이 현실적이에요. Q4_K_M에 짧은 질문을 보내 답변이 끝까지 오는지 보면 상시 쓸 수 있을지 판단하기 쉬워요.
용어 각주
시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기MTP — 한 번에 여러 미래 토큰을 예측하도록 학습하는 목표 또는 이를 수행하는 모델 구성입니다. 추측 디코딩에서는 이 예측을 후보 토큰으로 제안할 수 있습니다.
본문으로 돌아가기BF16 — 모델 수치를 저장하고 계산하는 16비트 부동소수점 형식입니다. FP32와 같은 폭의 지수부를 써 넓은 값 범위를 표현합니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- XeStrata의 4GB 표기는 Ornith-1.5 35B-A3B Q4_K_M과 llm-jp-4.1 32B-A3B Q4_K_M 같은 특정 베타 파일에 한정돼요. 두 파일은 각각 약 21.7GB와 21.5GB이며 시스템 RAM은 약 30GB가 기준이에요. VRAM 4GB로는 125B Qwen3.8이나 모든 양자화를 실행할 수 없어요.
- 필요한 메모리는 어느 정도인가요?
- XeStrata README는 beta 모델 표에 모델 다운로드 크기, RAM, 최소 VRAM을 따로 표시해요. 4GB라고 적힌 항목은 Ornith-1.5 35B-A3B Q4_K_M과 llm-jp-4.1 32B-A3B Q4_K_M이에요. 각 파일은 약 21.7GB와 21.5GB, RAM은 각각 약 30GB로 안내돼요.