16GB 그래픽카드로 Qwen3.8 27B를? ExLlamaV3·EXL3 선택법

16GB 카드의 기본 추천은 EXL3 2.5 bpw, 약 176K 문맥과 이미지 입력이에요. 2.0 bpw는 더 긴 229K 창을 제공하지만 표현 품질 선택이 달라져요.

MIA의 serving kit는 NVIDIA GPU¹ 12GB 이상, compute capability 7.5 이상에서 Qwen3.8-27B EXL3를 서빙해요. setup은 VRAM²을 읽어 bpw와 context, vision 가능 여부를 제안하고, 16GB 카드의 기본 추천은 2.5 bpw와 이미지 입력 176K예요. 24GB는 4.0 bpw와 이미지 262K가 기본 추천이고, 32GB 이상은 같은 메뉴를 보여 줘요. 실제 파일 크기와 계획 문맥은 profile planner가 출력해요.

EXL3는 저장 용량과 실행 정밀도를 함께 조절해요

ExLlamaV3는 NVIDIA GPU에서 모델을 실행하는 inference³ engine이고, EXL3의 bpw는 가중치 저장에 쓰는 평균 bits per weight를 나타내요. bpw를 낮추면 파일과 가중치 메모리가 줄어 더 긴 context를 배정할 수 있지만, 모델 표현은 원본 BF16⁴에서 더 멀어져요. VRAM 용량, 입력 길이, 이미지 사용 여부를 한 프로필 안에서 같이 결정해야 해요.

이 kit는 12GB 이상, compute capability 7.5 이상과 NVIDIA driver 570 이상을 요구해요. Python 3.11 이상을 준비하고, Windows와 Linux 경로에 맞춰 설치 프로그램을 실행해요. CUDA⁵ Toolkit이나 시스템 Python에 패키지를 따로 설치할 필요는 없어요.

코드처럼 보이는 줄이 표시된 큰 모니터와 데스크톱 타워, 노트북이 놓인 책상 — bpw, context와 이미지 사용을 VRAM 프로필에서 함께 선택해요.

VRAM별 기본 프로필과 실제 한도를 비교해요

프로필 메뉴는 driver 여유분을 뺀 뒤 가능한 조합을 계산해요. 16GB에서는 3.5 bpw가 text-only 78K, 3.0 bpw가 이미지 118K, 2.5 bpw가 이미지 176K, 2.0 bpw가 이미지 229K예요. 기본 프로필은 이미지 지원과 최소 문맥 조건까지 고려해 골라요.

공식 profile planner의 VRAM별 권장 조합
카드 VRAM	bpw	context·이미지
12GB	2.0	33K · text-only
16GB	2.5 기본 · 3.0 · 3.5 · 2.0	176K images · 118K images · 78K text · 229K images
24GB	4.0 기본 · 5.0 · 6.0	262K images · 180K images · 84K text
32GB+	24GB와 같은 메뉴	prefill 검증 상한 적용

24GB와 32GB+의 메뉴는 6.0 bpw text-only 84K, 5.0 bpw 이미지 180K, 4.0 bpw 이미지 262K예요. planner는 실제 다운로드 용량과 context를 출력하므로 setup 전에도 16GB 프로필을 미리 조회할 수 있어요. 선택한 프로필은 .env에 모델 저장소, revision, context, KV cache⁶, GPU memory 예산과 vision 상태를 기록해요.

VRAM별 profile과 context 표

검은 화면의 모니터와 소형 데스크톱, 여러 팬이 보이는 PC 본체 — 프로필 planner가 카드 VRAM에 맞는 context 조합을 계산해요.

profile planner로 다운로드 파일을 고르고 서빙해요

먼저 저장소의 Code → Download ZIP으로 kit를 받고 다운로드 폴더에 압축을 풀어요. 아래 경로는 Downloads/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install-main에 푼 경우예요. 다른 위치에 풀었다면 해당 경로로 바꿔요. tools/profiles.py와 linux, windows 폴더가 보이는 저장소 루트에서 이후 명령을 실행하세요.

Linux에서 압축을 푼 kit 폴더로 이동

cd "$HOME/Downloads/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install-main"
ls tools/profiles.py linux/setup.sh windows/START-HERE.bat

Windows PowerShell에서 kit 폴더로 이동

Set-Location "$HOME\Downloads\Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install-main"
Get-Item .\tools\profiles.py, .\linux\setup.sh, .\windows\START-HERE.bat

설치 전 프로필만 확인할 때는 kit 폴더의 tools/profiles.py를 시스템 Python으로 실행해요. 이 조회에는 별도 패키지가 필요하지 않아요. 설치는 Windows의 windows\START-HERE.bat 또는 Linux의 ./linux/setup.sh에서 시작하고, 완료되면 kit 안에 .venv⁷와 모델 파일이 생겨요.

16GB 카드 후보 목록 미리 보기

python3 tools/profiles.py --list --vram 16
# Windows PowerShell: py -3 tools\profiles.py --list --vram 16

설치가 끝나면 Linux는 ./linux/start.sh, Windows는 windows\start.bat을 실행해 서버를 열어요. 로컬 API⁸ 주소는 http://127.0.0.1:8888/v1이에요. /v1/models에서 실제 모델 ID를 읽고, Linux/bash나 Windows PowerShell에서 그 ID로 짧은 질문을 보내 응답 내용을 확인해요. Node 22.19 이상이면 DeepSeek Harness UI도 쓸 수 있어요.

Linux 설치 시작

bash linux/setup.sh

Windows 설치 시작

& .\windows\START-HERE.bat

Linux 서빙 서버 시작

bash linux/start.sh

Windows 서빙 서버 시작

& .\windows\start.bat

모델 ID 확인 후 첫 API 요청

curl -fsS http://127.0.0.1:8888/v1/models
# Copy an actual id from the response into MODEL_ID.
MODEL_ID='paste-the-id-returned-by-v1-models'
curl -fsS http://127.0.0.1:8888/v1/chat/completions -H 'Content-Type: application/json' -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"Say READY in one word.\"}],\"max_tokens\":8,\"temperature\":0}"

Windows PowerShell에서 첫 요청

$models = Invoke-RestMethod http://127.0.0.1:8888/v1/models
$id = $models.data[0].id
$body = @{ model = $id; messages = @(@{ role = 'user'; content = 'Say READY in one word.' }); max_tokens = 8; temperature = 0 } | ConvertTo-Json -Depth 6
Invoke-RestMethod -Uri http://127.0.0.1:8888/v1/chat/completions -Method Post -ContentType 'application/json' -Body $body

설치·프로필·OpenAI API 절차

첫 오류에서 VRAM과 모델 상태를 점검해요

Insufficient VRAM in split for model and cache가 나오면 .env의 CONTEXT_SIZE를 낮추거나 GPU_MEM_GB 예산을 줄여 다시 시작해요. 이미지 tower가 context와 함께 들어가지 못하면 Ready 상태에 Images: off가 표시돼요. 더 짧은 context를 쓰거나 이미지가 켜진 다른 프로필을 선택할 수 있어요.

Windows에서는 설치 파일과 시작 파일이 kit의 windows 폴더에 있어요. 모델 목록이 비어 있으면 simplex models로 다운로드 상태를 확인해요. 오류가 계속되면 simplex doctor가 Python·드라이버·포트·필수 .env 항목·파일 존재 여부와 디스크 여유를 점검해요. 동시 요청은 한 번에 하나가 기본이라 추가 요청은 앞선 응답이 끝날 때까지 대기해요.

profile 오류 점검과 simplex doctor

문서 창이 열린 노트북과 페이지가 표시된 휴대전화가 케이블로 연결된 모습 — 오류 로그에서 메모리 예산과 서버 상태를 찾아요.

용어 각주

GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기
모델 추론 — 학습된 모델을 사용해 입력에 대한 출력을 계산하는 과정입니다. 이 사이트에서 로컬 추론은 사용자의 기기에서 모델을 실행하는 경우를 뜻합니다.
본문으로 돌아가기
BF16 — 모델 수치를 저장하고 계산하는 16비트 부동소수점 형식입니다. FP32와 같은 폭의 지수부를 써 넓은 값 범위를 표현합니다.
본문으로 돌아가기
CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기
KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기
Python 가상환경 — 프로젝트별로 Python 패키지를 분리해 설치하는 공간입니다. 패키지 버전 충돌을 줄이는 데 쓰입니다.
본문으로 돌아가기
API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: MIA의 serving kit는 NVIDIA GPU 12GB 이상, compute capability 7.5 이상에서 Qwen3.8-27B EXL3를 서빙해요. setup은 VRAM을 읽어 bpw와 context, vision 가능 여부를 제안하고, 16GB 카드의 기본 추천은 2.5 bpw와 이미지 입력 176K예요. 24GB는 4.0 bpw와 이미지 262K가 기본 추천이고, 32GB 이상은 같은 메뉴를 보여 줘요. 실제 파일 크기와 계획 문맥은 profile planner가 출력해요.
필요한 메모리는 어느 정도인가요?: ExLlamaV3는 NVIDIA GPU에서 모델을 실행하는 inference engine이고, EXL3의 bpw는 가중치 저장에 쓰는 평균 bits per weight를 나타내요. bpw를 낮추면 파일과 가중치 메모리가 줄어 더 긴 context를 배정할 수 있지만, 모델 표현은 원본 BF16에서 더 멀어져요. VRAM 용량, 입력 길이, 이미지 사용 여부를 한 프로필 안에서 같이 결정해야 해요.