実行プログラムと拡張機能

16GB GPUでQwen3.8-27Bを使う：ExLlamaV3とEXL3の選び方

16GBの既定プロファイルはEXL3 2.5 bpw、約176Kコンテキスト、画像入力です。2.0 bpwは229Kの長いウィンドウを提供しますが、品質との選択が異なります。

MIAのserving kitはVRAM¹ 12GB以上、compute capability 7.5以上のNVIDIA GPU²でQwen3.8-27B EXL3を提供します。setupはVRAMを読み取り、bpw、context、画像入力を提案します。16GBカードの既定推奨は画像入力ありの2.5 bpw・176K、24GBは画像入力ありの4.0 bpw・262Kです。32GBカードも同じメニューを表示します。実際のファイルサイズと計画contextはprofile plannerが出力します。

EXL3は保存サイズと重み精度を同時に調整します

ExLlamaV3はNVIDIA GPU向けのinference³ engineで、EXL3のbpwは重みの平均保存bits per weightを表します。bpwを下げるとファイルと重みメモリが小さくなり、長いcontextに割り当てられますが、元のBF16⁴表現からは離れます。VRAM、入力長、画像対応を1つのプロファイルとして選びます。

kitにはVRAM 12GB以上、compute capability 7.5以上、NVIDIA driver 570以上が必要です。Python 3.11以降を用意し、WindowsまたはLinux用installerを実行します。CUDA⁵ Toolkitやsystem Pythonへの個別package導入は必要ありません。

コードのような行が表示された大型モニター、デスクトップタワー、ノートPCのある机 — VRAM profileでbpw、context、画像利用を一緒に選びます。

VRAM別の既定プロファイルと測定上限を比べます

プロファイルメニューはdriver用のメモリを確保してから構成を計算します。16GBでは3.5 bpwがtext-only 78K、3.0 bpwが画像あり118K、2.5 bpwが画像あり176K、2.0 bpwが画像あり229Kです。既定値は最高bpwだけを選ぶのではなく、画像対応と実用的なcontext長も考慮します。

公式profile plannerのVRAM別推奨構成
GPU VRAM	bpw	context・画像
12GB	2.0	33K · text-only
16GB	2.5 既定 · 3.0 · 3.5 · 2.0	176K images · 118K images · 78K text · 229K images
24GB	4.0 既定 · 5.0 · 6.0	262K images · 180K images · 84K text
32GB+	24GBと同じメニュー	prefill測定上限を適用

24GBと32GB+のメニューには、6.0 bpw text-only 84K、画像あり5.0 bpw 180K、画像あり4.0 bpw 262Kが含まれます。plannerは実際のdownloadサイズとcontextを出力するため、setup前に16GBプロファイルを確認できます。選択したprofileはrepository、revision、context、KV cache⁶、GPU memory予算、vision状態を.envに保存します。

VRAM別profileとcontext表

画面が暗いモニター、小型デスクトップPC、複数のファンが見えるPCケース — profile plannerがGPU VRAMに合うcontext構成を計算します。

profile plannerでdownloadを選び、serveします

repositoryのCode → Download ZIPでkitを取得し、Downloadsに展開します。以下はDownloads/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install-mainに展開した場合です。別の場所ならpathを変更してください。tools/profiles.pyとlinux、windowsが見えるkit rootで以降のcommandを実行します.

Linuxで展開したkit folderへ移動

cd "$HOME/Downloads/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install-main"
ls tools/profiles.py linux/setup.sh windows/START-HERE.bat

Windows PowerShellでkit folderへ移動

Set-Location "$HOME\Downloads\Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install-main"
Get-Item .\tools\profiles.py, .\linux\setup.sh, .\windows\START-HERE.bat

導入前にプロファイルだけ確認する場合は、kitフォルダーでsystem Pythonからtools/profiles.pyを実行します。この確認に追加packageは不要です。Windowsではwindows\START-HERE.bat、Linuxでは./linux/setup.shから導入を始めます。完了後、kit内に.venv⁷とモデルファイルが作られます。

16GBカード用profileを事前確認

python3 tools/profiles.py --list --vram 16
# Windows PowerShell: py -3 tools\profiles.py --list --vram 16

導入後、Linuxでは./linux/start.sh、Windowsではwindows\start.batでserverを起動します。ローカルAPI⁸はhttp://127.0.0.1:8888/v1です。/v1/modelsの応答から実際のmodel IDを読み、BashまたはWindows PowerShellから同じIDで短い質問を送り、回答内容を確認します。Node 22.19以降ではDeepSeek Harness UIも使えます。

Linuxで導入を開始

bash linux/setup.sh

Windowsで導入を開始

& .\windows\START-HERE.bat

Linuxでserving serverを起動

bash linux/start.sh

Windowsでserving serverを起動

& .\windows\start.bat

model IDを確認して最初のAPI requestを送信

curl -fsS http://127.0.0.1:8888/v1/models
# Copy an actual id from the response into MODEL_ID.
MODEL_ID='paste-the-id-returned-by-v1-models'
curl -fsS http://127.0.0.1:8888/v1/chat/completions -H 'Content-Type: application/json' -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"Say READY in one word.\"}],\"max_tokens\":8,\"temperature\":0}"

Windows PowerShellから最初のrequestを送信

$models = Invoke-RestMethod http://127.0.0.1:8888/v1/models
$id = $models.data[0].id
$body = @{ model = $id; messages = @(@{ role = 'user'; content = 'Say READY in one word.' }); max_tokens = 8; temperature = 0 } | ConvertTo-Json -Depth 6
Invoke-RestMethod -Uri http://127.0.0.1:8888/v1/chat/completions -Method Post -ContentType 'application/json' -Body $body

導入・profile・OpenAI API手順

最初のエラーでVRAMとmodel状態を確認します

Insufficient VRAM in split for model and cacheと表示されたら、.envのCONTEXT_SIZEまたはGPU_MEM_GBを下げて再起動します。image towerがcontextと一緒に収まらない場合、Ready状態にImages: offと表示されます。contextを短くするか、画像対応の別profileを選びます。

model一覧が空ならsimplex modelsでdownload状態を確認します。エラーが続く場合、simplex doctorがPython、driver、port、必須.env項目、model file、空きdiskを確認します。既定では同時処理は1件なので、追加requestは現在の応答が終わるまで待機します。

profileのトラブルシュートとsimplex doctor

文書ウィンドウのノートPCとページ表示のスマートフォンがケーブルで接続された様子 — error logでmemory予算とserver状態を確認します。

用語の注釈

VRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻る
GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻る
モデル推論 — 学習済みモデルを使って入力に対する出力を計算する処理です。このサイトではローカル推論は利用者の端末でモデルを実行することを指します。
本文に戻る
BF16 — モデルの数値に使う16ビット浮動小数点形式です。指数部はFP32と同じ幅で、同程度に広い値の範囲を表せます。
本文に戻る
CUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。
本文に戻る
KVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻る
Python仮想環境 — プロジェクトごとにPythonパッケージを分けて導入する環境です。パッケージのバージョンの衝突を減らせます。
本文に戻る
API — 別のコードからプログラムの機能を呼び出すための決められたインターフェースです。
本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか？: MIAのserving kitはVRAM 12GB以上、compute capability 7.5以上のNVIDIA GPUでQwen3.8-27B EXL3を提供します。setupはVRAMを読み取り、bpw、context、画像入力を提案します。16GBカードの既定推奨は画像入力ありの2.5 bpw・176K、24GBは画像入力ありの4.0 bpw・262Kです。32GBカードも同じメニューを表示します。実際のファイルサイズと計画contextはprofile plannerが出力します。
必要なメモリはどのくらいですか？: ExLlamaV3はNVIDIA GPU向けのinference engineで、EXL3のbpwは重みの平均保存bits per weightを表します。bpwを下げるとファイルと重みメモリが小さくなり、長いcontextに割り当てられますが、元のBF16表現からは離れます。VRAM、入力長、画像対応を1つのプロファイルとして選びます。