Qwen3.8-27Bをハードウェア別に実行：MacはoMLX、RTXはllama.cpp

MacのoMLXはMLXに変換したチェックポイントを実行し、RTXのllama.cppはGGUFを読み込みます。同じQwen3.8-27Bという名前でもファイルを相互に使うことはできません。基準ファイルにはMacでmlx-community/Qwen3.8-27B-4bitを、RTXでggml-org/Qwen3.8-27B-GGUFのQ4_K_Mを使います。Q4_K_Mファイルは約17.6 GBですが、実際にはKV cache⁷と作業バッファの分もメモリが必要です。

24 GBのRTXではコンテキスト4,096 tokenから始め、ブラウザーやエディター用のメモリも残します。Macではユニファイドメモリ⁸総量とメモリプレッシャーを確認します。両方の環境で同じ依頼を使うと実行結果を比較できます。

Apple Silicon搭載MacでoMLXを開き、モデルフォルダーを指定してサーバーを起動します。モデル検索でMLXチェックポイントmlx-community/Qwen3.8-27B-4bitをダウンロードし、ブラウザーでhttp://localhost:8000/admin/chatを開きます。モデルを選び、次の依頼を送ります。パス文字列を受け取り、ファイルがなければNoneを返し、存在すればUTF-8テキストを読み込むPython関数を書いてください。入力と戻り値の型も説明してください。

正常に応答すると、Pythonコードと入力・戻り値の型の説明がチャット画面に表示されます。失敗した場合は管理画面でモデルの状態とダウンロード完了を確認し、メモリプレッシャーとサーバーログの最初のエラーを調べます。モデル一覧にない場合は、MLXチェックポイントの形式と指定したモデルフォルダーを確認してください。

CUDA⁹ Toolkitを用意したRTX PCで、以下のコマンドを使ってCUDA対応llama.cppをビルドし、サーバーを起動します。最後の行の-hfでGGUFリポジトリとQ4_K_Mを選び、-ngl allで可能な限り多くのモデル層をGPU¹⁰に載せます。-c 4096はコンテキストを4,096 tokenに設定します。以下の./build/bin/llama-serverパスはLinuxシェル用です。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -t llama-server
./build/bin/llama-server -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M -c 4096 -ngl all --host 127.0.0.1 --port 8080

サーバーの準備ができたら、ブラウザーでhttp://localhost:8080を開き、モデルを選びます。Macの節で使ったものと同じPythonの依頼を貼り付けて送信してください。

コードと説明が表示されれば、モデルの読み込みとリクエスト経路を確認できます。ビルドに失敗した場合はCMakeがCUDA Toolkitを検出できるか確認してください。サーバーは開くのにモデルが起動しない場合は、ダウンロードの進行状況、リポジトリ名、空きVRAM¹¹を調べ、コンテキストを2,048 tokenに下げて再試行します。

Windowsでビルドする場合はVisual Studio 2022のC++開発ツールとCUDA Toolkitを用意し、Visual Studio Developer PowerShellでllama.cppのリポジトリを開きます。公式ビルドガイドではLinuxと同じCMake CUDAオプションを使い、サーバーガイドではllama-serverターゲットを個別にビルドします。以下のコマンドでサーバーをビルドし、生成された実行ファイルを探してモデルを指定します。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -t llama-server
$server = Get-ChildItem -Path .\build -Filter llama-server.exe -Recurse | Select-Object -First 1 -ExpandProperty FullName
& $server -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M -c 4096 -ngl all --host 127.0.0.1 --port 8080

サーバーが起動したらhttp://localhost:8080を開いてモデルを選び、Macの節にあるPythonの依頼をそのまま送信します。

正常に応答するとコードと入力・戻り値の説明が表示され、モデル読み込みとリクエスト経路を確認できます。実行ファイルが生成されない場合は、ビルド出力の最初のエラーとCUDA Toolkitの検出を確認してください。サーバーは起動するのにモデル読み込みが失敗する場合は、ログの最初のモデルエラーと空きVRAMを調べます。

まず各サーバーで上記のPython依頼に正常に回答するか確認します。速度を比べるときはモデルの初回読み込み時間を分けて記録し、1回ウォームアップしてから同じ依頼を3回送ります。コンテキストと回答上限を固定し、リクエスト開始、最初のトークン、回答完了までの時間を記録します。RTXではVRAM、Macではユニファイドメモリのプレッシャーも確認します。

入力を長くする場合は、同じPythonの依頼に実際の作業コードの一部を加え、両方の環境に同じテキストを送ります。リクエストが長くなるとプリフィル時間とKV cache使用量が変わる場合があります。MacのMLX Q4とRTXのGGUF Q4_K_Mは形式と量子化¹²が異なるため、実行したモデルファイルも記録し、ハードウェアとチェックポイントの違いを区別します。

2026年10月9日公開のoMLX 0.7.1.dev1には、Qwen3.8-27B oQ8eのINT8 activation prefill改善が含まれています。モデル設定のExperimental Featuresでこの経路を有効にします。リリース測定にはM5 MaxとoQ8eチェックポイントが使われており、Macの実行手順で使うQ4モデルmlx-community/Qwen3.8-27B-4bitとは別ファイルです。入力長ごとの測定条件と数値は以下の表に示します。

INT8 prefillを試すには、対応するoQ8eファイルと0.7.1.dev1を用意し、短い入力で通常の回答を先に確認します。そのモデルのINT8 activation prefillを有効にし、token数をそろえた入力を3回処理して、プリフィル速度またはTTFT¹³の中央値を比べてください。M5 Maxで公開された向上幅はプリフィルに関するものなので、decode¹⁴ tok/sは別に記録します。

メモリエラーが出たり最初のトークンまで時間がかかったりしたら、コンテキストを短くし、モデル別設定とサーバーログで選択された経路を確認します。INT8 activationは計算に使う表現を変えるため、出力数値と回答品質も確かめてください。設定をoffにして同じリクエストを送り直すと、変更の影響を比較できます。

MTP¹⁵に対応するQwen3.8-27Bチェックポイントでは、そのモデルのLightning MTPを比較できます。MTPはtoken生成に、KV cache精度は会話状態を保存するためのメモリと計算量に影響します。まず両方を既定値にして回答とメモリ使用量を記録します。MTPだけを有効にした比較を終えてから、KV cache設定だけを変更してください。各段階で同じチェックポイントと質問を使います。

0.7.1.dev1は開発版です。安定性を優先する場合は0.7.0を使い、新機能は別のテスト環境で確認します。リクエストが頻繁に失敗する場合は、MTPやKV cacheを調整する前にサーバーログ、コンテキスト長、VRAMまたはユニファイドメモリの状態を確認してください。

27BパラメータにBF16¹⁶の2バイトを掛けると、weightだけで約54 GBです。この計算には実行バッファとキャッシュを含みません。以下のコマンドは、上記のRTX 24 GB向けQ4_K_Mレシピではなく、BF16 weightを格納できる別のNVIDIAサーバー用です。主レシピを実行する場合はこの付録を飛ばし、先ほどのllama.cppコマンドを使ってください。

vllm serve Qwen/Qwen3.8-27B --host 127.0.0.1 --port 8000 --max-model-len 8192 --gpu-memory-utilization 0.90

最初のコマンドを実行したら、サーバープロセスが動作し続けているか確認します。応答がない、またはプロセスが終了した場合は、ターミナルに出た最初のエラーとGPUメモリの状態を確認してください。サーバーが起動したら、2つ目のコマンドで登録済みモデルIDを調べ、リクエストに使います。

curl -N http://127.0.0.1:8000/v1/models