この記事で最初に確認すべきことは何ですか？

2枚レシピはTensorFold v0.6.5、EXL3 expert 4-bitチェックポイント、4-bit dense layer、FP8 KV cacheを使います。RTX PRO 6000 Blackwell 2枚を各300Wに設定した単一prose decodeは238.3 tok/s、4件合計は448.7 tok/sでした。4枚レシピは各カード250Wで単一265.9 tok/s、4件合計1,063.6 tok/sでした。GPU枚数とカードあたり電力が同時に変わるため、比率を電力効率や性能維持率として解釈できません。

実行プログラムと拡張機能

RTX PRO 6000 2枚でGLM-5.3 Flash：速度と電力制限

2枚300W構成は単一238.3 tok/s、4件合計448.7 tok/s、4枚250W構成はそれぞれ265.9と1,063.6でした。

2枚レシピはTensorFold v0.6.5、EXL3 expert 4-bitチェックポイント¹、4-bit dense layer、FP8² KV cache³を使います。RTX PRO 6000 Blackwell 2枚を各300Wに設定した単一prose decode⁴は238.3 tok/s、4件合計は448.7 tok/sでした。4枚レシピは各カード250Wで単一265.9 tok/s、4件合計1,063.6 tok/sでした。GPU⁵枚数とカードあたり電力が同時に変わるため、比率を電力効率や性能維持率として解釈できません。

RTX PRO 6000 Blackwell 2枚でGLM-5.3 Flashをローカルサーバーとして動かすレシピです。プロンプト⁶から回答を受け取り、公開記録で単一要求の速度と合計処理量を比べます。4枚構成の記録は、その行の電力制限と実行設定に合わせて読みます。

まずモデルとGPU構成を固定します

このガイドでは、RTX PRO 6000 BlackwellでGLM-5.3-Flashを提供する2つのLinuxレシピを比べます。1台のhostにGPUを2枚または4枚搭載し、単一リクエスト速度と同時処理量を分けて読みます。2枚レシピはTensorFold v0.6.5ベースで、両方の測定条件は電力設定と実行環境が異なります。

画面が暗いモニター、小型デスクトップPC、複数のファンが見えるPCケース — 単一応答速度と4件合計は異なる測定値です。

requestあたり速度と合計throughputを分けます

2枚構成はsparkDash v1.8.9でtemperature 0、top_p 1、thinking off、400-token replyを使い、各GPU 300Wで測定しました。単一prose requestは238.3 tok/s、4件合計は448.7 tok/sでした。4件測定時のrequestあたり中央値は114.9 tok/sなので、合計と個別応答の流れは分けて読みます。

左右にスクロールして各項目を比較できます。

RTX PRO構成のprose decode比較
構成	GPUあたり電力	単一request	4件合計
RTX PRO 6000 2枚	300W	238.3 tok/s	448.7 tok/s
RTX PRO 6000 4枚	250W	265.9 tok/s	1,063.6 tok/s

4枚ページのprose結果は単一265.9 tok/s、4件合計1,063.6 tok/sです。各カード250Wで、TensorFoldとレシピのバージョンも異なります。2枚300W構成と比べてGPU枚数とカードごとの電力制限が変わるため、単純な比率から2倍の電力で性能が維持されるとは算出できません。

Linux hostで2枚レシピを起動します

2枚レシピは96GB RTX PRO 6000 Blackwell 2枚を同じLinux x86_64 hostに搭載します。各GPUで90,000MiB以上を空け、CUDA⁷ peer accessを確認します。Docker、NVIDIA Container Toolkit、Bash、Python 3、Git、GNU patch、curl、gzip、flockも必要です。

既定レシピは非商用ライセンスのDFlash2 drafterを使います。利用条件が合わない場合は、起動前にDRAFTER=mtp ./start.shを選べますが、この経路は一度に1件だけ処理します。以下の238.3 tok/sと4件同時の数値は既定のDFlash2レシピによる結果です。

公式Aevonixのstart.shは固定TensorFold commitに86 patchesを適用してbuildし、checkpointとDFlash2を取得した後、kernel autotuneとsmoke testを実行します。GPUを空けた状態で起動し、成功するとport 8022でLIVEと表示します。DRY_RUN=1 ./start.shはDockerやGPUを使わず手順を表示します。

公式repositoryから2枚recipeを起動

git clone https://github.com/Aevonix/GLM-5.3-Flash-EXL3-2x-RTX-PRO-6000-TensorFold.git
cd GLM-5.3-Flash-EXL3-2x-RTX-PRO-6000-TensorFold
DRY_RUN=1 ./start.sh
./start.sh

2枚TensorFoldレシピと起動コマンド

コードのような行が表示された大型モニター、デスクトップタワー、ノートPCのある机 — 起動スクリプトは両GPUの状態と接続を確認します。

電力警告と最初のエラーをログで確認します

model ID glm-5.3-flashでrequestを送り、最初の応答を確認します。W_POWERが出たらGPUの電力制限を確認し、比較記録にカードごとの設定も残します。

port 8022のAPIで最初の応答を確認

curl -fsS http://127.0.0.1:8022/v1/models
curl -fsS http://127.0.0.1:8022/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"glm-5.3-flash","messages":[{"role":"user","content":"Say READY in one word."}],"temperature":0,"max_tokens":32}'

E_P2PはGPU間のCUDA peer accessの問題です。driver、PCIe topology、ACS、IOMMU設定を確認します。E_GPU_MEMORYでは他のGPU作業を止め、各カードで90,000MiB以上空いているか確認します。

文書やグラフを表示したノートPCの周りに積まれた資料と開いたノート — 電力制限とエラーコードを記録すると後で比較しやすくなります。

用語の注釈

チェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻る
FP8 — 一つの値を8ビットで表す浮動小数点形式です。
本文に戻る
KVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻る
トークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。
本文に戻る
GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻る
プロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻る
CUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。
本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか？: 2枚レシピはTensorFold v0.6.5、EXL3 expert 4-bitチェックポイント、4-bit dense layer、FP8 KV cacheを使います。RTX PRO 6000 Blackwell 2枚を各300Wに設定した単一prose decodeは238.3 tok/s、4件合計は448.7 tok/sでした。4枚レシピは各カード250Wで単一265.9 tok/s、4件合計1,063.6 tok/sでした。GPU枚数とカードあたり電力が同時に変わるため、比率を電力効率や性能維持率として解釈できません。
条件と出典はどこで確認できますか？: 既定レシピは非商用ライセンスのDFlash2 drafterを使います。利用条件が合わない場合は、起動前に`DRAFTER=mtp ./start.sh`を選べますが、この経路は一度に1件だけ処理します。以下の238.3 tok/sと4件同時の数値は既定のDFlash2レシピによる結果です。