CMP 170HXで64GBのローカルLLMを動かせる？

モデルの重みを読み込んだ後も、実行環境の作業領域とKVキャッシュ⁴がメモリを使います。文脈を長くするとKVキャッシュも増えるため、量子化⁵ファイルのサイズだけでなく、実際の文脈長⁶と実行環境のバッファも確認します。

GA100-105FはBF16⁷・FP16⁸・TF32に対応しています。ネイティブFP8⁹・FP4 Tensor演算経路はないため、モデルの量子化形式とランタイム¹⁰カーネルがGA100に対応しているか確認します。

CMP 170HXのメモリ解放後の容量は、カードのメモリランクによって異なります。8GBのデュアルランクカードは64GB、一部の8GBシングルランクカードは32GB、10GBカードは40GBに構成できます。ランクとはメモリチップのまとまり方です。購入前に出荷時の容量とランクを確認します。

インストーラーはカード情報からプロファイルを自動検出します。手動で変更する場合は、カードのメモリランクとメンテナーの案内を照合してください。再起動後に表示される実容量を、モデル選択の基準にします。

cmpunlockerは一般的なデスクトップアプリではなく、Linux上のNVIDIAオープンGPUカーネル¹¹モジュールにパッチを当て、メモリジオメトリを変更するツールです。メンテナーが示す要件は、Linux x86-64、root権限、NVIDIA CMP 170HX、対応範囲内のnvidia-open 610.xx.xx以降と一致するライブラリ・ファームウェア、実行中カーネルに一致するヘッダーです。初回ビルドにはネットワーク接続が必要で、署名されていないモジュールを読み込めるようSecure Bootを無効にする必要があります。

ドライバーの詳細なバージョンは、READMEの対応版とディストリビューションで入手できるパッケージを照合して選びます。メンテナーREADMEには615.78.08も記載されています。ドライバーを更新した場合、新しい版に合わせてパッチ済みモジュールを再ビルドすることがあります。カードを使うLinuxマシンでの手順は、Linuxアンロックガイドでインストール、プロファイル確認、削除まで説明します。

各メモリ構成は、モデルの重み・実行環境の作業領域・KVキャッシュで分け合う予算です。モデルを選ぶ際は、実行環境の必要メモリと入力文脈をあわせて見積もります。32GBや40GBのカードでは、量子化を下げたり文脈を短くしたりして調整できます。

推論速度はモデル、量子化、HBMクロック、PCIeリンク、エンジン、デコード¹²設定によって変わります。同じボード番号で販売されたカードでもVBIOSやHBMクロックが異なる場合があります。PixelMLは64GiB・74 SM・HBM 1728MHz・PCIe Gen2 x16・180W・強制送風の条件で、Qwen3.8-27Bを1枚で実行した記録を公開しています。vLLMとopen-jetの結果、入力長ごとの条件は測定ガイドで確認できます。

アンロック後に再起動したら、まずnvidia-smiでGPU名、総メモリ、ドライバー版を確認し、nvidia-smi -q -d PCIでリンク世代と幅を調べます。64GBプロファイルを想定した8GBカードが32GBと表示される場合は、ランク構成が対応しているか、インストーラーがどのプロファイルを検出したかを確認してください。モデルを試すときは、メモリ割り当てが完了するか、プロンプト送信後に最初のトークン¹³が出るか、長い文脈の要求も完了するかを順に見ます。

リンクがGen1のままなら、カード、スロット、ライザー、BIOS設定、ボードの制限を調べます。PixelMLの資料ではGen2動作が試されましたが、Gen3はテストした4枚すべてでヒューズにより制限されていました。ボードによってx4またはx16になる場合もあるため、Gen2アンロックだけで全システムが同じ転送経路になるわけではありません。

CMP 170HXはカード上にファンのないパッシブヒートシンクを使います。フィンの中を風が通るよう、ブロワーファンやダクトファンを配置してください。モデルを読み込み、連続リクエスト中のGPUコア・メモリー温度とクロックの安定性を確認します。

電力上限を下げると発熱を抑えやすくなります。まず十分な風量を確保し、同じ作業で速度と温度を比べながら上限を調整してください。電力・冷却ガイドでは、Qwen 1枚構成の180W試験とGLM 4枚構成の電力別処理量を紹介しています。

モデルを選ぶときは、量子化ファイル、認識メモリ容量、文脈長、実行環境のGA100対応を確認します。次に普段の入力に近い文書を送り、最初のトークンまでの時間、出力速度、要求が最後まで完了したかを別々に記録してください。カードが64GBと認識されても、入力が長くなるとKVキャッシュが増え、モデル構造に合ったカーネルが別途必要な実行環境もあります。

構成はnvidia-smiに表示される実メモリ、GA100対応の実行環境、使用する量子化と文脈長を基準に決めます。Linuxドライバーとカーネルモジュールを管理し、強い送風を用意できれば、CMP 170HX 1枚でローカルLLMを試せます。こうした準備が必要なので、簡単なデスクトップ導入を望む場合は、ほかのGPUと設定の手間もあわせて比較してください。