Nemotron 3.5 Boltの74Bモデルを24GBで動かせる？

NVIDIA Nemotron 3.5 Bolt は、質問やコードなどのプロンプト⁵を受け取り、回答を生成する 74B モデルです。24 GB 構成で実行できるよう、大部分の expert 重みを 1 要素あたり 2.0625 ビットの IQ2_XXS で保存し、低精度での品質を補うため量子化対応蒸留（QAD）を適用しています。

24 GB 構成のメモリ予算は batch size⁶ 1、128K コンテキストを基準にしています。NVIDIA が推奨する実行時のコンテキスト長は GPU メモリに応じて 65,536 または 262,144 トークンです。

精度は構成要素ごとに異なります。Mamba線形層はNVFP4⁷、lm_head・トークン埋め込み・attention⁸・Latent MoE⁹重みはQ8_0で保存されます。モデルカードのGGUFファイル一覧から、使用するメインモデル、画像プロジェクター、drafterの保存容量を合計できます。

各トークンの処理ではrouterが一部のexpertを選び、MambaとTransformer¹⁰のブロックも計算します。A9Bはトークンごとに有効になるパラメーター規模です。速度を比べるときはメモリ帯域、ランタイム¹¹カーネル、GPUオフロード¹²、入力長、同時リクエスト数も記録してください。

GPUとCPU¹³の配置を分けてメモリを確認します。GPUに置いた重み・KV cache¹⁴・計算バッファの使用量はVRAM¹⁵の空きと比べます。CPUに残したモデル部分と、OS・ブラウザー・エディターが使う量はシステムRAM¹⁶の余裕と合わせて確認してください。GPUレイヤーのオフロード量を変えると、両方のメモリ使用量も変わります。

実行前に、モデルカードでGGUFの正確なファイル名とダウンロード容量、drafterファイルを確認します。llama.cppはMambaと該当する量子化形式に対応したビルドが必要です。古いランタイムではメモリ以外の理由で読み込みに失敗することがあるため、モデルカードの案内とインストール済みランタイムのリリース説明を照合してください。NVIDIAのBolt測定環境ではWindows 11 ARM x64上でllama.cppを使用しました。

RTX搭載デスクトップでは、全レイヤーをGPUメモリに置くか、一部をシステムメモリへオフロードするかをランタイムが選べます。一部のオフロードで実行できても、メモリ経路が変わるため処理速度は大きく変わる可能性があります。まず短いコンテキストと単一リクエストで始めます。タスクマネージャーの専用GPUメモリ、システムメモリ、ランタイムログを確認し、安定して応答したら入力長を増やして次の制限を切り分けます。

WindowsではPowerShellで winget install llama.cpp を実行します。クイックスタートを起動するとモデルをダウンロードし、http://127.0.0.1:8080にローカルチャット画面を開きます。短い質問を送り、回答を確認したらCtrl+Cでサーバーを終了します。RTX 5090では下の公式プロファイルを別に起動できます。NVIDIA GGUFモデルカード

初回はターミナルにモデル名とダウンロードの進行状況が表示されます。ロード完了後、サーバーは準備完了メッセージとアドレスを出力します。同じPCのブラウザーで開き、「次の文を一文で要約してください：モデルは質問を受け取り、回答を生成します」と送ってください。内容に沿った要約が返ればテキスト推論が動いています。速度を比べるときはファイルのロード、最初のトークンまでの時間、生成中token/sを分けて記録します。

RTX 5090の32GB VRAMはNVIDIAの32GB以上のdGPUレシピ対象です。モデルカードと同じファイル名でメインGGUF、mmproj、LiLiCorr drafterを取得し、PowerShellのパスを設定して起動すると、コンテキスト65,536・1シーケンス・DFlash最大6トークン・Q8_0 KV cacheで動作します。クイックスタートは自動ダウンロード、下のプロファイルは3ファイルを直接読み込む方法です。クイックスタートをCtrl+Cで終了してから起動してください。NVIDIA Windowsレシピ

初回実行でunsupported tensorが出たら、llama.cppの版とモデルカードの対応形式を照合します。CUDA¹⁷ allocation errorなら、まずコンテキストとバッチサイズを下げ、Windowsタスクマネージャーで専用・共有GPUメモリを確認します。サーバー起動後にブラウザーが接続できない場合は、ターミナルに表示されたポートが8080か確認し、同じPCの127.0.0.1を開きます。

NVIDIAは128GBのSurface Laptop Ultra内のRTX Sparkで、Windows 11 ARM x64とllama.cppを使ってモデルを比較しました。AIPerf SPEED-Bench-Codingは生成速度を測り、AA-AgentPerf Localは複数段階のタスクを再生します。各モデルの結果と条件は、同シリーズの「Nemotron BoltとQwen3.8-27Bの比較」記事の表にまとめています。ここでは指標が表す処理の違いを押さえます。

TPSは固定入力に対する生成処理量、replay durationはツール使用を含む所定のagent処理群の完了時間です。短いコード補完ではTPSと最初のトークンまでの時間を、複数のツールをつなぐ処理では全体のreplay時間を先に見ます。

公開値を自分のPCに当てはめるのではなく、実際に任せたい処理を一つ選び、同じプロンプト・文書・ツールで試します。まず短い入力で回答品質と最初のトークンまでの時間を記録し、その後、普段の文書と繰り返すツール呼び出し¹⁸を加えて全体時間・VRAM・失敗数を比較すると、設定を変える理由が明確になります。

Boltを検討する価値があるのは、データセンターではなくRTX系やDGX Sparkで、総規模70B級のモデルを使ってエージェント処理を試したい場合です。ターミナル操作、ウェブ閲覧、複数段階の計画などNVIDIAの評価タスクを目的にするなら、まずモデルカードのプロンプト形式を合わせてください。品質とツール呼び出しの信頼性は指示文・ツール・安全設定に左右されるため、実運用の自動化へ接続する前にサンドボックス¹⁹で各処理を検証します。

24GBカードでBoltを試す場合は、まずCPU/RAM優先コマンドで回答が返るか確認し、動作した設定からGPUレイヤーを増やします。設定を一つずつ変えるのは、モデルのロード失敗とGPUメモリの制限を切り分けるためです。具体的な開始コマンドは3090・5090ガイドにあります。