この記事で最初に確認すべきことは何ですか？

NVIDIA公式GGUFレシピは、VRAM 32GB以上と48GB以上のディスクリートGPUで異なるコンテキスト・バッチ設定を示しています。RTX 3090・5090の開始設定と記録項目を整理します。

条件と出典はどこで確認できますか？

RTX 3090でCPU優先テストを行う場合は、[公式モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)から約22GBのメインGGUFを取得し、`models\nemotron-bolt`に置きます。OSとランタイムバッファ用のシステムRAMも確保してください。最初の診断は`-c 4096 -ngl 0`で実行し、回答とRAM使用量を記録する試験経路です。回答が返ったら、下の-ngl 8と16を一つずつ選んで実行し、VRAMと出力を比較します。

モデル別実行レシピ

RTX 3090・5090でNemotron Boltをどう実行する？

メインGGUF・KV cache・実行バッファのメモリ使用量を記録し、3090と5090の開始設定を試します。

NVIDIA公式GGUF¹レシピは、VRAM² 32GB以上と48GB以上のディスクリートGPU³で異なるコンテキスト・バッチ設定を示しています。RTX 3090・5090の開始設定と記録項目を整理します。

RTX 3090は24GB GDDR6X、RTX 5090は32GB GDDR7を搭載しています。実行時はGGUFの重みに加えてKV cache⁴とCUDA⁵バッファもメモリを使うため、モデルを読み込んだ後にGPU・システムRAM⁶の使用量を記録します。NVIDIAの公開速度測定はRTX Spark搭載の128GB Surface Laptop Ultraで行われました。RTX 3090仕様・Bolt測定条件

RTX 3090・5090デスクトップの開始設定とメモリ記録の手順を紹介します。モデル容量とllama.cppの対応形式を確認し、短いコンテキストで実行してロード時間・初回応答・VRAM・システムRAMを記録します。その結果を次のコンテキストやGPUレイヤー調整に使います。

実行条件と要点

3090の24GBは専用VRAMで、実行中は重み・KV cache・計算バッファが同じ領域を使います。
5090は公式28GB dGPUレシピ、3090はCPU/RAM優先経路から始めます。
3090では回答が返った設定から-nglを段階的に増やし、VRAMとシステムRAMを記録します。

実行メモリは重みとコンテキストが使います

RTX 3090の専用VRAMは24GBです。実行時はモデル重みに加えて、コンテキストを保存するKV cache、計算バッファ、画面出力、ドライバーも領域を使います。起動後にタスクマネージャーでVRAM使用量を確認し、短い-c 4096から安定する設定を探します。

RTX 5090は32GBのVRAMを搭載し、NVIDIAの32GB以上のdGPUプロファイルを使えます。使用するllama.cppビルドのMamba・Transformer⁷演算とIQ2_XXSへの対応を確認してからモデルをロードし、コンテキスト長と同時リクエスト数を一つずつ調整しながらメモリ使用量を記録します。

モニター、小型コンピューター、デスクトップPCが置かれた作業机 — GPUメモリに収める重みとコンテキスト領域を分けて確認します。

5090は公式プロファイル、3090はCPUから試す

RTX 5090の32GBはNVIDIA公式28GB dGPUレシピの対象です。メインGGUF、mmproj、別ファイルのLiLiCorr drafterを取得してPowerShellの環境変数に各パスを設定し、モデルカードのコマンドをそのまま実行します。コンテキスト65,536・1シーケンス・DFlash最大6トークン⁸・Q8_0 KV cacheでサーバーが起動します。最初のテストがテキストのみでも、レシピが指定するmmprojファイルを用意してください。

RTX 3090でCPU⁹優先テストを行う場合は、公式モデルカードから約22GBのメインGGUFを取得し、models\nemotron-boltに置きます。OSとランタイム¹⁰バッファ用のシステムRAMも確保してください。最初の診断は-c 4096 -ngl 0で実行し、回答とRAM使用量を記録する試験経路です。回答が返ったら、下の-ngl 8と16を一つずつ選んで実行し、VRAMと出力を比較します。

サーバーは一度に一つだけ実行します。回答とメモリ使用量を記録し、次の設定へ進む前にターミナルでCtrl+Cを押して終了します。

RTX 5090用のモデル・プロジェクター・drafterをダウンロード

python -m pip install --upgrade huggingface_hub
$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  --local-dir "$env:MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf `
  --local-dir "$env:MODEL_DIR"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"

ダウンロードとパス設定が終わったら、同じPowerShellで公式サーバープロファイルを実行します。

RTX 5090公式28GBプロファイルを実行

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"
llama-server.exe `
  --model "$env:MODEL" `
  --mmproj "$env:MMPROJ" `
  --batch-size 2048 `
  --ubatch-size 512 `
  --ctx-size 65536 `
  --parallel 1 `
  -ngl 999 `
  --spec-type draft-dflash `
  --spec-draft-n-max 6 `
  --spec-draft-model "$env:SPEC_DRAFT" `
  --spec-draft-ngl 999 `
  --cache-type-k q8_0 `
  --cache-type-v q8_0 `
  --temp 1.0 `
  --top-p 0.95 `
  --flash-attn on `
  --jinja `
  --host 127.0.0.1 `
  --port 8080

3つのファイルを同じフォルダーに保存してサーバーを起動します。回答を確認してCtrl+Cで終了してから、3090のコマンドを実行します。

RTX 3090でCPU優先の初回応答を試す

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 0 --host 127.0.0.1 --port 8080

前の手順と同じPowerShellで実行します。回答とメモリ使用量を記録してからCtrl+Cで終了します。

3090でGPUレイヤー8層の次のテスト

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 8 --host 127.0.0.1 --port 8080

CPUテストをCtrl+Cで終了してから実行します。回答とVRAMを記録し、サーバーを終了します。

3090でGPUレイヤー16層の追加テスト

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 16 --host 127.0.0.1 --port 8080

8層のサーバーをCtrl+Cで終了してから実行します。前の段階とメモリ使用量・回答を比較します。

3090と5090の比較で記録する項目

2枚を比較するなら、PC・ドライバー・llama.cppビルド・モデルファイル・コンテキスト・プロンプト¹¹を揃えます。初回ロード、最初のトークンまでの時間、生成token/s、VRAM使用量、回答精度を別々に記録します。短いプロンプトのベンチマークTPSと実文書の完了時間は異なるため、両方が必要なら別々に測定してください。試行回数を揃え、平均とともに中央値を見ると、単発のバックグラウンド処理によるばらつきを抑えられます。

NVIDIAの公開測定は128GB Surface Laptop Ultra内のRTX Sparkで行われました。GPU世代だけでデスクトップRTX 3090・5090の結果に換算できません。VRAM、帯域幅、CPU/GPU間のオフロード¹²、ランタイムのカーネルが異なるため、同じモデル・コンテキスト・プロンプトでカードごとに試します。

内部モジュールが見えるラックサーバーのシャーシ — 同じ処理で3090と5090の実行条件を比べます。

短いテストから実作業へ段階的に広げる

最初の回答が返ったら、短いコード編集やウェブ調査を単一プロンプトで試し、回答品質を確認します。次にツール呼び出し¹³を有効にして同じ依頼をサンドボックス¹⁴で実行し、変更ファイルと参照元を確認します。ツール結果の確認時間も含めて作業全体の所要時間を記録してください。

CPU/RAM実行に失敗したら、モデルファイルのパス、llama.cppの形式対応、システムRAMの空き、エラーログを確認します。GPUレイヤーを増やしてメモリエラーが出たら、直前に回答できた-ngl設定へ戻します。通常の応答を確認してからコンテキスト長を段階的に増やしてください。

机上の小型コンピューターと奥のサーバーラックが見える作業室 — ログとメモリ使用量を記録し、次の設定を決めます。

用語の注釈

GGUF — モデル情報を格納するファイル形式で、llama.cpp系のツールで広く使われます。
本文に戻る
VRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻る
GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻る
KVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻る
CUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。
本文に戻る
システムRAM — プログラムの実行中にデータを一時保存するシステムメモリです。
本文に戻る
Transformer — 入力内の関係をAttentionを中心に計算するニューラルネットワーク構造です。言語のほか、画像・音声・動画モデルにも使われます。
本文に戻る
トークン — モデルが入力や出力を分けて処理する単位です。
本文に戻る
CPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。
本文に戻る
ランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。
本文に戻る
プロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻る
オフロード — 容量が足りないとき、モデルデータの一部をGPUメモリからシステムRAMやストレージへ移して処理する方法です。データ転送が追加されます。
本文に戻る
ツール呼び出し — ファイル読み取り、検索、コマンド実行などの外部機能を、名前と引数でモデルが要求する形式です。実行の有無はエージェントランタイムと権限設定が決めます。
本文に戻る
サンドボックス — プログラムがファイル、ネットワーク、ホスト機能にアクセスできる範囲を制限する隔離環境です。保護範囲はマウント、ネットワーク、実行権限の設定で変わります。
本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか？: NVIDIA公式GGUFレシピは、VRAM 32GB以上と48GB以上のディスクリートGPUで異なるコンテキスト・バッチ設定を示しています。RTX 3090・5090の開始設定と記録項目を整理します。
必要なメモリはどのくらいですか？: RTX 3090の専用VRAMは24GBです。実行時はモデル重みに加えて、コンテキストを保存するKV cache、計算バッファ、画面出力、ドライバーも領域を使います。起動後にタスクマネージャーでVRAM使用量を確認し、短い`-c 4096`から安定する設定を探します。
条件と出典はどこで確認できますか？: RTX 3090でCPU優先テストを行う場合は、[公式モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)から約22GBのメインGGUFを取得し、`models\nemotron-bolt`に置きます。OSとランタイムバッファ用のシステムRAMも確保してください。最初の診断は`-c 4096 -ngl 0`で実行し、回答とRAM使用量を記録する試験経路です。回答が返ったら、下の-ngl 8と16を一つずつ選んで実行し、VRAMと出力を比較します。