RTX 3090·5090에서 Nemotron Bolt를 어떤 설정으로 실행할까?

메인 GGUF·KV 캐시·실행 버퍼가 쓰는 메모리를 기록하며 3090과 5090의 시작 설정을 시험해요.

NVIDIA의 공식 GGUF¹ 레시피는 32GB 이상 dGPU와 48GB 이상 dGPU에 서로 다른 문맥·배치 설정을 제시해요. RTX 3090·5090에서 어떤 설정을 시작점으로 삼고 무엇을 기록할지 정리해요.

RTX 3090은 24GB GDDR6X, RTX 5090은 32GB GDDR7 VRAM²을 탑재해요. 실행 중에는 GGUF 가중치 외에 KV 캐시³와 CUDA⁴ 버퍼가 메모리를 사용하므로, 모델을 불러온 뒤 GPU⁵·시스템 메모리 사용량을 함께 기록하세요. NVIDIA의 공개 속도 측정은 RTX Spark가 탑재된 Surface Laptop Ultra 128GB에서 진행했어요. RTX 3090 사양 · Bolt 측정 조건

RTX 3090/5090에서 시작할 설정과 메모리 기록 순서를 정리했어요. 먼저 모델 파일 크기와 llama.cpp 지원 형식을 확인하고, 짧은 문맥으로 한 차례 실행한 뒤 로딩 시간·첫 응답·VRAM·시스템 RAM⁶을 기록하세요. 이 값으로 다음에 문맥이나 GPU 레이어를 조정할 기준을 세울 수 있어요.

실행 조건과 핵심 내용

3090의 24GB는 전용 VRAM이고, 실행 중에는 가중치·KV 캐시·계산 버퍼가 함께 공간을 써요.
5090은 공식 28GB dGPU 레시피, 3090은 CPU/RAM 우선 경로로 각각 시작해요.
3090은 답이 나온 설정에서 -ngl을 단계적으로 올리고 VRAM과 시스템 RAM을 기록해요.

실행 메모리는 가중치와 문맥이 함께 써요

RTX 3090에는 전용 VRAM 24GB가 있어요. 실행 중에는 모델 가중치와 함께 문맥을 저장하는 KV 캐시, 계산 버퍼, 화면 출력과 드라이버도 공간을 사용해요. 실행을 시작한 뒤 작업 관리자에서 VRAM 사용량을 확인하고 -c 4096의 짧은 문맥부터 안정적인 설정을 찾아가면 돼요.

RTX 5090은 32GB VRAM으로 NVIDIA의 32GB+ dGPU 프로필을 사용할 수 있어요. 최신 llama.cpp의 Mamba·Transformer⁷ 연산과 IQ2_XXS 지원을 확인한 뒤 모델을 불러오고, 문맥 길이와 동시 요청 수를 차례로 조정하면서 필요한 메모리를 기록하세요.

모니터와 소형 컴퓨터, 데스크톱 본체가 놓인 작업대 — GPU 메모리에 들어가는 가중치와 문맥 공간을 나눠 확인해요.

5090은 공식 프로필, 3090은 CPU부터 시험해요

RTX 5090 32GB는 NVIDIA의 공식 28GB dGPU 레시피 대상에 들어가요. 메인 GGUF와 mmproj, 별도 LiLiCorr drafter를 내려받고 각 경로를 PowerShell 환경 변수로 지정한 뒤, 모델 카드의 명령을 그대로 실행하면 문맥 65,536·시퀀스 1개·DFlash 최대 6토큰⁸·Q8_0 KV 설정으로 서버가 시작돼요. 이미지 질문을 하지 않는 텍스트 테스트에서도 공식 레시피가 내려받도록 지정한 mmproj 파일은 그대로 준비해야 해요.

RTX 3090에서 CPU⁹ 우선 시험을 하려면 공식 모델 카드에서 약 22GB인 메인 GGUF를 내려받고 models\nemotron-bolt에 두세요. OS와 런타임¹⁰ 버퍼가 쓸 여유 RAM도 확보해요. 첫 진단은 -c 4096 -ngl 0으로 실행해 응답과 RAM 사용량을 기록하는 실험 경로예요. 응답이 오면 아래의 -ngl 8과 16을 차례로 골라 실행하고 VRAM·결과를 비교해요.

5090과 3090 명령은 동시에 실행하지 않아요. 하나씩 실행해 응답과 메모리를 기록하고, 다음 설정으로 넘어갈 때는 이전 서버 터미널에서 Ctrl+C를 눌러 종료해요.

RTX 5090용 모델·프로젝터·drafter 다운로드

python -m pip install --upgrade huggingface_hub
$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  --local-dir "$env:MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf `
  --local-dir "$env:MODEL_DIR"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"

다운로드와 경로 설정이 끝나면 같은 PowerShell에서 공식 서버 프로필을 실행해요.

RTX 5090 공식 28GB 프로필 실행

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"
llama-server.exe `
  --model "$env:MODEL" `
  --mmproj "$env:MMPROJ" `
  --batch-size 2048 `
  --ubatch-size 512 `
  --ctx-size 65536 `
  --parallel 1 `
  -ngl 999 `
  --spec-type draft-dflash `
  --spec-draft-n-max 6 `
  --spec-draft-model "$env:SPEC_DRAFT" `
  --spec-draft-ngl 999 `
  --cache-type-k q8_0 `
  --cache-type-v q8_0 `
  --temp 1.0 `
  --top-p 0.95 `
  --flash-attn on `
  --jinja `
  --host 127.0.0.1 `
  --port 8080

세 파일을 같은 폴더에 내려받은 뒤 실행해요. 서버 응답을 확인하고 Ctrl+C로 끝내면 다음 3090 명령을 실행할 수 있어요.

RTX 3090에서 CPU 우선으로 첫 응답 시험

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 0 --host 127.0.0.1 --port 8080

앞 단계와 같은 PowerShell에서 실행해요. 답변과 메모리 사용을 기록한 뒤 Ctrl+C로 서버를 끝내요.

3090에서 GPU 레이어 8개로 다음 시험

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 8 --host 127.0.0.1 --port 8080

CPU 시험을 Ctrl+C로 끝낸 뒤 실행해요. 응답과 VRAM을 기록하고 종료해요.

3090에서 GPU 레이어 16개로 추가 시험

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 16 --host 127.0.0.1 --port 8080

8개 레이어 서버를 Ctrl+C로 끝낸 뒤 실행해요. 결과가 나오면 앞 단계와 메모리·응답을 비교해요.

3090과 5090을 비교할 때 기록할 것

두 카드의 속도를 비교할 수 있다면 같은 PC·드라이버·llama.cpp 빌드·모델 파일·컨텍스트·프롬프트¹¹를 고정해요. 첫 로드 시간, 첫 토큰까지의 지연, 생성 token/s, 사용 VRAM, 생성된 답의 정확성을 각각 적습니다. 프롬프트를 짧게 유지하는 벤치마크 TPS와 실제 문서를 넣은 응답 완료 시간은 다를 수 있으므로, 둘 다 필요한 사용자라면 별도로 측정해요. 측정 횟수도 같게 맞추고 평균과 함께 중앙값을 보면 한 번의 백그라운드 작업이 결과를 흔드는 일을 줄일 수 있어요.

NVIDIA 공개 측정은 128GB Surface Laptop Ultra에 탑재된 RTX Spark에서 진행했어요. 데스크톱 3090·5090의 GPU 세대만으로 그 결과를 환산할 수는 없어요. VRAM 외에도 대역폭과 CPU/GPU 오프로드, 런타임 커널이 달라지므로 카드별 시험은 같은 모델·문맥·프롬프트로 따로 해야 해요.

랙 서버 섀시의 덮개가 열려 내부 모듈이 보이는 모습 — 3090과 5090의 실행 조건을 같은 작업에서 비교해요.

실제 작업을 짧은 단계부터 늘려요

첫 응답이 돌아오면 평소 사용할 짧은 코드 편집이나 웹 조사 요청을 단일 프롬프트로 보내 답의 품질을 봐요. 이어서 도구 호출¹²을 켜고 같은 요청을 샌드박스¹³에서 실행해 변경 파일과 참조 출처를 확인하세요. 도구 결과를 검토하는 시간까지 포함해 작업 완료 시간을 기록해요.

CPU/RAM 실행이 실패하면 모델 파일 경로와 llama.cpp 지원 형식, 시스템 RAM 여유, 오류 로그부터 확인해요. GPU 레이어를 올리다가 메모리 오류가 나타나면 직전에 응답한 -ngl 설정으로 돌아가고, 긴 문맥은 정상 응답을 확인한 뒤 단계적으로 시험해요.

책상 위 소형 컴퓨터와 뒤쪽 서버 랙이 함께 보이는 작업실 — 로그와 메모리 사용량을 기록해 다음 설정을 정해요.

용어 각주

GGUF — 모델 정보를 담는 파일 형식으로 llama.cpp 계열 도구에서 널리 사용됩니다.
본문으로 돌아가기
VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기
KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기
CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기
트랜스포머 — Attention을 중심으로 입력 안의 관계를 계산하는 신경망 구조입니다. 언어 모델을 비롯해 이미지, 음성, 영상 모델에도 사용됩니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기
CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기
런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
도구 호출 — 모델이 파일 읽기·검색·명령 실행 같은 외부 기능의 이름과 인자를 요청하는 형식입니다. 요청을 실제로 실행할지는 에이전트 런타임과 권한 설정이 결정합니다.
본문으로 돌아가기
샌드박스 — 프로그램이 파일·네트워크·호스트 기능에 접근하는 범위를 제한하는 격리 환경입니다. 실제 보호 범위는 마운트·네트워크·실행 권한 설정에 따라 달라집니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: NVIDIA의 공식 GGUF 레시피는 32GB 이상 dGPU와 48GB 이상 dGPU에 서로 다른 문맥·배치 설정을 제시해요. RTX 3090·5090에서 어떤 설정을 시작점으로 삼고 무엇을 기록할지 정리해요.
필요한 메모리는 어느 정도인가요?: RTX 3090에는 전용 VRAM 24GB가 있어요. 실행 중에는 모델 가중치와 함께 문맥을 저장하는 KV 캐시, 계산 버퍼, 화면 출력과 드라이버도 공간을 사용해요. 실행을 시작한 뒤 작업 관리자에서 VRAM 사용량을 확인하고 `-c 4096`의 짧은 문맥부터 안정적인 설정을 찾아가면 돼요.
조건과 출처는 어디서 확인하나요?: RTX 3090에서 CPU 우선 시험을 하려면 [공식 모델 카드](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)에서 약 22GB인 메인 GGUF를 내려받고 `models\nemotron-bolt`에 두세요. OS와 런타임 버퍼가 쓸 여유 RAM도 확보해요. 첫 진단은 `-c 4096 -ngl 0`으로 실행해 응답과 RAM 사용량을 기록하는 실험 경로예요. 응답이 오면 아래의 -ngl 8과 16을 차례로 골라 실행하고 VRAM·결과를 비교해요.