조건과 출처는 어디서 확인하나요?

정밀도는 구성요소마다 달라요. Mamba 선형층은 NVFP4, lm_head·토큰 임베딩·어텐션·Latent MoE 가중치는 Q8_0으로 저장해요. 모델 카드의 각 GGUF 파일 크기를 확인하면 사용할 메인 모델과 이미지 프로젝터, drafter의 저장 공간을 계산할 수 있어요.

새로 나온 모델 · 2026.10.16

최종 업데이트 2026-10-30

네모트론 3.5 Bolt, 74B 모델을 24GB로 돌릴 수 있다고?

모델 구성과 공식 프로필을 따라 첫 응답을 확인하고, 필요한 메모리를 직접 점검해요.

Nemotron 3.5 Bolt 74B-A9B는 큰 Nemotron 모델을 압축한 하이브리드 언어·비전 모델이에요. NVIDIA의 llama.cpp 레시피로 받아 실행하는 방법과 GPU¹ 메모리별 설정을 안내해요.

Nemotron 3.5 Bolt 74B-A9B는 질문과 도구 결과를 받아 답변을 만들고, 여러 단계의 에이전트 작업을 수행하도록 설계한 로컬 언어 모델이에요. 74B는 전체 파라미터 수, A9B는 한 토큰²을 처리할 때 활성화되는 파라미터 규모를 나타내요. 모델을 작게 다시 학습한 대신, 큰 Nemotron 3.5 Super VL에서 구조를 압축하고 가중치를 강하게 양자화³해 작은 장비에서 돌리는 경로를 택했어요. NVIDIA의 모델 설명

공식 GGUF⁴를 내려받고 llama.cpp로 실행한 뒤, GPU 메모리별 권장 문맥 길이와 첫 응답 점검을 살펴봐요. 배포 파일에는 메인 모델과 이미지 프로젝터, DFlash 초안 모델이 나뉘어 있으니 목적에 필요한 구성을 먼저 고르면 돼요. 공식 GGUF 모델 카드

실행 조건과 핵심 내용

74B는 전체 파라미터, A9B는 토큰당 활성 파라미터 규모를 나타내고, GGUF 파일 크기는 파일별로 따로 표시돼요.
전문가 가중치 IQ2_XXS, Mamba 선형층 NVFP4, 일부 구성요소 Q8_0으로 양자화해요.
메모리에는 모델 가중치 외에 문맥 상태·실행 버퍼·다른 앱도 함께 고려해야 해요.

74B 모델의 전문가 가중치를 2비트로 압축해요

NVIDIA Nemotron 3.5 Bolt는 질문이나 코드 같은 프롬프트⁵를 받아 답을 생성하는 74B 모델이에요. 24GB 구성에서 실행하도록 전문가(expert) 가중치 대부분을 2.0625비트/요소인 IQ2_XXS로 저장하고, 낮아진 정밀도에서 품질을 회복하기 위해 양자화 인식 증류(QAD)를 적용했어요.

24GB 구성은 batch size⁶ 1과 128K 문맥을 기준으로 한 메모리 예산이에요. NVIDIA가 권하는 실제 실행 문맥은 GPU 메모리에 따라 65,536 또는 262,144 토큰이에요.

정밀도는 구성요소마다 달라요. Mamba 선형층은 NVFP4⁷, lm_head·토큰 임베딩·어텐션⁸·Latent MoE⁹ 가중치는 Q8_0으로 저장해요. 모델 카드의 각 GGUF 파일 크기를 확인하면 사용할 메인 모델과 이미지 프로젝터, drafter의 저장 공간을 계산할 수 있어요.

한 토큰을 만들 때는 라우터가 일부 전문가를 선택해 계산하고, Mamba와 Transformer¹⁰ 블록도 함께 지나가요. A9B는 토큰마다 활성화되는 파라미터 규모를 말해요. 실제 속도를 비교할 때는 메모리 대역폭¹¹, 런타임¹² 커널, GPU 오프로드, 입력 길이, 동시 요청 수를 함께 기록하세요.

모니터와 소형 컴퓨터, 데스크톱 본체가 놓인 작업대 — 내 PC에서 모델을 불러오고 첫 응답까지 확인해요.

24GB PC에서 먼저 확인할 것

실행 메모리는 GPU와 CPU¹³ 배치를 나눠 확인해요. GPU에 놓인 가중치·KV 캐시¹⁴·계산 버퍼의 사용량은 VRAM¹⁵ 여유와 비교하고, CPU에 남긴 부분과 운영체제·브라우저·에디터가 쓰는 양은 시스템 RAM¹⁶ 여유와 함께 살펴보세요. GPU 레이어를 늘리면 두 메모리 쪽 사용량도 달라집니다.

실행 전에는 모델 카드에서 실제 GGUF 이름과 다운로드 크기, 관련 drafter 파일을 확인해요. llama.cpp는 Mamba와 해당 양자화 형식을 지원하는 빌드여야 해요. 이미 설치한 프로그램의 버전이 오래됐다면 모델 로딩 실패를 메모리 문제로 오해할 수 있으니, 공식 GGUF 카드의 사용 안내와 현재 런타임 릴리스 설명을 함께 맞춰 보세요. Bolt 발표 자료의 테스트 경로는 Windows 11 ARM x64에서 llama.cpp를 사용했어요.

RTX 그래픽카드가 있는 데스크톱에서는 GPU 메모리에 전부 올릴지, 일부 레이어를 시스템 메모리로 넘길지 런타임이 정하게 할 수 있어요. 일부 오프로드는 실행을 가능하게 해도 메모리 대역폭이 다른 경로를 거치므로 처리량¹⁷이 크게 달라질 수 있어요. 시작할 때는 컨텍스트를 짧게 잡고 동시 요청을 하나만 보내세요. 작업 관리자의 전용 GPU 메모리와 시스템 메모리, 런타임 로그를 함께 보면서 안정적으로 응답하는 구성을 찾은 뒤 입력 길이를 늘리면 원인을 나눠 볼 수 있어요.

llama.cpp에서 첫 답을 확인해요

Windows는 PowerShell에서 winget install llama.cpp로 설치해요. 이어서 빠른 시작 명령을 실행하면 모델을 내려받고 http://127.0.0.1:8080에서 로컬 채팅 화면을 열어요. 짧은 질문에 답이 돌아오는지 확인한 뒤 Ctrl+C로 서버를 종료해요. 5090에서는 아래 공식 프로필을 별도 실행할 수 있어요. NVIDIA GGUF 모델 카드

처음에는 모델 이름과 파일 진행률이 터미널에 나타나고, 로딩이 끝나면 서버가 준비됐다는 로그와 주소를 출력해요. 같은 PC의 브라우저에서 화면을 열어 다음 문장을 한 문장으로 요약해 줘: 모델은 질문을 입력받아 답을 생성한다.를 보내 보세요. 질문에 맞는 요약이 돌아오면 텍스트 추론이 연결된 상태예요. 속도 비교는 첫 파일 로드, 첫 토큰까지 걸린 시간, 생성 중 token/s를 따로 재면 로딩 시간과 답변 속도를 구분할 수 있어요.

RTX 5090의 32GB VRAM은 NVIDIA의 dGPU 32GB+ 레시피 대상이에요. 메인 GGUF와 mmproj, LiLiCorr drafter를 모델 카드의 파일명으로 내려받고 PowerShell 경로를 설정해 실행하면 문맥 65,536·시퀀스 1개·DFlash 초안 최대 6토큰·Q8_0 KV 캐시로 시작해요. 자동 다운로드는 빠른 시작, 아래 프로필은 세 파일을 직접 준비하는 방법이에요. 빠른 시작 서버를 Ctrl+C로 종료한 뒤 5090 서버를 실행하세요. NVIDIA Windows 레시피

터미널에 unsupported tensor가 나오면 모델 카드가 안내하는 최신 llama.cpp 빌드인지 확인하고, CUDA¹⁸ 메모리 오류면 실행을 멈춘 뒤 컨텍스트·배치 크기부터 낮춰요. Windows 작업 관리자에서 GPU의 전용 메모리와 시스템 메모리를 확인하면 어느 쪽이 먼저 찼는지 알 수 있어요. 서버가 준비됐는데 화면이 열리지 않을 때는 로그의 주소와 포트를 확인하고 같은 PC에서 127.0.0.1:8080으로 접속해요.

Windows에서 llama.cpp 빠른 시작 실행

winget install llama.cpp
llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF --host 127.0.0.1 --port 8080

모델을 내려받고 `http://127.0.0.1:8080`에서 짧은 질문을 시험해요. 서버를 끝내려면 터미널에서 Ctrl+C를 눌러요.

RTX 5090 프로필용 GGUF 파일 직접 다운로드

python -m pip install --upgrade huggingface_hub
$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  --local-dir "$env:MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf `
  --local-dir "$env:MODEL_DIR"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"

이 코드는 프로필 파일을 내려받고 경로를 지정해요. 다운로드가 끝나면 같은 PowerShell에서 다음 서버 명령을 실행해요.

RTX 5090용 NVIDIA 공식 28GB 서버 프로필

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"
llama-server.exe `
  --model "$env:MODEL" `
  --mmproj "$env:MMPROJ" `
  --batch-size 2048 `
  --ubatch-size 512 `
  --ctx-size 65536 `
  --parallel 1 `
  -ngl 999 `
  --spec-type draft-dflash `
  --spec-draft-n-max 6 `
  --spec-draft-model "$env:SPEC_DRAFT" `
  --spec-draft-ngl 999 `
  --cache-type-k q8_0 `
  --cache-type-v q8_0 `
  --temp 1.0 `
  --top-p 0.95 `
  --flash-attn on `
  --jinja `
  --host 127.0.0.1 `
  --port 8080

정확한 GGUF 파일을 `models\nemotron-bolt`에 둔 뒤 한 서버만 실행해요. 확인 후 Ctrl+C로 종료하면 돼요.

랙 서버 섀시의 덮개가 열려 내부 모듈이 보이는 모습 — 가중치와 문맥 상태를 함께 고려해 실행 메모리를 정해요.

RTX Spark에서 공개된 생성·에이전트 속도

NVIDIA는 Surface Laptop Ultra 128GB의 RTX Spark에서 Windows 11 ARM x64와 llama.cpp로 모델을 비교했어요. 생성 속도를 재는 AIPerf SPEED-Bench-Coding과 여러 단계 작업을 다시 실행하는 AA-AgentPerf Local은 서로 다른 시간을 측정해요. 모델별 속도와 측정 조건은 이 묶음의 ‘Nemotron Bolt와 Qwen3.8-27B 비교’ 글에 표로 정리했어요. 여기서는 각 지표가 어떤 작업을 대표하는지 구분해 둬요.

TPS는 고정 입력에서 토큰을 생성하는 처리량이고, replay duration은 도구 사용을 포함한 정해진 에이전트 작업 묶음의 완료 시간이에요. 짧은 코드 보완이 목적이면 TPS와 첫 토큰 지연을, 여러 도구를 이어 쓰는 작업이면 전체 replay 시간을 먼저 보세요.

발표 수치를 내 PC에 대입하기보다 실제로 맡길 작업을 하나 골라 같은 프롬프트·문서·도구를 써 보세요. 처음에는 짧은 입력으로 응답 품질과 첫 토큰 지연을 기록하고, 그다음 평소 문서와 반복 도구 호출¹⁹을 추가해 전체 시간·VRAM·실패 수를 비교하면 설정을 바꿀 이유가 분명해져요.

Bolt와 Qwen3.8의 전체 측정표 보기

로컬 에이전트 작업에서 Bolt를 시험해 볼 때

Bolt를 살펴볼 이유는 70B급 전체 규모의 모델이 필요한데, 데이터센터 서버에 올리지 않고 RTX 계열이나 DGX Spark에서 에이전트 작업을 해 보고 싶은 경우예요. 터미널 조작, 웹 탐색, 여러 단계의 계획 같은 NVIDIA 평가 작업을 목표로 한다면 공개된 모델 카드와 프롬프트 형식을 먼저 맞춰 보세요. 품질과 도구 호출 성공률은 내 에이전트의 지시문·도구·안전 설정에 달려 있으니, 실제 자동화에 연결하기 전 샌드박스²⁰에서 한 작업씩 검증해야 해요.

24GB 카드에서 Bolt를 시험하려면 CPU/RAM 우선 명령으로 답변이 나오는지 확인하고, 성공한 설정에서 GPU 레이어를 올려 보세요. 설정을 하나씩 바꾸는 이유는 모델 로딩 실패와 GPU 메모리 한계를 분리하기 위해서예요. 구체적 시작 명령은 3090·5090 실행 가이드에 있어요.

책상 위 소형 컴퓨터와 뒤쪽 서버 랙이 함께 보이는 작업실 — 목표로 삼은 작업을 올릴 PC에서 문맥과 요청 수를 시험해요.

용어 각주

GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기
양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기
GGUF — 모델 정보를 담는 파일 형식으로 llama.cpp 계열 도구에서 널리 사용됩니다.
본문으로 돌아가기
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
배치 크기 — 한 번의 처리 묶음에 함께 넣는 입력 또는 요청의 수입니다.
본문으로 돌아가기
NVFP4 — NVIDIA가 정의한 4비트 부동소수점 데이터 형식입니다. 지원 여부는 GPU 세대, 모델과 소프트웨어 구현에 따라 다릅니다.
본문으로 돌아가기
어텐션 — 입력 토큰 사이의 관련도를 계산해 각 위치의 정보를 현재 표현에 반영하는 신경망 연산입니다.
본문으로 돌아가기
MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기
트랜스포머 — Attention을 중심으로 입력 안의 관계를 계산하는 신경망 구조입니다. 언어 모델을 비롯해 이미지, 음성, 영상 모델에도 사용됩니다.
본문으로 돌아가기
메모리 대역폭 — 메모리와 프로세서 사이에서 단위 시간에 전송할 수 있는 데이터 양입니다. 보통 초당 바이트(B/s)로 나타냅니다.
본문으로 돌아가기
런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기
CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기
KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기
VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기
시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기
처리량 — 일정 시간 동안 처리하거나 생성한 작업량입니다. 토큰/초, 요청/초처럼 단위를 함께 확인해야 비교할 수 있습니다.
본문으로 돌아가기
CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기
도구 호출 — 모델이 파일 읽기·검색·명령 실행 같은 외부 기능의 이름과 인자를 요청하는 형식입니다. 요청을 실제로 실행할지는 에이전트 런타임과 권한 설정이 결정합니다.
본문으로 돌아가기
샌드박스 — 프로그램이 파일·네트워크·호스트 기능에 접근하는 범위를 제한하는 격리 환경입니다. 실제 보호 범위는 마운트·네트워크·실행 권한 설정에 따라 달라집니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: Nemotron 3.5 Bolt 74B-A9B는 큰 Nemotron 모델을 압축한 하이브리드 언어·비전 모델이에요. NVIDIA의 llama.cpp 레시피로 받아 실행하는 방법과 GPU 메모리별 설정을 안내해요.
필요한 메모리는 어느 정도인가요?: 24GB 구성은 batch size 1과 128K 문맥을 기준으로 한 메모리 예산이에요. NVIDIA가 권하는 실제 실행 문맥은 GPU 메모리에 따라 65,536 또는 262,144 토큰이에요.
조건과 출처는 어디서 확인하나요?: 정밀도는 구성요소마다 달라요. Mamba 선형층은 NVFP4, lm_head·토큰 임베딩·어텐션·Latent MoE 가중치는 Q8_0으로 저장해요. 모델 카드의 각 GGUF 파일 크기를 확인하면 사용할 메인 모델과 이미지 프로젝터, drafter의 저장 공간을 계산할 수 있어요.