이 글에서 가장 먼저 확인할 것은 무엇인가요?

NVIDIA API Catalog에서 호스팅 모델을 고르고, Python에서 모델 ID와 API 키로 질문을 보내 답변을 받아요.

모델별 실행 레시피

최종 업데이트 2026-10-30

NVIDIA Nemotron 무료 API 체험: 개발용 endpoint로 첫 요청 보내기

무료 개발 endpoint에 짧은 Python 요청을 보내 응답을 확인해요.

NVIDIA API¹ Catalog에서 호스팅 모델을 고르고, Python에서 모델 ID와 API 키로 질문을 보내 답변을 받아요.

실행 조건과 핵심 내용

현재 카탈로그에서 Nemotron 3.5 Lightning은 Free Endpoint와 Download Available로 표시돼요.
호스팅 API 시험 조건과 내려받은 가중치의 OpenMDW 라이선스는 별도로 확인해요.

텍스트 요청을 보내면 호스팅 모델이 답을 돌려줘요

NVIDIA API Catalog는 NVIDIA 서버에서 실행되는 모델을 API로 써볼 수 있는 개발자 서비스예요. 카탈로그에서 모델과 예제를 살펴보고, Python에서 API 키와 모델 ID를 넣어 질문을 보낼 수 있어요. 이번에는 Nemotron 3.5 Lightning에 짧은 질문을 보내고 답변과 finish_reason을 확인해볼게요.

노트북의 대화 화면과 모니터의 코드 옆에 소형 컴퓨터가 놓여 있다 — Python 예제는 429 오류의 뜻과 다음에 할 일을 두 항목으로 묻고, 모델 답변을 터미널에 보여줘요.

무료 endpoint와 모델 조건을 확인해요

현재 카탈로그의 nvidia/nemotron-3.5-lightning-30b-a3b 페이지는 Free Endpoint와 Download Available을 함께 표시해요. 호스팅 API로 시험할 때 사용할 ID는 nvidia/nemotron-3.5-lightning-30b-a3b이고, 공개 가중치는 Hugging Face에서도 확인할 수 있어요. API Trial Terms는 hosted endpoint 이용에, OpenMDW License 1.1은 모델 자료 이용에 각각 적용돼요.

Nemotron 3.5 Lightning은 총 30B 가운데 3B 파라미터가 활성화되는 텍스트 모델이에요. 모델카드가 지원한다고 명시한 언어에는 영어와 일본어 등이 포함되고, 한국어는 지원 목록에 없어요. 한국어 결과가 필요한 작업이라면 공개 가능한 짧은 입력으로 먼저 품질을 점검하세요.

키와 Python 환경을 준비해요

카탈로그의 Build 화면에서 Generate API Key를 눌러 키를 발급하고, 비밀번호 관리자에 보관해요. 이 API는 NVIDIA 서버에서 입력을 처리해요. NVIDIA API Trial Terms는 입력과 응답을 서비스 제공과 개선에 사용할 수 있다고 밝히고, 기밀·민감·개인·건강·결제 정보의 입력을 제한해요. 아래 예제에는 공개 가능한 짧은 문장만 넣어요.

macOS/Linux 셸에서 Python 가상환경²을 만들고 OpenAI 호환 SDK를 설치해요. 다음 단계에서 quickstart.py를 저장해 같은 터미널에서 실행해요.

가상환경과 OpenAI SDK 준비

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip openai

이 환경에 SDK를 설치한 뒤 다음 Python 파일을 실행해요.

로봇이 노트북을 사용하고, 뒤쪽 열린 함에는 문서와 네트워크를 상징하는 열쇠가 걸려 있다 — 요청을 보내기 전에 API 키가 어느 서비스와 권한에 연결되는지 확인하세요.

짧은 요청을 보내고 종료 상태를 읽어요

quickstart.py는 실행 중 키를 화면에 표시하지 않고 입력받아요. 카탈로그 endpoint와 모델 ID를 지정하고, 모델에게 429 오류의 뜻과 다음 대응을 두 항목으로 설명해 달라고 물어요. 코드는 모델의 답변과 finish_reason을 출력해요. max_tokens는 생성 토큰³ 상한을, reasoning_budget은 추론에 쓸 토큰 상한을 정해요.

Nemotron endpoint에 Python 요청 보내기

# quickstart.py
from getpass import getpass
from openai import OpenAI

client = OpenAI(
    base_url="https://integrate.api.nvidia.com/v1",
    api_key=getpass("NVIDIA API key: "),
)

response = client.chat.completions.create(
    model="nvidia/nemotron-3.5-lightning-30b-a3b",
    messages=[{"role": "user", "content": "In two short bullets, explain what a 429 API error means and what to try next."}],
    max_tokens=8192,
    extra_body={"chat_template_kwargs": {"enable_thinking": True}, "reasoning_budget": 4096},
)

choice = response.choices[0]
if choice.message.content:
    print(choice.message.content)
else:
    print(f"No final text returned; finish_reason={choice.finish_reason}")
print(f"finish_reason={choice.finish_reason}")

`python quickstart.py`를 실행하면 모델의 설명 답변과 `finish_reason`이 터미널에 출력돼요.

예제 실행

python quickstart.py

응답 텍스트와 완료 상태를 함께 확인해요.

키 오류와 사용 범위를 확인해요

정상 실행이면 choice.message.content에 모델 답변이 들어오고 finish_reason에는 생성 종료 상태가 표시돼요. 401이면 키가 올바른지 카탈로그에서 다시 확인하고, 429이면 잠시 뒤 요청 간격을 두고 재시도하세요. 모델 페이지에서 현재 Free Endpoint 상태와 계정의 사용 가능 여부를 함께 확인할 수 있어요.

Developer Program의 API endpoint는 개발·시험·평가 용도예요. 공개 문서에는 월 크레딧이나 보장 요청 수가 나오지 않으며, 실제 사용자에게 제공하는 운영 서비스에는 별도 이용 경로가 필요해요.

책상 위 모니터에 대화 화면과 코드 편집기가 나란히 표시돼 있어요. — 터미널에 답변이 비어 있다면 `finish_reason`부터 확인하세요.

용어 각주

API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.
본문으로 돌아가기
Python 가상환경 — 프로젝트별로 Python 패키지를 분리해 설치하는 공간입니다. 패키지 버전 충돌을 줄이는 데 쓰입니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: NVIDIA API Catalog에서 호스팅 모델을 고르고, Python에서 모델 ID와 API 키로 질문을 보내 답변을 받아요.