모델별 실행 레시피
최종 업데이트
Groq 무료 API로 GPT-OSS 써보기: 계정부터 첫 응답까지
작은 코드 검토 요청 하나로 Groq API 연결과 무료 한도를 확인해요.
GroqCloud는 공개 가중치 모델을 클라우드에서 호스팅해 API1로 응답을 돌려줘요. GPT-OSS 20B를 호출하는 Python 예제와 공개 무료 한도, 키 입력·응답 종료·데이터 보관 조건을 설명해요.
Groq API로 공개 가중치 모델에 요청해요
Groq API는 대화 메시지와 모델 ID를 HTTPS 요청으로 보내면, GroqCloud가 호스팅하는 모델이 답변을 생성해 돌려주는 서비스예요. 여기서는 Python에서 openai/gpt-oss-20b에 짧은 코드 검토를 맡기고, 결과 텍스트와 응답 종료 상태를 읽어요.
GPT-OSS 20B와 120B는 Apache 2.0 라이선스로 가중치가 공개돼 있어 내 컴퓨터에서도 실행할 수 있어요. GroqCloud API에서는 openai/gpt-oss-20b와 openai/gpt-oss-120b라는 모델 ID로 호스팅 추론을 요청해요. OpenAI 공개 모델 안내와 GPT-OSS 20B 모델 카드
Free Plan 한도에서 모델을 고르세요
Groq가 공개한 Free Plan 요약에서 GPT-OSS 두 모델의 요청 수와 토큰2 한도는 같아요. 숫자는 RPM(분당 요청), RPD(일일 요청), TPM(분당 토큰), TPD(일일 토큰)을 뜻해요.
이 무료 표는 조직 단위의 공개 요약이에요. 각 계정에 적용되는 현재 값은 Groq Console의 Limits 화면에서 확인하세요. 입력과 생성 결과가 함께 분당 8K 토큰 한도에 들어가므로, 긴 파일을 통째로 붙이기보다 필요한 함수와 오류 설명부터 보내는 편이 맞아요.
| 모델 ID | 요청 한도 | 토큰 한도 |
|---|---|---|
openai/gpt-oss-20b | 30 RPM / 1K RPD | 8K TPM / 200K TPD |
openai/gpt-oss-120b | 30 RPM / 1K RPD | 8K TPM / 200K TPD |
계정과 API 키를 준비해요
GroqCloud 계정에서 Free Plan 상태를 확인한 뒤 API Keys에서 키를 만들어요. Developer 유료 플랜으로 올릴 때는 결제 수단이 필요하다고 Groq가 안내해요. 무료 범위로 시작하려면 현재 플랜 표시를 확인하고, 결제나 유료 업그레이드 화면이 나오면 의도한 이용 조건인지 확인한 뒤 진행하세요. Groq 결제 안내
아래 설치 명령은 macOS 또는 Linux 셸 기준이에요. API 키는 코드에 적지 말고 실행 중 숨김 입력으로 전달하면 명령 기록이나 소스 파일에 남지 않아요. 다음 절에서 예제를 저장한 뒤에도 가상환경3을 활성화한 같은 터미널에서 python groq_review.py를 실행하세요. 다른 Python 환경으로 실행하면 설치한 groq 패키지를 찾지 못할 수 있어요.
python3 -m venv .venv
source .venv/bin/activate
python -m pip install groq짧은 코드 검토 요청을 보내요
다음 내용을 groq_review.py로 저장하고 실행해요. getpass가 API 키를 화면에 표시하지 않고 입력받은 뒤 SDK가 chat completions endpoint에 JSON 요청을 보내요.
from getpass import getpass
from groq import Groq
client = Groq(api_key=getpass("Groq API key: "))
completion = client.chat.completions.create(
model="openai/gpt-oss-20b",
messages=[
{
"role": "user",
"content": (
"Review this function for the empty-list edge case and suggest a fix:\n\n"
"def average(values):\n"
" return sum(values) / len(values)"
),
}
],
reasoning_effort="low",
include_reasoning=False,
max_completion_tokens=2048,
)
choice = completion.choices[0]
print(choice.message.content or "(No final text was returned)")
print(f"finish_reason={choice.finish_reason}")
print(f"completion_tokens={completion.usage.completion_tokens}")
if choice.finish_reason == "length" and not choice.message.content:
print("The token limit may have been used before final text; shorten the request or raise max_completion_tokens.")python groq_review.py
응답 본문과 종료 상태를 함께 읽어요
정상 응답에서는 choices[0].message.content에 코드 검토 문장이 들어오고, finish_reason=stop이면 모델이 답변을 마친 상태예요. 출력은 모델이 만든 텍스트이므로, 변경 코드를 적용하기 전에 실제 입력과 함수 동작에 맞는지 읽어보세요.
finish_reason=length는 설정한 생성 토큰 한도에 도달했음을 뜻해요. GPT-OSS는 reasoning에도 응답 토큰 예산을 쓰므로 마지막 답변 문장이 비어 있다면 요청을 더 짧게 줄이거나 max_completion_tokens를 늘려 다시 요청해요. 표의 8K TPM을 고려해 큰 출력 한도를 무작정 올리기보다 필요한 답 길이에 맞추세요.
인증·모델·한도 오류를 구분해요
401이면 키를 다시 입력하고 API Keys에서 그 키가 아직 활성 상태인지 확인해요. 400에서 모델 오류가 나오면 openai/gpt-oss-20b 철자와 현재 지원 모델 목록을 대조해요.
429는 분당 요청·토큰이나 일일 요청·토큰 한도 중 하나에 닿았다는 뜻이에요. 응답 헤더의 retry-after와 x-ratelimit-remaining-requests, x-ratelimit-remaining-tokens를 살펴보고, 기다린 뒤 다시 보내거나 입력·출력 길이를 줄여요. 한도별 이름과 현재 잔여량은 Rate Limits 문서와 Console Limits에서 확인할 수 있어요.
보관 정책과 사용 장소를 정해요
Groq는 일반 inference4 요청의 고객 입력과 출력을 기본적으로 보관하지 않는다고 안내해요. 서비스 안정성 점검이나 오용 조사에 필요한 경우 입력·출력을 최대 30일 임시 기록할 수 있고, 이용량 메타데이터는 별도로 수집해요. Data Controls에서 Zero Data Retention을 설정할 수 있으며, Groq 데이터 안내에는 기능상 저장이 필요한 작업과 이 설정의 관계도 나와 있어요.
민감한 사내 코드나 고객 정보는 조직의 전송·처리 규정을 먼저 확인하고 요청에서 필요한 부분만 골라요. 인터넷 연결 없이 내 컴퓨터에서 처리해야 한다면 공개 가중치를 내려받아 로컬 런타임5으로 실행하고, 모델 파일을 직접 다루지 않고 호스팅 API를 시험하려면 GroqCloud를 이용해요. 무료 서비스들을 함께 비교하려면 무료 오픈웨이트 AI 서비스 안내에서 다른 제공자의 조건도 살펴보세요.
용어 각주
API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기Python 가상환경 — 프로젝트별로 Python 패키지를 분리해 설치하는 공간입니다. 패키지 버전 충돌을 줄이는 데 쓰입니다.
본문으로 돌아가기모델 추론 — 학습된 모델을 사용해 입력에 대한 출력을 계산하는 과정입니다. 이 사이트에서 로컬 추론은 사용자의 기기에서 모델을 실행하는 경우를 뜻합니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- GroqCloud는 공개 가중치 모델을 클라우드에서 호스팅해 API로 응답을 돌려줘요. GPT-OSS 20B를 호출하는 Python 예제와 공개 무료 한도, 키 입력·응답 종료·데이터 보관 조건을 설명해요.
- 조건과 출처는 어디서 확인하나요?
- GPT-OSS 20B와 120B는 Apache 2.0 라이선스로 가중치가 공개돼 있어 내 컴퓨터에서도 실행할 수 있어요. GroqCloud API에서는 `openai/gpt-oss-20b`와 `openai/gpt-oss-120b`라는 모델 ID로 호스팅 추론을 요청해요. [OpenAI 공개 모델 안내](https://help.openai.com/en/articles/11870455-openai-open-weight-models)와 [GPT-OSS 20B 모델 카드](https://huggingface.co/openai/gpt-oss-20b)