JEV-35B NVFP4 추론을 B200에서 검토하는 법

JEV-35B는 상황·질문·선택지를 받아 선택지별 확률과 결정 결과를 반환해요. 고객 문의를 입력하면 결제·배송·기술지원 가운데 담당 부서를 고르는 식이에요. 이 모델은 Qwen3.5-35B-A3B를 바탕으로 결정 헤드와 어댑터를 더한 구성이에요.

NVFP4 배포본은 전문가 가중치를 압축해 다운로드 크기를 25.6GB로 줄였고, vLLM에서 가중치가 차지한 공간은 23.3GiB였어요. 공개 실행 기록의 시험 장비는 B200이에요. 모델 카드에는 RTX 5090·RTX PRO 6000·DGX Spark에서 필요한 커널 경로만 나와 있어, 이 장비들의 호환성은 별도로 확인해야 해요.

실행 예제는 NVFP4 서버에 티켓 한 건을 보내 반환 형식을 확인해요. 정확도 평가를 하려면 100건 이상에 정답 action을 붙여 별도 집계하고, BF16²과 비교할 때는 각 체크포인트³를 독립 실행해 결과를 나눠 기록하세요. 아래 요청은 NVFP4 한 건만 다룹니다.

공개 NVFP4 기록에서 B200 한 대의 단일 요청 지연 중앙값은 텍스트 227ms, 이미지 371ms였어요. 비교에는 텍스트 387건과 이미지 200건을 순서대로 보낸 요청 묶음을 사용했어요. 내 서버에서도 같은 티켓을 반복해 선택 정확도와 p50·p95 지연을 함께 기록하세요.

아래 절차는 NVFP4 전용이에요. hf download에는 Hugging Face CLI⁴가 필요하고, 카드의 serve.sh는 2026년 9월 vLLM 개발 빌드에서 시험됐어요. README는 정확한 vLLM 패키지 버전이나 commit을 지정하지 않으므로 해당 환경을 별도로 맞춰야 합니다.

python -m pip install -U huggingface_hub
hf download autotrust/JEV-35B-NVFP4 --revision 10c2c62610e315e31a75baca849ad79d526e4658 --local-dir JEV-35B-NVFP4
# Run this in the documented September 2026 vLLM development environment.
bash JEV-35B-NVFP4/serve.sh

터미널 1에서 서버를 실행하고 요청을 받을 준비가 될 때까지 기다려요. 서버를 켜 둔 채 터미널 2에서 아래 curl 명령을 실행하면 담당 부서를 고르는 요청 한 건을 보냅니다. 기본 포트는 8000이에요.

curl http://127.0.0.1:8000/v1/decide \
  -H 'Content-Type: application/json' \
  -d '{"kind":"choice","state":"Customer message: my card was charged twice for the same order.","question":"Which team should handle this ticket?","options":["billing","shipping","technical support","account security"]}'

요청의 options가 허용 선택지예요. 성공한 응답에는 선택지별 probabilities, 최종 choice, 그 위치인 choice_index, 처리량⁵ 정보인 usage가 돌아옵니다. choice가 업무 조치와 일치하는지, 확률이 낮은 사례를 사람 검토로 넘길 기준을 정답 라벨이 있는 티켓으로 정하세요.

이 배포본은 Apache 2.0 라이선스예요. 평가 기록에는 모델 revision과 실행 환경, 정답 라벨을 함께 남겨 다음 버전에서도 같은 요청으로 비교할 수 있게 해두세요.