この記事で最初に確認すべきことは何ですか？

JEV-35Bは状況・質問・選択肢を受け取り、選択肢ごとの確率と判断を返すモデルです。NVFP4配布版は専門家重みを圧縮し、ダウンロード容量を抑えています。

実行プログラムと拡張機能

JEV-35B NVFP4推論をB200で検証する方法

25.6GBの重みとB200での検証範囲を基準に適合性を確認します。

JEV-35Bは状況・質問・選択肢を受け取り、選択肢ごとの確率と判断を返すモデルです。NVFP4¹配布版は専門家重みを圧縮し、ダウンロード容量を抑えています。

最初に配布variantを確認します

JEV-35Bは状況・質問・選択肢を受け取り、選択肢ごとの確率と判断結果を返します。たとえば、顧客からの問い合わせを入力し、請求・配送・技術サポートの担当を選べます。このモデルはQwen3.5-35B-A3Bをベースに、決定ヘッドとアダプターを加えた構成です。

NVFP4配布版は専門家重みを圧縮し、ダウンロード容量を25.6GBに抑えています。vLLMでは重みが23.3GiBを占めました。公開実行記録に記載されたテスト機はB200です。カードでRTX 5090、RTX PRO 6000、DGX Sparkについて案内されているのはカーネル経路のみのため、これらの環境での互換性は別途確認が必要です。

机上の依頼に対して候補から選ぶシステム — 決定出力はチャット応答と分けて確認します。

同じリクエストで判断品質を確認します

実行例はNVFP4 serverにticketを1件送り、応答形式を確認します。精度評価では100件以上に正解actionを付けて別集計し、BF16²比較では各checkpoint³を独立実行して結果を分けます。下のrequestはNVFP4の1回だけです。

公開NVFP4実行ではB200 1台で単一要求の中央値がtext 227ms、image 371msでした。text 387件とimage 200件を順次処理した比較です。手元serverでも同じticketを繰り返し、正解率とp50・p95遅延を記録します。

候補のスコアを比べて最上位を選ぶ画面 — 他のdecisionモデルと同じチケット集合で比較します。

異なるrecipeを混ぜません

この手順はNVFP4専用です。hf downloadにはHugging Face CLI⁴が必要です。カードによるとserve.shは2026年9月のvLLM開発版でテストされていますが、READMEは正確なpackage versionやcommitを指定していないためruntime⁵は別途用意します。

NVFP4カードのrevisionを固定して公式serverを起動

python -m pip install -U huggingface_hub
hf download autotrust/JEV-35B-NVFP4 --revision 10c2c62610e315e31a75baca849ad79d526e4658 --local-dir JEV-35B-NVFP4
# Run this in the documented September 2026 vLLM development environment.
bash JEV-35B-NVFP4/serve.sh

カードのvLLM開発runtimeを別途用意してからserver terminalで実行します。

terminal 1でserverを起動し、準備完了を待ちます。起動したままterminal 2から下のcurl要求を送り、問い合わせ1件の担当部署を選びます。既定portは8000です。

System 1の選択要求を送信

curl http://127.0.0.1:8000/v1/decide \
  -H 'Content-Type: application/json' \
  -d '{"kind":"choice","state":"Customer message: my card was charged twice for the same order.","question":"Which team should handle this ticket?","options":["billing","shipping","technical support","account security"]}'

requestのoptionsが選択可能な値です。成功応答には候補ごとのprobabilities、選択されたchoice、その位置を示すchoice_index、処理情報のusageが含まれます。正解ラベル付きチケットで選択を照合し、確率が低い例を人手確認へ回す基準を決めます。

この配布版はApache 2.0です。評価結果にはmodel revision・実行環境・正解labelを残し、次のversionでも同じ要求で比較できるようにします。

会話回答と選択肢による自動判断を並べた様子 — decision APIとチャット生成を混同しません。

用語の注釈

NVFP4 — NVIDIAが定義した4ビット浮動小数点データ形式です。対応状況はGPU世代、モデル、ソフトウェア実装によって異なります。
本文に戻る
BF16 — モデルの数値に使う16ビット浮動小数点形式です。指数部はFP32と同じ幅で、同程度に広い値の範囲を表せます。
本文に戻る
チェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻る
CLI — Command-Line Interfaceの略です。ターミナルにコマンドを入力してプログラムを操作する方式です。
本文に戻る
ランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。
本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか？: JEV-35Bは状況・質問・選択肢を受け取り、選択肢ごとの確率と判断を返すモデルです。NVFP4配布版は専門家重みを圧縮し、ダウンロード容量を抑えています。
条件と出典はどこで確認できますか？: NVFP4配布版は専門家重みを圧縮し、ダウンロード容量を25.6GBに抑えています。vLLMでは重みが23.3GiBを占めました。公開実行記録に記載されたテスト機はB200です。カードでRTX 5090、RTX PRO 6000、DGX Sparkについて案内されているのはカーネル経路のみのため、これらの環境での互換性は別途確認が必要です。