Darwin-27B-ZTCとは？54GBのBF16で確率による判断

モデルカードによると、Darwinはstateと型付き質問を1回のforward passで処理します。選択肢スコアにsoftmaxを適用して確率分布を返し、生成トークン²はありません。そのため、チャットのtok/sや回答長で性能を測るモデルではありません。

3つの質問タイプは用途が異なります。noulはyes/no判定、choiceはラベル付き候補からの選択、scoreは順序付き基準の採点です。各候補の説明を含めると、比較条件を入力に明示できます。

モデルカードではBF16重みにGPU³メモリ約54GBが必要とされています。これは重み分の目安なので、OS・CUDA⁴コンテキスト・入力長に使う余裕も残してください。デバイスがその容量を確保できない場合、この例がそのまま動くと考えず、公式カードに量子化⁵や分散設定があるか先に確認します。

モデルカードのローカル例はHugging Faceのsnapshotを取得し、autojev.model.DecisionModelを読み込みます。依存ライブラリはPyTorch⁶、Qwen3.5対応のTransformers、safetensors、Pillowです。判断コードと重みの両方が必要で、backboneファイルに加えてreadout.safetensorsとdecision_config.jsonも用意します。

pip install torch transformers safetensors pillow huggingface_hub

カードの例ではstateとquestionを1行にまとめてmodel.predict([row])へ渡します。choice質問にはtype、instructions、選択肢ごとの説明を入れます。コードをdecide.pyとして保存してpython decide.pyで実行し、サービスへ組み込む前に固定ケースで選択肢名と確率インデックスを確認してください。

import sys
from huggingface_hub import snapshot_download

path = snapshot_download("FINAL-Bench/Darwin-27B-ZTC")
sys.path.insert(0, path)
from autojev.model import DecisionModel
model = DecisionModel(checkpoint=path)

row = {
    "state": {"ticket": "Customer was charged twice for the same order."},
    "question": {
        "type": "choice",
        "instructions": "What should support do?",
        "criteria": {
            "refund": "Refund the duplicate charge.",
            "escalate": "Send to billing.",
            "close": "No action.",
        },
    },
}
probabilities = model.predict([row])[0]
for label, probability in zip(row["question"]["criteria"], probabilities):
    print(label, float(probability))

以下はモデルカードにある二重請求の分類例です。実際の確率値は使用するハードウェアやパッケージ版に依存するため、ここでは示しません。選択肢の確率合計が約1の分布になり、入力順を保っているか確認してからアプリの業務ルールに接続してください。

モデルカードのTyped Decisions評価ではtest splitの400ケース・2,000判断を処理し、全体精度は0.743と報告されています。これは評価セットでの結果であり、業務データでの精度を保証するものではありません。またカードでは、2回の実行の精度0.741と0.743の差を、リクエストのbatchingによる実行間変動と説明しています。

代表ケースを実際のラベルと比べ、分類誤りと確率校正を評価してください。BF16メモリを確保できない場合や自由文の説明が必要な作業では、別の判断・生成経路が適する可能性があります。