Darwin-27B-ZTC란? 54GB BF16으로 확률형 판단하기

모델 카드에 따르면 Darwin은 입력 상태와 유형을 지정한 질문을 한 번의 forward pass로 처리해요. 질문마다 옵션별 점수에 softmax를 적용해 확률 분포를 반환하며, 생성 토큰²은 없어요. 채팅 모델처럼 tok/s나 답변 길이로 성능을 비교할 수는 없어요.

세 질문 형식은 용도가 달라요. noul은 예/아니오 판단, choice는 라벨이 있는 후보 중 하나 선택, score는 순서가 정해진 기준에 점수를 매겨요. 각 후보의 설명을 함께 넣으면 모델이 어떤 조건을 비교해야 하는지 입력에 명시할 수 있어요.

모델 카드는 BF16 가중치에 약 54GB GPU³ 메모리가 필요하다고 안내해요. 이 수치는 가중치 기준이므로 운영체제·CUDA⁴ 문맥·입력 길이 등이 쓸 메모리 여유도 남겨야 해요. 장치가 해당 공간을 제공하지 못하면 이 예시를 그대로 실행할 수 있다고 가정하지 말고, 공식 카드에 대안 양자화⁵나 분산 설정이 있는지 먼저 확인해요.

카드의 로컬 사용 예시는 Hugging Face에서 스냅샷을 받고 autojev.model.DecisionModel을 불러오는 Python 코드예요. 필요한 라이브러리는 PyTorch⁶, Transformers(Qwen3.5 지원), safetensors, Pillow로 적혀 있어요. 의사결정 코드와 모델 가중치가 함께 받쳐져야 하므로 모델 파일과 별도 readout.safetensors, decision_config.json도 준비돼야 해요.

pip install torch transformers safetensors pillow huggingface_hub

카드 예제는 state와 question을 한 행으로 묶어 model.predict([row])에 전달해요. choice 질문에는 유형, 지침, 선택지별 설명을 넣고 반환 배열은 criteria의 옵션 순서에 대응해요. 코드를 decide.py로 저장해 python decide.py로 실행하고, 서비스에 연결하기 전에 옵션 이름과 확률 인덱스가 맞는지 간단한 사례로 확인해요.

import sys
from huggingface_hub import snapshot_download

path = snapshot_download("FINAL-Bench/Darwin-27B-ZTC")
sys.path.insert(0, path)
from autojev.model import DecisionModel
model = DecisionModel(checkpoint=path)

row = {
    "state": {"ticket": "Customer was charged twice for the same order."},
    "question": {
        "type": "choice",
        "instructions": "What should support do?",
        "criteria": {
            "refund": "Refund the duplicate charge.",
            "escalate": "Send to billing.",
            "close": "No action.",
        },
    },
}
probabilities = model.predict([row])[0]
for label, probability in zip(row["question"]["criteria"], probabilities):
    print(label, float(probability))

아래는 모델 카드에 나온 중복 결제 분류 예시예요. 실행 결과의 실제 확률값은 하드웨어와 패키지 버전에 따라 여기서 미리 제시하지 않아요. 각 행의 확률이 합계 1에 가까운 분포인지, 옵션 순서가 입력과 일치하는지 확인한 다음 애플리케이션의 업무 규칙에 연결해요.

카드에 실린 Typed Decisions 평가에서는 test split 400개 사례의 결정 2,000건을 처리했고, 전체 정확도는 0.743으로 보고돼요. 이는 제공된 평가셋 결과이지 내 업무 데이터의 정확도를 보장하지 않아요. 또 카드 자체가 두 실행의 정확도 0.741과 0.743 차이를 배치 구성에 따른 실행 간 변동으로 설명해요.

대표 사례를 실제 라벨과 대조해 분류 오류와 확률 보정 상태를 먼저 평가하세요. BF16 메모리를 확보하기 어렵거나 자유문장 설명이 필요한 작업이라면 다른 판단·생성 경로가 더 적절할 수 있어요.