Cloudflare Clefをローカルで実行できる？27B・9Bの選び方とSystemOneの使い方

支払いの問題を顧客が報告したとします。問い合わせ内容やJSONの注文記録をstateに入れ、緊急度と担当チームをquestionsで尋ねます。Clefは選択結果と各選択肢の確率を返すため、アプリケーションでチケットの振り分けや人による確認に利用できます。

CloudflareのClefとClef-Flashは自由形式の文章を続けて生成するチャットボットではなく、型付きの質問に答えるdecision modelです。noulは命題が真である確率、choiceは定義済みの名前からの選択、scoreは順序尺度の評価を返します。結果を受けて次の処理を行うのは呼び出し側のコードです。

両モデルはテキスト・JSON・画像・動画をstateとして受け取り、Jev/SystemOne APIと互換性があります。長文の作成やサポート回答には生成LLM⁵を組み合わせ、振り分けの判断をClefに任せる構成が適しています。

ClefはQwen3.8-27Bベースの27Bモデル、Clef-FlashはQwen3.5-9Bベースの9Bモデルです。Cloudflareは高い精度を重視する判断にはClef、レイテンシを抑えたい場合にはClef-Flashを提案しています。どちらも画像と動画を入力できます。

個人用Apple Silicon MacではoMLXのMLXチェックポイントから始められます。Jundot/clef-oQ4eは27Bでファイルが約17GB、Jundot/clef-flash-oQ4eは9Bで約6.28GBです。入力画像と作業メモリの余裕を残してモデルを選びます。両チェックポイントはApache-2.0ライセンスです。

Cloudflareの元モデルカードには、torch 2.11、transformers 5.10.2、H200 1基でテストしたSGLangの例があります。これはサーバー向けの手順です。MacではoMLX 0.7.1.dev1がdecisionモデルを自動検出します。

oMLX 0.7.1.dev1はApple SiliconとmacOS 15以降に対応しています。公式リリースからmacOSに合うDMGをダウンロードし、Applicationsにインストールしてアプリを開きます。ウェルカム画面でモデルディレクトリを指定し、サーバーを起動してください。

ダッシュボードのModel DownloaderでJundot/clef-flash-oQ4eまたはJundot/clef-oQ4eを検索してダウンロードします。Clef-Flashは約6.28GB、Clefは約17GBです。oMLXは設定済みディレクトリのモデルをスキャンし、decisionタイプを自動検出します。チェックポイントを手動でモデルフォルダーにコピーした場合は、サーバーを再起動して認識させます。

標準のサーバーアドレスはhttp://127.0.0.1:8000です。ブラウザーで/adminを開き、サーバー設定にAPIキーを保存します。後述のcurlリクエストにも同じキーを使い、ローカルサーバーで認証します。

サーバーが起動したら、ブラウザーでhttp://127.0.0.1:8000/adminを開き、モデルが表示されるか確認します。oMLXアプリではメニューバーからサーバーを起動し、状態を確認できます。

ターミナルから別のサーバーを起動する場合は、DMGアプリが用意するCLI⁶ shimを使えます。アプリ管理のサーバーを停止し、--model-dirにはWelcome画面で選んだのと同じモデルフォルダーを指定します。別途CLIをインストールする必要はありません。

~/.omlx/bin/omlx serve --model-dir "/PATH/TO/SELECTED_MODEL_DIRECTORY" --api-key "YOUR_OMLX_API_KEY" --host 127.0.0.1 --port 8000

まずAPIキーで/v1/modelsを照会し、レスポンスのdata[].idの値をコピーします。モデルディレクトリやalias設定によってIDの形式は異なることがあります。

curl http://127.0.0.1:8000/v1/models -H 'Authorization: Bearer YOUR_OMLX_API_KEY'

コピーした値をYOUR_DECISION_MODEL_IDに入れてSystemOneリクエストを送ります。APIキーのプレースホルダーも先ほど設定した値に置き換えてください。

curl http://127.0.0.1:8000/v1/systemone -H 'Authorization: Bearer YOUR_OMLX_API_KEY' -H 'Content-Type: application/json' -d '{
  "model": "YOUR_DECISION_MODEL_ID",
  "state": "決済が1時間失敗し続け、すべての顧客の注文が止まっています。",
  "questions": {
    "urgent": {"type": "noul", "instructions": "この依頼は緊急ですか？"},
    "team": {"type": "choice", "instructions": "どのチームが対応すべきですか？", "criteria": {"billing": "決済と返金", "technical": "障害とエラー", "sales": "料金プランとアップグレード"}}
  }
}'

成功すると、answers.urgentに緊急度の確率、answers.teamに選択したチームと各選択肢の確率が表示されます。27Bモデルを使う場合は、/v1/modelsのレスポンスから実際のdata[].idをコピーしてYOUR_DECISION_MODEL_IDに指定します。チケットの振り分け条件と人が確認する確率のしきい値は、接続先のアプリで設定します。

データセンター向けH200で元のチェックポイントをサーバー実行する場合は、CloudflareのモデルカードにあるSGLang例を使えます。NVIDIA GPU⁷を使えるDocker環境を用意したLinuxで実行し、初回起動時にHugging Faceからモデルファイルをダウンロードします。

docker run --gpus all --shm-size 32g -p 127.0.0.1:30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host lmsysorg/sglang:dev-clef sglang serve --model-path Cloudflare/clef --host 0.0.0.0 --port 30000

Clef-Flashを使う場合は、--model-path Cloudflare/clefを--model-path Cloudflare/clef-flashに変更します。モデルカードのテスト環境はH200 1基です。ホストポートはlocalhostにバインドされます。個人用Macでは前述のoMLX手順を使ってください。

oMLXのモデル一覧に表示されない場合は、Model DownloaderでリポジトリIDを再検索します。チェックポイントを手動でコピーした場合は、設定済みのモデルディレクトリ内にファイルがあることを確認してからサーバーを再起動してください。

401が返る場合は、アプリでは/adminで保存したAPIキー、CLIでは--api-keyの値とAuthorization: Bearerの値が一致するか確認します。モデルファイルが見つからない場合は、Hugging FaceのリポジトリIDとローカルのモデルディレクトリを照合します。Clefチェックポイントでは、重みとともにjoint_head.safetensorsとjoint_head_config.jsonも必要です。

サーバーが動作していてもリクエストが失敗する場合は、エンドポイントが/v1/systemoneか、modelに/v1/modelsで確認したIDを指定したか、questionsに型付き質問があるかを確認します。画像・動画はテキストリクエストの成功後に追加してください。