実行プログラムと拡張機能

Jevとは何か:文章を書かずに判断するSystem Oneモデル

Jevが速いと聞くと、小さなLLMが短い回答を書く姿を想像しがちです。実際は別の道具です。ソフトウェアが候補を先に定め、モデルは長い説明ではなく選択と確率を返します。問い合わせの振り分けや規則の確認を何度も行う場面で力を発揮します。まず文章生成AIとの違いから見ていきます。

質問の形から違います

一般的なチャットには状況を書き、何をすべきか尋ねます。Jevでは状況に加え、判断項目と取り得る答えをプログラム側が決めます。問い合わせをbilling、access、securityのどこへ送るか、規則違反かをyesとnoで判定する、といった形です。返るのは説明文ではなく、選択値と各候補の確率、信頼度です。人が読む文章より、次のコードがすぐ使える値を作ることに重点があります。

長い文書から複数の判断カードを同時に出すJev型の作業台
Jevは長い文章を書く代わりに、定義済みの選択肢と確率を一度に返します。

速さは短文だからではありません

LLMがJSONを返す場合でも、中括弧、キー、値を前のトークンに続けて一つずつ書きます。短い出力でも順次の推論が何度も必要です。Jevは出力の形を先に知り、複数の判断を並列に計算します。TypeSafeは自社サービスの往復時間を70〜500msと説明していますが、全地域と全リクエストの保証ではありません。入力長、判断数、通信条件をそろえて比較する必要があります。

型が正しくても判断は誤ります

定義した型の外へ出ず、壊れたJSONや存在しないキーを返さないことは自動化で大きな利点です。それでも選択が常に正しいわけではありません。曖昧な文章や未学習の業務規則を誤って読み、高い確率を誤答に付ける場合もあります。導入前に誤りの費用を決め、低信頼の案件を人や従来の規則へ戻す経路を用意します。型の安全性と判断の正確さは同じではありません。

長いトークン生成と、プリフィル後すぐ判断値を読む経路の比較
Jev型の処理では、出力トークン数より入力処理と選択肢の採点が時間を左右します。

この形が向く仕事

分類、振り分け、危険度、候補順位、根拠の有無など、答えの形を先に決められる仕事に向きます。同じ文書を複数の規則で確認したり、依頼をどのツールへ送るか選んだりする場面も候補です。一方、報告書やコードを書き、理由を対話するには自由な文章生成が必要です。Jev型の判断層をLLMの前後に置き、作業を振り分けたり結果を確認したりする構成が自然です。

ローカル実装はJevそのものではありません

TypeSafeはJevの重みや学習方法を公開していません。最近のローカル実装は、公開されたQwenから選択肢トークンのスコアを読み、共通文書を一度プリフィルして質問を分岐させます。似たAPIと使い方を再現する試みであり、非公開モデルの複製ではありません。速度、精度、確率の校正はプロジェクトごとに検証が必要です。次の記事で小型PC向けとサーバー向けを分けて見ます。

自由な対話モデルと選択肢を固定した自動化パネルの対比
文章作成と説明はLLM、反復する分類と振り分けはJev型モデルに向く仕事です。