Jevで始めるLLM as a Judge
Jevは、TypeSafeが提供する構造化判定モデルです。ブール値、選択肢、スコアで答える質問に対して、正確な結果を返します。1回のリクエストで最大32の独立した質問を並行して処理できます。
Jevで始めるLLM as a Judge
エージェントとCLIのワークフローでJevを使う。
構造化された評価をリクエストすると、Kollabエージェントが自動的にJevを呼び出します。スクリプトやパイプライン用に、CLI経由で手動実行することも可能です。
npm install -g @kollab/cli
kollab login
echo '{
"state": "Help! My payouts have been failing for 3 days.",
"questions": {
"is_urgent": { "type": "noul", "instructions": "Does this convey urgency?" },
"department": { "type": "choice", "instructions": "Which team should handle this?",
"criteria": { "billing": "Payments, invoicing, refunds", "technical": "Bugs, outages, integrations", "sales": "Pricing, upgrades, new accounts" } }
}
}' | kollab tool run jev --jsonKollabモデルアーモリーの一部。
テキスト、ビジョン、動画、音声タスク用の完全なモデルスイートと合わせて、Jevにアクセスできます。
モデレーション・スコアリング・再ランク付けに使えるLLM as a Judge。
Jevで特定の評価タスクを実行します。
パフォーマンスベンチマーク。
バッチ分類タスクにおける高速な実行と高い一貫性。
現実世界でのアプリケーション。
開発者や研究者が本番環境でどのようにJevを使用しているかをご紹介します。
スパムと自動返信の検出
freek.devのFreek Van der Herten氏は、受信したヘルプデスクチケットを3つの並列質問を用いて639ミリ秒で処理しています。これにより、月額$0.36のコストで秒間48リクエストを達成しています。
金融リサーチの一貫性
Good Start Labsは、大量の財務レポートを効率的かつ一貫して検証するためにJevを利用しています。
ライティングの雰囲気チェック
Every.toは、下書きの段階の記事をJevで評価しています。このモデルは、埋め込まれた文章の欠陥を中央値0.35秒の速度でフラグ付けします。
LLM可観測性のスコアリング
LangfuseはJevを評価システムに統合し、プロンプトのスコアリングとフィードバックデータを自動化しました。
Cloudflare Workers AIの統合
Cloudflareは、グローバルなエッジ推論のためにJevモデルをWorkers AIプラットフォームに追加しました。
シード資金調達の発表
TypeSafe AIは、ソフトウェアアプリケーション向けの特化型モデルを構築するために$4000万を調達しました。
構造化された状態管理
Jevは、構造化されたゲーム状態の出力を通じてDoomをプレイする公式デモの基盤となっています。
LLM as a Judgeのよくある質問
LLM as a Judgeとは何ですか？+
あらかじめ決めた質問に沿って、言語モデルにテキストを評価させる手法です。たとえば「このコメントは攻撃的ですか？」「この見込み客を1〜5で採点してください」といった質問を使います。別のモデルの回答を採点する用途でよく使われますが、同じ方法はチケット、コメント、レビュー、検索結果にも応用できます。Jevは構造化判定モデルで、会話文ではなく、正確なブール値、選択肢、スコアを返します。
LLM as a Judgeを正しく使うには？+
1つの質問につき、答えが1つに決まる形にしてください。真偽、いくつかの選択肢から1つ、または決まった尺度でのスコアです。Kollabではタスクを説明するだけでエージェントがJevを呼び出し、ターミナルから`kollab tool run jev`を実行することもできます。結果を使う前に、一部を自分の判断と見比べて確認しましょう。
LLMによる判定はどのくらい有効ですか？+
タスクと質問の書き方によって変わります。上のベンチマークには、Jevの公式結果と第三者による評価が出典付きで載っているので、ご自身のケースと比較できます。まず、正解ラベル付きの少量のサンプルで試すのがおすすめです。
LLMによる判定の限界は何ですか？+
Jevの出力確率は厳密には較正されていないため、相対的なスコアとして扱ってください。中国語・日本語・韓国語の精度は、現在のところ英語より低くなっています。Jevが読み取れるのは80,000文字までのプレーンテキストなので、音声は先に文字起こしし、画像はテキストを抽出してください。音声はGrok STTなど、Kollabの他のモデルで直接扱えます。金融、法務、採用のような影響の大きい判断では、人が結果を確認してください。
LLM as a Judgeのフレームワークを選ぶときの観点は？+
結果を機械的に扱える出力か、多数の質問を一度に実行できるか、料金が明確か、確信度を確認できるか、が目安です。Jevは構造化された回答を返し、1回のリクエストで最大32の独立した質問を処理でき、KollabのエージェントまたはCLIから使えます。
Jevの料金はどのように計算されますか？+
入力トークンは100万トークンあたり$0.042です。出力トークンは完全に無料です。
Jevでテキストの評価を始めましょう。
ワークスペースから直接、大量の分類およびスコアリングタスクを実行できます。