LLM-as-a-Judge：用 Jev 评估文本
Jev 是 TypeSafe 推出的结构化判断模型，可以回答布尔值、选项或打分类问题，并给出精确结果。每次请求最多并行处理 32 个独立问题。
LLM-as-a-Judge：用 Jev 评估文本
在 Agent 和 CLI 工作流中使用 Jev。
提出结构化评估需求时，Kollab Agent 会自动调用 Jev。你也可以通过 CLI 手动运行，把它接入脚本和流水线。
npm install -g @kollab/cli
kollab login
echo '{
"state": "Help! My payouts have been failing for 3 days.",
"questions": {
"is_urgent": { "type": "noul", "instructions": "Does this convey urgency?" },
"department": { "type": "choice", "instructions": "Which team should handle this?",
"criteria": { "billing": "Payments, invoicing, refunds", "technical": "Bugs, outages, integrations", "sales": "Pricing, upgrades, new accounts" } }
}
}' | kollab tool run jev --jsonKollab 模型库的一部分。
除了 Jev，您还可以使用一系列完整的模型来处理文本、视觉、视频和音频任务。
LLM 评审用于内容审核、打分与重排。
使用 Jev 执行特定的评估任务。
性能基准测试。
批量分类任务执行速度快，一致性高。
实际应用案例。
开发者和研究人员如何在生产环境中使用 Jev。
垃圾邮件与自动回复检测
Freek Van der Herten 在 639 毫秒内通过 3 个并行问题处理收到的客服工单。这实现了每秒 48 次请求，且每月成本仅为 US$0.36。
金融研究一致性
Good Start Labs 使用 Jev 高效、稳定地验证大量财务报告。
写作基调检查
Every.to 使用 Jev 评估文章草稿。该模型以 0.35 秒的中位速度标记出预设的写作缺陷。
大语言模型可观测性评分
Langfuse 将 Jev 集成到他们的评估系统中，实现提示词评分和反馈数据的自动化。
Cloudflare Workers AI 集成
Cloudflare 将 Jev 模型添加到了其 Workers AI 平台，以提供全球边缘推理服务。
种子轮融资公告
TypeSafe AI 筹集了 US$4000万，用于构建软件应用专用模型。
结构化状态管理
Jev 通过输出结构化的游戏状态，驱动了一个游玩《毁灭战士》（Doom）的官方演示。
LLM-as-a-Judge 常见问题。
LLM-as-a-Judge 是什么意思？+
它指的是用语言模型按你设定的问题来评估文本，例如“这条评论是否带有攻击性？”或“给这位潜在客户打 1 到 5 分”。很多团队用它评判另一个模型的回答，同样的做法也适用于工单、评论、评价和搜索结果。Jev 是一款结构化判断模型，返回精确的布尔值、选项和分数，而不是对话文本。
怎样正确使用 LLM 评审？+
把每个问题写成只有一个明确答案的形式：是或否、几个选项中选一个，或按固定刻度打分。在 Kollab 中，描述任务即可，Agent 会替你调用 Jev；也可以在终端运行 `kollab tool run jev`。依赖结果之前，先抽样对照你自己的判断。
LLM 评审的效果如何？+
这取决于任务，也取决于问题写得是否清楚。上方的基准测试列出了 Jev 的官方与第三方结果及其来源，方便你对照自己的场景。建议先用一小批带标注的样本试一试。
LLM 评审有哪些局限？+
Jev 的输出概率没有经过严格校准，请把它们当作相对分数。目前中文、日文和韩文的准确率低于英文。Jev 只读取不超过 80,000 个字符的纯文本，所以音频需要先转写、图片需要先提取文字；Kollab 的其他模型，例如 Grok STT，可以直接处理音频。涉及金融、法律或招聘等高影响决定时，请由人来复核结果。
选择 LLM 评审框架时应该看什么？+
看输出是否便于解析，能否一次运行大量问题，价格是否清晰，以及能否查看置信度。Jev 返回结构化答案，每次请求最多处理 32 个独立问题，可以通过 Kollab Agent 或 CLI 使用。
Jev 如何计费？+
输入每百万 tokens 收费 US$0.042。输出 tokens 完全免费。
开始使用 Jev 评估文本。
直接在你的工作区运行大批量分类和打分任务。