Cloudflare Clef 与决策模型竞赛：让 Agent 不再用一段话回答是非题

2026 年 10 月，Cloudflare 在自家博客上开源了决策模型（decision model）Clef 与 Clef-flash。按 Cloudflare 的说法，它们是为「高速分类与 agentic 工作流」准备的决策模型，托管在 Workers AI 上，许可为 Apache 2.0、权重发布在 Hugging Face。这件事的意义不在于又多了一个模型，而在于它把一个被忽视的浪费摆上了台面：大多数 Agent 底层仍然在用很笨的方式工作——你问大模型一个是非题，它却生成一整句话来回答「是」，白白花掉时间与 token。决策模型跳过这句话，直接返回一个概率。同一周里，OpenAI 的 Decisions API 与 Amazon 的 Strands Decider 2B 也相继出现。本文拆解规格、基准与落地方式。

一、决策模型到底是什么

先厘清概念。按 Cloudflare 博客，决策模型基于概率做分类，帮助 Agent 决定如何行动。它接收「一些数据加一个有类型的问题」，返回「答案是 yes 的可能性有多大、哪个选项最贴合、某件事落在一个刻度上的哪里」。这与「让大模型写一句话来回答」有本质区别：前者直接产出你的代码可以分支的结构化结果，后者要先逐 token 生成一整段文本。Cloudflare 举的例子很具体：传入一条客服消息，询问是否紧急、应由哪个团队处理，模型返回带概率的、有类型的答案，你的代码据此路由工单、触发升级或转交人工。

# A decision model is not a smaller chatbot. It does one job: score
# typed answers against a fixed schema, and return probabilities your
# code can branch on. Cloudflare's framing is concrete.

DECISION_MODEL = {
    "input":  "some data plus a typed question",
    "output": "how likely the answer is yes / which option fits / where on a scale",
    "not":    "a generated sentence that says 'yes'",
}

# Example: a support message in, a routing decision out.
classify(
    state="customer support message",
    schema={"urgent": ["yes", "no"], "team": ["billing", "tech", "other"]},
)

Agent 的决策不再需要「有人在环内」

二、Clef 的规格：两个尺寸，一份 Apache 2.0

按 Cloudflare 博客，Clef 有两个尺寸。Clef 是 270 亿参数，面向「最准确的判断」；Clef-flash 是 90 亿参数，面向「几十毫秒内给出答案」。两者都以 Qwen 为底座、针对决策场景做过后训练；上下文窗口为 64,000 token，约为 Jev 的 32k 的两倍，可以把更多输入状态塞进去供模型打分。许可方面，两者均采用 Apache 2.0，权重发布到 Hugging Face——这意味着开发者可以下载下来、跑在自己的硬件上，而不是只能调用 API。Cloudflare 还强调 Clef 带有视觉编码器，能够接收图像并对视觉内容分类，这是它与当时只做文本分类的 Jev 的一个区别。

# The Clef line, as published on the Cloudflare blog. Two sizes, one
# backbone family, and a licence choice that is the real headline.

CLEF = {
    "clef":       {"params": "27B", "aim": "most accurate calls"},
    "clef-flash": {"params": "9B",  "aim": "answers in a few tens of ms"},
    "backbone":   "Qwen (post-trained for decision use cases)",
    "context":    "64,000 tokens",
    "license":    "Apache 2.0",
    "weights":    "posted to Hugging Face (self-hostable)",
    "vision":     "vision encoder; up to four images alongside text state",
}

# Cloudflare notes the 64k window is double Jev's 32k, so more input
# state can be squeezed in for the model to classify against.

三、为什么它能快这么多

速度来自对生成范式的釜底抽薪。按 Cloudflare 博客，Clef 在推理时先用 Qwen 做一次仅 prefill 的前向，然后并行地对所有合法的 schema 选项打分；整个决策步骤是非自回归的，没有需要逐 token 生成的中间文本，因此明显快于自回归大模型。Cloudflare 给出的数字可以感受一下：在一次真实工作流测试中，Clef 用 2.2 秒完成一次网站分类，而 gpt-oss-120b 用 4.7 秒、且返回的分类更少；在 43 次基准运行中，Clef 相对 TypeSafe 的 Jev 中位数快 2.5 倍，Clef-flash 快 13 倍。对高频、短判断的场景（分类、路由、守门），这类差距会直接体现在延迟与账单上。

# The trick is skipping autoregressive generation entirely. Clef does
# a prefill-only pass, then scores the valid schema choices in parallel.
# No intermediate text means nothing is generated token by token.

def clef_decide(state, schema):
    # Step 1: single prefill pass over (state + schema)
    prefilled = clef.prefill(state, schema)
    # Step 2: score every allowed choice in parallel
    scores = clef.score_choices(prefilled, schema.choices)
    return scores  # typed answers with probabilities

# Cloudflare's reported numbers, for context:
BENCHMARKS = {
    "website_classification": {"clef": "2.2s", "gpt-oss-120b": "4.7s",
                              "note": "Clef returned more classifications"},
    "vs_jev_median":  "2.5x faster across 43 benchmark runs",
    "clef_flash":     "13x faster",
}

非自回归、仅 prefill：并行给选项打分

四、这一周：一个品类的成型

Clef 不是孤例，这也是它值得被认真对待的原因。据 Startup Fortune 的报道，这个品类在约两天内成型：TypeSafe AI 的 Jev 是起点，围绕「有界、机器可读的决策」而非开放式文本；OpenAI 在 DevDay（2026-09-29）推出基于 Luna 的 Decisions API，面向分类、路由与「选下一步」；Amazon 于 10 月 1 日推出 Strands Decider 2B，基于 Qwen3.5、带一个「pointer head」直接给预设选项打分。报道还给出一个成本直觉：有一次黑客松演示用决策模型监控 Agent 的行动，成本 2.94 美元，而用前沿大模型做同样的检查要 372 美元。真正昂贵的不是判断本身，而是用错误的方式做判断。

# Clef did not arrive alone. The category solidified in roughly two
# days, which is why it matters beyond one vendor.

CATEGORY_RACE_2026 = {
    "TypeSafe Jev":  "the model that started it; text-only, 32k context",
    "OpenAI":        "Decisions API at DevDay (2026-09-29), built on Luna",
    "Amazon":        "Strands Decider 2B, Qwen3.5 base, 'pointer head'",
    "Cloudflare":    "Clef (27B) + Clef-flash (9B), Apache 2.0, vision",
}

# The economic argument: one reported hackathon demo used a decision
# model to monitor an agent's actions for $2.94, versus $372 running the
# same check through a frontier LLM. Routing decisions should not cost
# frontier prices.

五、配套工具链：服务、观测、微调、回部署

模型能自托管只是第一步，能微调与再部署才算完整。按 Cloudflare 博客，这次发布配套了一整套平台能力：在 Workers AI 上服务、由 AI Gateway 观测、在 Containers 里提供沙箱运行，以及一套新的强化学习微调平台，让开发者用自己的数据微调决策模型；微调后的模型可以通过一个叫 Trainer 的部件重新部署回 Workers AI。发布节奏上，Cloudflare 称先从「前向部署工程」团队配合早期客户开始，随后再开放自助服务。这套组合的潜台词是：Cloudflare 赌的是基础设施先于单个模型胜出。

# Cloudflare pairs the release with tooling, because a model you can
# self-host only pays off if you can also fine-tune and serve it.

CLEF_PLATFORM = {
    "serve":      "Workers AI",
    "observe":    "AI Gateway",
    "sandbox":    "Containers",
    "fine_tune":  "new RL fine-tuning platform (bring your own data)",
    "redeploy":   "Trainer, to push fine-tuned models back onto Workers AI",
    "rollout":    "starts forward-deployed with early customers, then self-serve",
}

def pick_runtime(need_weights, latency_budget_ms):
    if need_weights:                      # lock-in is the real cost
        return "self-host Clef / Clef-flash"
    if latency_budget_ms < 100:
        return "Clef-flash"
    return "Clef"                         # accuracy-first tier

锁定成本才是真成本，而不是单次推理价格

六、把它接进你的 Agent 栈

把决策模型用起来的姿势其实很直接：第一，找出 Agent 循环里那些「高频、答案有限、不需要开放式文本」的节点——分类、路由、守门、选下一步——把它们从大模型迁到决策模型。第二，用带概率的返回结果设计分支逻辑，把低置信度的情况显式地转交人工或升级。第三，先托管验证价值，再评估是否为了消除供应商锁定而自托管权重；自托管的前提是你有微调与服务的完整链路。第四，把决策调用纳入 token 与延迟预算——先用本站的 AI Token 计算器与 API 响应时间计算器量化收益，再用 AI 提示词模板统一 schema 写法、用 AI 代码审查给分支逻辑加一道复核。第五，如果决策模型负责守门，别忘了给它配限流与配额，用 API 限流计算器算清楚它的调用上限。