AWS Strands Decider 2B：一个不吐一个字、却能给 Agent 做决策的小模型

大多数 Agent 循环里，模型每做一次「下一步用哪个工具」的决定，都要先吐出一整段文本。这既慢又贵。2026 年 10 月 1 日，AWS 的 Strands Labs 发布了 Strands Decider 2B：一个以 Apache-2.0 开源的「决策模型」。它的思路很直接——把文本生成从决策回路里拿掉。它不预测 token，而是读取当前状态，把状态表示与每个候选答案比对，在消费者级 GPU 上以约 106–115 毫秒的中位延迟返回带校准的概率排名。本文讲清它的架构、真实数字，以及它在 Agent 栈里应该站在哪一格。

决策模型把「生成一句话」换成「做一次选择」

问题：每一次决策都在烧 token

问题源于 Agent 的工作方式。一个多步 Agent 在每一步都要判断「下一步做什么」「用哪个工具」，而传统做法是让前沿大模型生成一段文本来表达这个决定。这意味着每一次路由都触发一次解码循环，消耗 token、拉高延迟，还需要为一句「用搜索工具」付出产出几十个 token 的代价。对于高频、低难度的分诊类决策——路由、工具选择、护栏预筛——用大模型既浪费又慢。Strands Decider 2B 就是冲这个空档来的：把「说一句话来做决定」换成「只做一次选择」。按 AWS 的说法，它是一个面向 Agent 决策优化的小模型，能在 100 毫秒内返回答案、完全开源，并附带全部训练数据与脚本。

# What Strands Decider 2B is, in one object. Facts are from AWS
# Strands Labs' October 1, 2026 release and vendor coverage.

DECIDER = {
    "release_date": "2026-10-01",
    "publisher": "AWS Strands Labs",
    "params": "~1.9-2B",
    "license": "Apache 2.0",
    "torso": "Qwen3.5-2B",
    "head": "~1M-param pointer head (LoRA rank-16), no LM head",
    "output": "calibrated choices / ranked probabilities in one pass",
    "no_text_generation": True,
}

什么叫做「决策模型」

传统 LLM 的输出是一串 token；决策模型的输出是一个选择。你给它一个「情境」和一组「候选」，它返回每个候选的概率排名，而不生成任何文字。据发布说明，Strands Decider 2B 约 19–20 亿参数，构建在 Qwen3.5-2B 这个「躯干」之上，但把语言模型头整个拿掉，换成一个约 100 万参数的指针头（pointer head，LoRA rank-16）。它的用途被明确圈定为四类：Agent 路由、工具选择、评测（evals）与护栏。换句话说，它不做推理、不写文案、不生成代码，只负责在你给定的选项里做又快又便宜的分诊。这类模型被业内称为「System One 模型」，专门处理反射式的、无需深思的判断。

# The core idea: replace token prediction with candidate scoring.
# Instead of generating an answer, it scores the options you give it.

def decide(model, situation_vec, candidates):
    # situation_vec: hidden-state representation of the current state
    scores = model.pointer_head(situation_vec, candidates)
    probs = softmax(scores)
    ranked = sorted(zip(candidates, probs), key=lambda x: -x[1])
    return ranked          # [("use_search", 0.71), ("use_db", 0.19), ...]

# One forward pass. No decoding loop. No token budget. Millisecond-scale.

一次前向传播返回排名与概率，而非 token

内核：把语言模型头换成指针头

架构上最关键的一步，是「换头」。普通语言模型的最后一层是语言模型头（LM head），负责把隐藏状态映射成词表上的概率分布，从而逐个吐出 token。Strands Decider 2B 把这个头换成指针头：它直接把隐藏状态与每个候选答案的表示做比对，算出分数。这样，一次前向传播就完成了全部决策——没有自回归解码循环，没有 token 预算，延迟被压到毫秒级。它的输入是「情境 + 候选」，输出是「带校准的概率排名」。这种设计的含义是：模型不再把决策「说」出来，而是把决策「算」出来。对工程团队来说，这意味着决策步骤的延迟与成本变得可预测、可预算，而不是被生成过程的随机性牵着走。

# Reported latency on consumer hardware. Single numbers only, since
# AWS and community benchmarks used different setups.

LATENCY = {
    "aws_earlier_checkpoint_median_ms": 106,
    "aws_earlier_checkpoint_p95_ms": 296,
    "community_rtx_3090_median_ms": 115,     # unconfirmed vs AWS spec
    "m3_macbook_small_tasks_ms": 153,
}

# Vendor guidance: runs locally on CPU, GPU, or Mac. No hosted API for
# now, so "free" means licensing and download, not zero operating cost.

延迟与准确率：真实数字

延迟方面，AWS 称它在本地运行时能在 100 毫秒内返回答案。据其发布包里的基准，一个较早的检查点在本机 RTX 3090 上测得中位 106 毫秒、p95 为 296 毫秒；社区另有未经 AWS 官方确认的 115 毫秒中位数说法，以及在 M3 MacBook 上小任务约 153 毫秒的结果。准确率上，AWS 的图表把 Strands v19 在公开 JevBench 上放在约 72%，但它没有同时列出竞品 TypeSafe Jev 的基线，因此无法做严格的同口径对比；VentureBeat 也指出，由于硬件与网络条件不同，无法断言谁更快。结论是：速度与「免费（指授权与下载）」成立，但「比谁更准」目前缺乏可比证据，需自行评测。

# Accuracy and framing. AWS cites competitive calibration in the
# 2B class; independent claims are more cautious.

ACCURACY = {
    "strands_v19_jevbench": "~72% (AWS chart)",
    "note": "does not include the TypeSafe Jev baseline for a like-for-like",
    "positioning": "self-hostable alternative to hosted decision models",
}

# The same week, Cloudflare shipped its own Clef / Clef-flash pair,
# signalling a hardening 'System One' model tier.

路由、工具选择、评审、护栏，都靠它分诊

适用位置：路由、工具选择、评测与护栏

把 Decider 2B 放进真实 Agent 循环，它最该出现的位置是「大模型之前」。路由场景里，它决定这一步交给哪个子 Agent；工具选择场景里，它从 N 个工具里挑一个，无需一次完整的 LLM 调用；评测场景里，它能以极低成本批量给候选答案打分；护栏场景里，它能在输入抵达前沿模型之前就做一次分诊，把明显安全、需要复核、应当阻断的输入分流。这种「廉价前置分诊 + 昂贵后端推理」的分层结构，是控制大规模 Agent 成本与延迟的关键。反过来，它不适合承担需要深度推理、长链思考或创意生成的任务——那些仍然要交给前沿模型。

# Where a decision model earns its keep in a real agent loop.

USE_CASES = [
    "agent routing: which sub-agent should handle this step",
    "tool selection: pick one of N tools without a full LLM call",
    "evals: score candidate answers cheaply, in bulk",
    "guardrails: triage inputs before they reach the frontier model",
]

def triage(user_input, model, policies):
    labels = ["safe", "needs_review", "block"]
    return model.decide(user_input, labels)   # gate before the big model

正在成型的「System One」模型层

Strands Decider 2B 并非孤例。同一天，Cloudflare 也发布了自己的决策模型对 Clef 与 Clef-flash；TypeSafe AI 早在 9 月 15 日就为这类模型命名「System One 模型」。多个厂商在一个月内同时入场，说明「决策模型」正在从概念固化为一个可识别的基础设施层：便宜、快、本地可跑，专门承担反射式判断。对开发者而言，值得现在就做两件事：其一，在你的 Agent 里识别出哪些步骤属于「廉价分诊」，把它们从前沿模型上卸载下来；其二，建立自己的评测集，用真实流量而非厂商图表来判断一个小模型是否够用。分层决策一旦跑通，成本曲线会明显变平。