Ling 3.1 Flash 在 AI Gateway 免费到 10 月 13 日：先看懂模型 ID 再部署

InclusionAI 的 Ling 3.1 Flash 已上线 Vercel AI Gateway，并且在 2026 年 10 月 13 日前免费使用。据 Vercel 的更新日志，它是一个混合推理语言模型，总参数 5600 亿、每 token 激活 250 亿，在 AI Gateway 上的上下文窗口为 262K token，设计目标是编码、多步分析，以及会使用工具的 Agent——包括长文档、代码与超长任务历史的工作流。

一个 API，多模型路由与降级

一、发布了什么

Vercel 更新日志的表述很干脆：Ling 3.1 Flash 现在可在 AI Gateway 上使用，2026 年 10 月 13 日前免费。它是混合推理模型，5600 亿总参数、每 token 激活 250 亿，262K token 上下文，定位是编码、多步分析和会调用工具的 Agent，覆盖长文档、代码以及很长的任务历史。想试用可以直接用 inclusionai/ling-3.1-flash 或 inclusionai/ling-3.1-flash-free 作为模型名。也要想清楚「免费窗口」是干什么用的：网关厂商借此拿到用量数据与开发者心智，你则获得一次低成本试测一个本来不会尝试的模型的机会。双方都有所得，只要把它当试验而不是当基础设施，这就是一笔公平交易。

// Ling 3.1 Flash is free through October 13, 2026.
// Two IDs, two different behaviours when the promotion ends:
//   inclusionai/ling-3.1-flash      -> starts billing
//   inclusionai/ling-3.1-flash-free -> stops serving
import { streamText } from 'ai';

const result = streamText({
  model: 'inclusionai/ling-3.1-flash-free',
  prompt: 'Triage the open issues in this repo and group them by theme.',
});

for await (const chunk of result.textStream) process.stdout.write(chunk);

// The -free ID is the safe default for experiments: when the promo ends
// it returns an error instead of quietly generating a bill.

二、两个模型 ID，两种结局

这是最容易被忽略、也最容易出事的一点。Vercel 写得很清楚：标准模型 ID 在促销期内免费，促销结束后开始计费；而加了 -free 后缀的模型 ID 在免费促销结束时是「停止提供服务」，不会开始计费。换句话说，实验阶段用 -free ID 更安全——到期它报错，而不是悄悄给你生成一张账单；生产环境则要显式决定用哪个 ID、以及到期后要不要继续付费。

// Do not put a promotion-only ID on the critical path.
// Alias it, and give the alias a fallback that is already paid for.
const MODELS = {
  triage: {
    primary:  'inclusionai/ling-3.1-flash',
    fallback: 'deepseek/v4-flash',
    promo_ends: '2026-10-13',
    on_promo_end: 'keep_primary_only_if_gate_passed',
  },
};

function resolveAlias(name, now = new Date()) {
  const cfg = MODELS[name];
  const expired = new Date(cfg.promo_ends) < now;
  return expired && cfg.on_promo_end !== 'promote'
    ? cfg.fallback
    : cfg.primary;
}

// A promo is a trial window, not an architecture decision.

按「每个完成任务的成本」评测，而不是按 token 单价

三、5600 亿 / 250 亿 到底意味着什么

MoE（混合专家）架构的关键是：你为「每 token 激活的参数」付算力，而不是为总参数。5600 亿总参数配合 250 亿激活，意味着单 token 的计算量大致按 250 亿量级走，而能力常被归因于总参数量。所以从模型名字推断账单是错的。据 AI Gateway 的模型页，该模型在多提供商上的延迟约 2.4 至 2.5 秒、吞吐约 74 至 82 tps，缓存命中率 67%，发布日为 2026 年 9 月 29 日。这个区分对容量规划有实际影响。MoE 模型的吞吐取决于路由、批处理，以及你的具体负载恰好让哪些专家变热，所以模型页上的 tps 数字只是起点，不是保证。

# Benchmark by cost per FINISHED task, not cost per token.
# A cheap model that retries three times is not a cheap model.
def cost_per_finished_task(model, tasks, harness, price_in, price_out, retries=3):
    finished, spend, attempts = 0, 0.0, 0
    for t in tasks:
        for attempt in range(retries):
            attempts += 1
            r = harness.run(model, t)
            spend += (r.tokens_in * price_in + r.tokens_out * price_out) / 1e6
            if r.status == "ok":
                finished += 1
                break
    return {"finished": finished, "tasks": len(tasks),
            "cost_per_finished_usd": round(spend / max(finished, 1), 4),
            "retry_rate": round((attempts - finished) / attempts, 3)}

# Run ten real tasks from your own repo, in your own harness,
# through two candidates. That is the only comparison that transfers.

四、怎么诚实地评测一个免费模型

免费会扭曲判断，所以要换指标：比较「每个完成任务的成本」，而不是「每百万 token 单价」。做法是拿你自己仓库里的十个真实任务，放进同一套 harness，对两个候选模型跑，并统计重试率——一个便宜但平均重试三次的模型并不便宜。同时把 262K 上下文当成有限资源看待：截断率（finish_reason=length 的比例）是团队最容易忘记测的指标，长上下文模型一样会撞墙，你希望是在图表里先看到，而不是用户先遇到。一条实用规则：只在你自己仓库的任务、你自己的 harness 里给候选模型打分，并且把重试率和截断率和通过率一起记录。

# Instrument the things that decide whether you can keep it.
# Reported on the gateway page: ~2.4-2.5s latency, ~74-82 tps, 67% cache hit.
def instrument(call):
    return {
        "latency_ms":  call.elapsed_ms,        # p50 and p95, not the mean
        "ttft_ms":     call.time_to_first_token,
        "tps":         call.output_tokens / (call.elapsed_ms / 1000),
        "cache_hit":   call.cache_read_tokens > 0,
        "input_tokens": call.tokens_in,
        "output_tokens": call.tokens_out,
        "tool_calls":  len(call.tool_calls),
        "truncated":   call.finish_reason == "length",   # 262K is not infinite
    }

# Truncation rate is the metric teams forget. Long-context models still
# hit the wall; you want to see it in a chart before your users do.

把促销到期日写进日历，而不是写在心里

五、促销模型的坑

促销期模型有三个系统性风险。第一，价格断崖：到期后同样的调用量成本结构完全改变，而预算告警通常没有配。第二，可用性断崖：-free 这类 ID 到期直接停服，如果它被写死在关键路径上，故障就是「突然全线 4xx」。第三，依赖漂移：为了赶免费窗口做的集成，很容易绕过正常的发布闸门。稳妥做法是把模型名包一层自己的别名，给别名配好已付费的降级模型，并把促销到期日记进日历和配置里，作为一次待办的技术决策。还有一个更安静的风险：评测漂移。如果你在这两周免费窗口里针对某个模型调提示词和阈值，你实际上已经把系统拟合到了一个即将变价、甚至可能变可用性的模型上。记下调优的日期，并在窗口关闭后重跑评测。

# MoE economics: you pay for ACTIVE parameters, not total.
# 560B total / 25B active per token is why this is affordable at all.
def effective_cost(tokens_in, tokens_out, price_in, price_out,
                   active_b=25, total_b=560):
    cost = (tokens_in * price_in + tokens_out * price_out) / 1e6
    return {
        "cost_usd": round(cost, 6),
        "activation_ratio": round(active_b / total_b, 4),   # 0.0446
        "why_it_matters": (
            "compute scales roughly with ACTIVE parameters per token, "
            "while capability is often attributed to TOTAL parameters. "
            "Do not infer the bill from the model name."
        ),
    }

# A 560B MoE at 25B active is not 'a 560B model' when you price it.

六、迁移检查清单

准备把它放进生产前，逐条确认：一、用别名而不是硬编码模型名；二、别名背后有已付费的降级链，且降级链本身跑过评测；三、按「每个完成任务成本」测过两个候选，并记录重试率与截断率；四、p50/p95 延迟与缓存命中率有埋点；五、促销到期日写进配置与日历，并指定到期时由谁做决定；六、Agent 场景下把工具调用成功率单独统计——模型层好看不代表工具层可靠。