Claude Platform 的 message threads 进入公测:长会话智能体首 token 时间中位下降约 35%

发布于

Anthropic 在开发者博客宣布,Messages API 的 message threads 进入公开测试。动机很直白:一个编程智能体在一场会话里可能发起上百次请求,而每次都要把此前所有消息与工具结果重发一遍;当对话累积到几十万 token 时,光是重传就拖长了 Claude 开始响应前的等待。

接入方式是在请求里加上 thread 参数。第一次请求携带完整对话并建立一个线程,之后每次只发新增的消息与上一条响应的 ID,由服务端在两次请求之间保管上下文,因此模型可以更早开始生成。官方给出的效果是:在 50 万到 100 万 token 量级的请求上,中位首 token 时间下降约 35%,并且该功能已对多数 Claude Code 用户默认开启。

隐私与生命周期也被写明:线程在轮次之间保存在内存中,处于加密状态、不会写入磁盘;自最后一次请求起五分钟后过期,之后的请求需要重新建立线程。对长时间运行、上下文巨大的智能体工作负载来说,这等于把「重复搬运历史」的成本从开发者侧移到了服务端。

资讯来源:claude.com