Anthropic 推出消息线程测试版,长会话首令牌延迟降约35%

  • AI
  • 1
Mores的头像Mores
Anthropic 推出消息线程测试版,长会话首令牌延迟降约35%

Anthropic 于2026年11月2日以公开测试版形式推出消息线程功能,使 Claude Platform 上的 Messages API 应用在首次发送完整对话请求后,只需发送新消息即可继续会话。该功能面向对延迟敏感的活跃会话,包括长时间运行的编程智能体、计算机操作智能体和大量处理文档与图像的工作流。

Anthropic 表示,对于大多数默认启用消息线程的 Claude Code 用户,包含50万至100万个令牌的请求,其首令牌生成时间中位数可缩短约35%。线程按尽力而为方式提供服务,并在最后一次请求后五分钟过期,应用仍需自行保留每条消息的副本。

功能与适用场景

Anthropic 列举的典型用途包括长时间运行的编程智能体、在运行过程中产生截图的计算机操作智能体,以及需要大量处理文档和图像的工作流。这些场景的共同点是对话轮次多、上下文体积大,每一轮重新上传完整对话都会带来明显等待。

Anthropic 于2026年11月2日以公开测试版形式开放该功能,所有模型均支持这一测试版。

Anthropic 推出消息线程测试版,长会话首令牌延迟降约35%

延迟与令牌用量

延迟下降并不意味着计算量减少。Claude 在每一轮仍会读取完整对话,因此令牌用量保持不变,标准令牌费率和现有速率限制同样继续适用。节省的部分来自请求处理环节:不使用线程时,每轮都要重新上传整个对话,API 也会再次验证并分词处理全部内容;使用线程后,在 API 为模型重建对话之前,大部分处理只需针对新一轮内容进行。

Anthropic 推出消息线程测试版,长会话首令牌延迟降约35%

请求生命周期

官方文档将线程的生命周期分为创建请求和继续请求两类。创建请求会连同 thread 参数一起发送完整对话、系统提示和工具,API 将对话以及 Claude 的回复存储在响应 ID 下。继续请求只发送自上次响应以来的新消息,并附上该响应 ID,不再包含 system 和 tools。此后每个新的响应 ID 都用于发起下一轮请求。

线程按尽力而为的方式提供服务。如果 API 无法继续某个线程,客户端需要在新的创建请求中重新发送完整对话。SDK 线程辅助工具可以创建和继续线程、添加所需的测试版标头、在内存中保留对话,并在遇到指定的继续请求错误时自动重放一次完整对话。

流式响应有额外要求:客户端必须等到 message stop 事件之后,才能从响应 ID 继续请求,过早发出的继续请求可能返回404错误。流中断后,SDK 辅助工具不会自动重试继续请求。API 也不会存储由备用模型生成的轮次,因此在线程继续之前,必须在新的创建请求中发送完整对话。

Anthropic 推出消息线程测试版,长会话首令牌延迟降约35%

保留、缓存与限制

线程内容在服务器管理的加密保护下保存在内存中,不写入持久存储,并会在最后一次使用后不超过一小时内删除。线程会在最后一次请求后五分钟过期,API 存储的每个响应都会重新开始计算这段时间。线程包含发送给模型的对话、创建请求中的系统提示和工具,以及用于核对后续请求的固定字段指纹。文件以引用方式保留,因此在线程活动期间,应用必须确保对话中使用的所有文件都可用。

应用仍是事实来源,必须保留每条消息的副本,并维持完整对话重放路径,即使日常请求轮次只包含新消息。由于线程会过期且无法通过 API 检索,这一要求无法省略。

线程不会自动缓存提示,开发者必须提供缓存断点或顶层 cache control,带线程的请求最多可以包含四个缓存控制断点。线程只能追加内容,每个响应 ID 只能继续一次。更改仅适用于创建请求的字段(例如 system 或 tools),或更改固定字段,都需要新建一个包含完整对话的线程。

Anthropic 推出消息线程测试版,长会话首令牌延迟降约35%

可用范围与缺失能力

该测试版可在原生 Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 中的 Claude,以及由 Anthropic 管理的 Google Cloud 上的 Claude Models 中使用。消息线程不适用于零数据保留或 HIPAA 场景,但这项功能不会影响其他零数据保留功能的适用资格。

目前没有用于列出、读取或删除线程的 API。线程不支持 Message Batches、令牌计数、按需压缩或大多数上下文编辑功能,启用了 Inference hooks 的组织也无法使用线程。这些缺口意味着该测试版更适合作为降低活跃会话首令牌延迟的手段,而非完整的会话管理方案。

要点

  • 消息线程于2026年11月2日以公开测试版推出
  • 50万至100万令牌请求首令牌时间中位数缩短约35%
  • 线程在最后一次请求后五分钟过期
  • 线程内容存于内存,最后一次使用后不超过一小时删除
  • 线程不支持零数据保留与 HIPAA 场景

原文链接

AI
分享

更多快讯

全部快讯
  1. Anthropic IPO 文件披露近9000亿美元算力支出承诺,三季度重回营业亏损
  2. SemiAnalysis 发布 GDPx 基准:最强模型仅完成 12% 专业任务
  3. 乌镇峰会开幕,开源大模型成浙江“金名片”
  4. 清华教授唐杰以275亿身家登顶胡润榜,学生杨植麟470亿反超
  5. Grok Bot 每周额度一夜耗尽,马斯克称成本难以为继

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧