返回新闻
综合

Google、Microsoft、Anthropic 和 OpenAI 支持统一的 AI 训练退出机制

Google、Microsoft、Anthropic 和 OpenAI 已支持一项统一的 robots.txt 信号,用于选择退出 AI 训练,但部署时间表和执行情况仍不一致。

Google、Microsoft、Anthropic 和 OpenAI 支持统一的 AI 训练退出机制
MagicBoat AI7 分钟阅读93 次阅读
文章目录

AI 行业新闻 · 2026 年 11 月 16 日

Google、Microsoft、Anthropic 和 OpenAI 支持统一的 AI 训练退出机制

四家主要 AI 实验室共同支持一种通用的 robots.txt 偏好设置,旨在让网站运营者通过一个信号,拒绝所有参与公司的 AI 训练。

用于表达 AI 训练偏好的统一信号

Google、Microsoft、Anthropic 和 OpenAI 支持一个统一的 robots.txt AI 训练退出信号,标识为 __usage_ai-training。该提案旨在用一个参与的 AI 供应商都能识别的偏好设置,取代一系列相互分散、由各公司分别提供的控制选项。

相关提案出现在 IETF 个人草案 draft-kelley-aipref-training-preference-signal 中,日期为 2026 年 10 月 30 日。四家公司也在当天作出了最初的联合承诺。11 月 14 日和 15 日报道的发展,是它们共同支持这一机制,并更清晰地比较了各家公司预计何时提供支持。

Anthropic 已经部署了该信号。Microsoft 已承诺在 2027 年 2 月 1 日为 Bing 提供支持,而 Google 的目标是 2027 年初。OpenAI 给出的时间表最不具体,仅表示实现将在“未来几个月内”到来。截至 11 月中旬,OpenAI 的 GPTBot 文档仍未列出这一统一令牌。

一个预测市场认为,到 2027 年 3 月 31 日 OpenAI 遵守该信号的概率约为 56%。OpenAI 强调,在统一机制等待实施期间,现有的 GPTBot 控制措施仍然有效。

对于出版商、媒体团队和独立艺术家来说,这项支持可能会让表达训练偏好变得更加容易。它也进一步印证了这样一个更广泛的现实:对于任何使用ai image generator或其他生成式工具的人而言,内容权利、模型访问权限和平台政策如今都已成为日常生产决策的一部分。

各家公司作出的承诺

公司已报道的立场时间
Anthropic统一的 AI 训练偏好设置已经部署。截至 2026 年 11 月中旬的报道,已生效
MicrosoftBing 计划识别这一统一信号。2027 年 2 月 1 日
Google计划在 2027 年初的发布中提供支持。2027 年初
OpenAI该公司表示将在未来几个月内提供支持;现有 GPTBot 控制措施仍然有效。尚未公布确切日期

不同的时间表之所以重要,是因为统一声明只有在爬虫和训练管线真正识别它时才有用。在过渡期间,网站所有者可能仍需保留现有的供应商专属控制措施,而不能假设新的偏好设置已经在所有平台上生效。

该信号涵盖什么,以及不涵盖什么

该提案针对一种特定用途:内容是否可以用于 AI 训练。它不会自动涵盖检索、搜索索引或实时抓取。因此,网站可以表达反对将内容用于训练的立场,同时仍允许出于其他目的访问内容,具体取决于相关爬虫和政策。

重要限制: __usage_ai-training 是 IETF 个人草案中的一种自愿偏好设置。它不是已获采纳的 IETF 标准,不包含针对不遵守行为的内置处罚,也不约束 AI 系统访问网络内容的所有方式。

区分训练和检索正变得越来越重要。训练通常是指在生成或更新模型的过程中使用材料。检索和实时抓取则可能涉及访问当前页面以回答请求,但不一定会将这些材料加入训练数据集。

因此,应将这一统一信号理解为一种范围有限的偏好机制,而不是对 AI 访问的普遍禁止。它建立了共同的术语,但执行情况仍取决于参与公司是否遵守相关声明,并清晰说明其爬虫行为。

为什么统一的 robots.txt 偏好设置很重要

在统一机制出现之前,出版商可能要面对不断增加的爬虫名称、文档页面和供应商专属政策。这种碎片化提高了大型新闻编辑部的管理负担,也给小型工作室、个人作品集所有者和独立出版商带来了更大的挑战。

统一信号可以通过以下三种方式减轻这一负担:

  • 一次声明偏好:网站可以向多个签署方传达自己的立场,而不必为每家公司分别管理一条训练规则。
  • 更一致的解释:统一术语可以减少歧义,明确限制针对的是模型训练,而不是所有形式的访问。
  • 更清晰的政策基线:未来的 AI 供应商可以采用相同的偏好设置,而不是再引入一个专有令牌。

不过,其实际价值将取决于最初四家签署方之外的其他公司是否采用。只有部分 AI 行业参与者识别的自愿信号,无法消除监控爬虫文档、许可安排以及平台条款变化的必要性。

这对内容团队意味着什么

这项公告发布之际,AI 创作工作流正越来越多地结合原创脚本、参考媒体、生成图像和视频输出。因此,来源追溯和使用政策已从抽象的法律话题变成实际运营问题。

发布原创素材的团队应记录公开发布的内容、获得授权的内容,以及希望排除在训练之外的内容。他们还应区分控制外部爬虫的使用,与为自身生产选择工具这两件事。robots.txt 偏好设置管理的是对网站的访问;它并不决定创意项目中使用的每张图片、每份脚本或每个源文件的内部权利状态。

部署进度不一致也说明,模型可用性和供应商政策不应成为不可见的依赖项。通过ai video generator制作营销活动的团队,可能需要在供应商更改访问规则、文档或产品可用性时进行调整。围绕灵活的平台组织生产,可以减少单一供应商变化所造成的干扰。

统一的退出语言是有意义的进步,但它并不等同于普遍采用、技术执行或完整的内容权利框架。

更广泛的 AI 行业背景

这次联合支持值得关注,是因为 Google、Microsoft、Anthropic 和 OpenAI 在模型、云基础设施和 AI 产品领域都存在竞争。它们愿意在统一的训练偏好设置上协调一致,表明网络治理正成为一种共享基础设施,而不再只是各家公司分别制定政策的问题。

与此同时,分阶段部署也显示出政策协调转化为实际实施的过程可能十分缓慢。Anthropic 已经部署,与 Microsoft 确定的未来日期、Google 更宽泛的 2027 年初目标以及 OpenAI 尚未确定的时间表形成对比。这一差距使出版商处于过渡期:统一规范的理念已经领先于普遍的实际支持。

IETF 草案的状态同样重要。个人草案是正在讨论中的提案,而不是最终标准。相关文档可能继续演变,知名公司支持这一偏好设置本身也不会赋予它监管效力。

要点总结

  • Google、Microsoft、Anthropic 和 OpenAI 支持统一的 __usage_ai-training 偏好设置。
  • 该提案旨在让网站通过一个 robots.txt 信号,拒绝所有参与公司的 AI 训练。
  • Anthropic 已部署该机制,Microsoft 为 Bing 设定了 2027 年 2 月 1 日这一日期,Google 的目标是 2027 年初。
  • OpenAI 已承诺在未来几个月内提供支持,但截至 11 月中旬,尚未将该令牌添加到 GPTBot 文档中。
  • 在过渡期间,现有的 GPTBot 控制措施仍然有效。
  • 该信号仅涉及训练,不涉及检索或实时抓取。
  • 该机制是自愿的,不附带任何处罚,也不是已获采纳的 IETF 标准。

保持 AI 生产的灵活性

AI 行业中的政策、访问条件和模型生态仍在持续变化。MagicBoat 将创意工作流整合到一个账户中,让内容团队能够专注于生产,同时保持工具选择的灵活性。

免费试用这些模型,构建一个不那么依赖任何单一 AI 供应商的工作流。

来源

主要关键词:AI 训练退出

次要关键词:robots.txt AI 训练、__usage_ai-training、Google AI 政策、Microsoft Bing 爬虫、Anthropic 训练政策、OpenAI GPTBot、AI 行业