IT时代网11月1日消息，OpenAI、谷歌、微软等主要人工智能公司 10 月 31 日（当地时间）宣布，将支持一项通用标准，让网站运营方可以一步阻止 AI 训练数据采集。在此之前，网站运营方需要在 robots.txt 中逐家封禁各公司的爬虫，而且每出现一个新爬虫都要重新更新一次。标准落地后，只需一次“拒绝 AI 训练数据采集”的设置即可批量封锁；同时也可以放行搜索引擎爬虫，只封锁用于 AI 训练的抓取。该标准源自互联网工程任务组的讨论。Anthropic 已经实施，谷歌与微软计划明年跟进，OpenAI 将在数月内支持，meta 尚未确认是否参与。这一进展的背景是，多家媒体与出版机构持续就未经授权采集训练数据提起诉讼。OpenAI 称此举是“迈向开放网络的务实一步”；微软在官方博客中表示，网站运营方不应被迫在“让内容出现在必应搜索结果中”和“决定生成模型如何使用其作品”之间做选择。

编辑：林一舟