OpenAI推出网络爬虫GPTBot

在没有大张旗鼓或官方宣布的情况下，ChatGPT制造商OpenAI本周推出了一款新的网站爬行机器人，用于扫描网站内容以训练其大型语言模型（LLM）。

但在机器人的消息传出后，网站所有者和创建者迅速就如何阻止GPTBot抓取网站数据交换了建议。当OpenAI添加GPTBot支持页面时，它还引入了一种阻止该服务抓取您的网站的方法。对网站的robots.txt文件做一个小小的修改，就可以阻止内容与OpenAI共享。然而，由于网络被广泛抓取，目前尚不清楚是否简单地阻止GPTBot将完全阻止内容被包含在LLM训练数据中。

“我们定期从互联网上收集公共数据，这些数据可用于提高未来模型的功能，准确性和安全性，”OpenAI发言人在一封电子邮件中说。“在我们的网站上，我们提供了有关如何禁止我们的收集机器人访问网站的说明。网页经过过滤，以删除已知收集个人身份信息 （PII） 或包含违反我们政策的文本的来源。

在GPTBot发布公开后不久，OpenAI宣布了395，000美元的赠款，并与纽约大学的Arthur L. Carter新闻研究所建立了合作伙伴关系。

虽然对谁可以使用开放网络上的内容有更多的控制是很方便的，但目前还不清楚简单地阻止GPTBot有多有效。LLM和其他生成AI平台已经使用大量公共数据来训练他们目前部署的数据集。