如何禁止AI机器人抓取网站内容用于其训练占用大量服务器资源

AI公司抓取网站内容用于其AI训练,因为会占用大量服务器的cpu内存资源,导致网站速度慢。过去几个月,主要AI服务都在商讨怎样让网站禁止AI蜘蛛抓取。网站有权这样做是无需讨论的,但什么方法更稳妥、最有效、最简单?。 为什么要禁止AI蜘蛛抓取网站内容? 因为还没有明确有效的方式得到回报。就目前情况看,AI抓取内容和搜索引擎抓取内容还有点不一样。搜索引擎抓取内容后会给网站流量,SEO们巴不得多抓点。 AI把网站内容用于训练后,网站能得到什么还不确定。ChatGPT和Bard (Google的AI聊天服务)本身基本上是不给出处的,所以网站得不到流量。 Bing和Google都在尝试把生成式AI融入搜… 阅读全文如何禁止AI机器人抓取网站内容用于其训练占用大量服务器资源