网站加了cdn之后,如何设置禁止某些搜索引擎蜘蛛和爬虫ip访问?
最近某些搜索引擎的蜘蛛爬取网站特别厉害,导致网站经常503错误,如亚马逊的搜索引擎蜘蛛Amazonbot疯狂爬行网站,占用服务器资源导致网站503错误。只有禁止这些ip访问才可以减少对服务器资源的占用。如IP:52.22.64.232、54.86.59.155 这些都是亚马逊的搜索引擎蜘蛛Amazonbot的IP,因为我们是国内的网站,不需要亚马逊搜索和收录,所以可以禁止他们抓取。 如你的虚拟主机或服务器是linux系统,可通过.htaccess文件屏蔽IP。 但如果你的网站有加CDN,无法再通过.htaccess屏蔽ip,这需要在cdn端设置屏蔽ip。 以下是我司使用的百度CDN中屏蔽IP的… 阅读全文网站加了cdn之后,如何设置禁止某些搜索引擎蜘蛛和爬虫ip访问?