最近某些搜索引擎的蜘蛛爬取网站特别厉害，导致网站经常503错误，如亚马逊的搜索引擎蜘蛛Amazonbot疯狂爬行网站，占用服务器资源导致网站503错误。只有禁止这些ip访问才可以减少对服务器资源的占用。如IP：52.22.64.232、54.86.59.155 这些都是亚马逊的搜索引擎蜘蛛Amazonbot的IP，因为我们是国内的网站，不需要亚马逊搜索和收录，所以可以禁止他们抓取。

如你的虚拟主机或服务器是linux系统，可通过.htaccess文件屏蔽IP。

但如果你的网站有加CDN，无法再通过.htaccess屏蔽ip，这需要在cdn端设置屏蔽ip。

以下是我司使用的百度CDN中屏蔽IP的方法。

进入你的百度智能云控制台-CDN-域名管理-你要设置的域名进入设置页面-访问控制-黑名单生效。可参考： 设置IP黑白名单

在IP防盗链类型>>黑名单生效 输入IP

如：

3.221.57.25 代表封掉3.221.57.25单个IP。

3.221.57.0/24 代表封掉3.221.57.开头的所有IP段。

3.221.0.0/16 代表封掉3.221.开头的所有IP段。

3.0.0.0/8 代表封掉3.开头的所有IP段。

以下是我司整理的亚马逊搜索引擎蜘蛛Amazonbot的IP段，不是全部，只是大部份。

3.221.0.0/16
3.218.0.0/16
3.224.0.0/16
3.216.0.0/16
3.94.0.0/16
3.212.0.0/16
3.221.0.0/16
3.208.0.0/16
34.196.0.0/16
3.218.0.0/16
3.90.0.0/16
3.225.0.0/16
3.223.0.0/16
3.226.0.0/16
3.222.0.0/16
23.20.0.0/16
23.21.0.0/16
34.196.0.0/16
34.206.0.0/16
34.231.0.0/16
34.205.0.0/16
34.225.0.0/16
34.234.0.0/16
34.239.0.0/16
34.194.0.0/16
44.210.0.0/16
44.215.0.0/16
44.209.0.0/16
44.218.0.0/16
44.206.0.0/16
44.196.0.0/16
44.223.0.0/16
44.194.0.0/16
44.195.0.0/16
50.17.0.0/16
50.19.0.0/16
52.3.0.0/16
52.200.0.0/16
52.2.0.0/16
52.70.0.0/16
52.5.0.0/16
52.0.0.0/16
52.204.0.0/16
52.200.0.0/16
52.54.0.0/16
52.45.0.0/16
52.167.0.0/16
52.205.0.0/16
52.203.0.0/16
52.22.0.0/16
54.84.0.0/16
54.92.0.0/16
54.89.0.0/16
54.159.0.0/16
54.210.0.0/16
54.197.0.0/16
54.204.0.0/16
54.156.0.0/16
54.80.0.0/16
98.84.0.0/16
98.82.0.0/16
98.83.0.0/16
98.80.0.0/16