因国内大部分虚拟主机限制了每月的流量，在通过主机商提供的控制面板查看访问流量时发现非浏览器浏览占去大量的流量，通过查看流量统计中“搜索引擎网站的机器人”发现大量流量是被Unknown robot (identified by ‘spider’)、Unknown robot (identified by ‘robot’)消耗掉，除了百度，GOOGLE等常见搜索引擎蜘蛛外，有些不知名搜索引擎蜘蛛违规胡乱爬行我们的网站，造成流量被大量消耗和占用CPU资源，导致网站访问速度变慢，超出流量还需要单独再付费购买流量，给客户造成经济负担。那么我们需要做一些设置将其屏蔽。 r… 阅读全文Unknown robot (identified by ‘bot*’)占用大量流量，如何处理？