因国内大部分虚拟主机限制了每月的流量，在通过主机商提供的控制面板查看访问流量时发现非浏览器浏览占去大量的流量，通过查看流量统计中“搜索引擎网站的机器人”发现大量流量是被Unknown robot (identified by ‘spider’)、Unknown robot (identified by ‘robot’)消耗掉，除了百度，GOOGLE等常见搜索引擎蜘蛛外，有些不知名搜索引擎蜘蛛违规胡乱爬行我们的网站，造成流量被大量消耗和占用CPU资源，导致网站访问速度变慢，超出流量还需要单独再付费购买流量，给客户造成经济负担。那么我们需要做一些设置将其屏蔽。 
robots.txt爬虫协议对正规的搜索引擎会有效，但对一些不知名的搜索引擎可能会无效，可以将不知名的流氓搜索引擎蜘蛛一起屏蔽掉。
禁止除百度、google、今日头条、360等知名搜索外的一切搜索引擎索引你的网站，代码如下：

User-agent: Baiduspider
User-agent: 360spider
User-agent: Googlebot
User-agent: sogou spider
User-agent: Sosospider
User-agent: YodaoBot
User-agent: Yahoo Slurp
User-agent: msnbot
User-agent: YisouSpider
User-agent: ia_archiver
User-agent: EasouSpider
User-agent: JikeSpider
User-agent: Bytespider
Disallow: User-agent: *
Disallow: /

在网站根目录下创建名为robots.txt的记事本文件，把以上代码放到robots.txt内即可。
User-agent为充许某个搜索引擎索引你的网站。如要增加其他搜索引擎蜘蛛，增加User-agent即可。

附国内外知名搜索引擎蜘蛛名称：

1、 百度蜘蛛：Baiduspider Baiduspider-image baiduboxapp Baiduspider-render

2、 谷歌蜘蛛：Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video

3、 360蜘蛛：360Spider (很勤奋的蜘蛛)

4、 搜狗蜘蛛：SogouSpider, Sogou web spider

5、 神马蜘蛛：YisouSpider （UC浏览器默认搜索sm.cn的蜘蛛）

6、 必应蜘蛛：bingbot BingPreview

7、 有道蜘蛛：YoudaoBot，YodaoBot

8、 MSN蜘蛛：msnbot，msnbot-media

9、 雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!

10、 Yandex蜘蛛：YandexBot （俄罗斯搜索引擎）

11、 DNSPOD监控蜘蛛：DNSPod-Monitor

12、 MJ12bot：MJ12bot （英国SEO分析页面蜘蛛）

13、 SEMrush：SemrushBot （美国SEO综合分析网站的蜘蛛）

14、 头条蜘蛛：Bytespider （今日头条旗下：高频抓取 被很多站长封禁后 有所改善）

15、 华为蜘蛛：AspiegelBot （ 华为旗下Aspiegel公司 疯狂高频爬行无节制 ）