robots.txt 原来还可以这样写

关于robots的写法网上有很多的介绍，Robots可以用来防止搜索引擎抓取那些我们不想被搜索引擎索引的内容，很多网站都在里面加入网站的地图sitemap.xml，这样可以让蜘蛛快速的爬行网站。

格式：

User-agent: *

Disallow:

Sitemap:sitemap.xml

我们来看看一些大型网站的robots.txt是怎么样写的！

淘宝的robots.txt，屏蔽了百度蜘蛛

QQ在robots中加入了sitemap

打开qq的sitemap之后发现，存在这样的压缩包，下载回来打开里面放的是sitemap，难道蜘蛛可以分析压缩包了？像我还是头一次见到这样的写法。

CCTV也同样是这样的写法

在robots.txt中加入sitemap这样做到底能不能增加收录，站长朋友们不妨试试！最后感谢瓜视云点播www.tvgua.com站长提供配图！

标签： robots.txt写法 robots.txt屏蔽百度robots.txt设置 

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。