Wordpress新手Robots.txt文件规范写法

2019-04-04    来源:xatu.me

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

今日发现,有好多同学开始玩WordPress了,很高兴有些志同道合的朋友加入WP的大家庭。可是,不管你的水平如何,只要你是站长,就有必要懂的Robots.txt的写法与作用。近日,小站的?p=XX页面老是出现在百度收录中,虽然有增加收录的作用,但是会对网站权重造成影响。所以我采取了一系列的措施来避免过多的重复页面抓取。

其实,我从一开始就做了Robot的优化工作,只不过搬空间时候忘了那个Robots文件了……一失足成千古恨,博客收录降了好多……WordPress的优化还是做得很好的,虽然有些地方需要借助自己对Html等小知识的掌握,但这并不妨碍你把WordPress站点打造成优化典范!

下面我分享一下自己博客的Robots文件,并简单的说一下作用。

User-agent: *

Disallow: /comments/feed/

Disallow: /*/trackback

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /*?replytocom=

Disallow: /*/comment-page-*

Disallow: /?r=*

Disallow: /?p=*

Disallow: /page/

Allow: /wp-content/uploads/

Sitemap: http://***.me/sitemap.xml

Sitemap: http://***.me/sitemap_baidu.xml

上面的User-agent:*意思就是对所有的蜘蛛进行规则,Disallow想必大家英文稍微会一点的都懂。比如Disallow: /page/意思就是不要抓取/page下面的网页,以免造成降权。

晚上见有童鞋将Disallow: /*?replytocom=和Disallow: /*/comment-page-*类似的写成Disallow: *?replytocom=以及Disallow:*/comment-page-*特意说明一下,在百度官方的说明中,Disallow的地址必须以/这个斜杠开头,不加这个虽然可以但是不符合标准。

笔者认为:半懂不懂我们学习不应该有,可有可无这个还是有着比较好!标准在那里,咱们就看标准来吧!希望大家可以多多交流,共同学习!有错误请及时更正指出,谢谢!

在最后祝愿玩WordPress的同学技术步步高,WordPress建站值得你坚持下去,希望看到越来越多的网友有自己的建站一周年纪念文章出现!

标签: Wordpress博 

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:谈网页新窗口打开和当前窗口打开的优缺点

下一篇:百度抓取纯文本链接 Lee说SEO外链建设规则