SEO总结:robots细节优化都包括哪些地方(二)

2019-03-18    来源:zijiren.net

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

前一段在SEO总结:robots细节优化都包括哪些地方(一)和大家谈了robots细节优化的几个方面,不仅仅让更多站长注意到了以前从来注意过的问题,也让我自己的SEO水平得到了进一步的提高,毕竟SEO水平都是靠一点一滴累积而来。上篇文章分别与大家介绍了六个方面,分别是user-agent的数量问题、spider蜘蛛大小写问题、allow与disallow顺序、反斜杠、#表示注释、不要出现空格等,今天接着上篇文章把剩下的几点分享完。

文件目录大小写问题

robots文件名到底对大小写是否区分,相信很多站长也没有一个标准的答案。虽然res标准忽略大小写,但对于目录与文件名而言,却是大小写敏感的。“user-agent”和“Disallow”指令本身用大小写都可以,但对于其声明的目录或文件名却一定要注意大小写的问题。因为如果屏蔽了大写,蜘蛛有可能会抓小写,对网站的收录造成影响,例如:

Disallow: /abc.htm

会拦截http://www.abc.com/abc.htm

却允许http://www.abc.com/Abc.htm

所以在一些IIS服务器可能出现大小写目录的问题时,可以通过此方法得到圆满解决。

包含同类meta问题

一个正常的页面如果包含了多个同类型meta标签,搜索引擎蜘蛛会累加meta的内容进行取值。举个简单的例子,对下面两条语句来说:

搜索引擎将会把两者合并,最终理解成:

取最强参数的问题

有时候meta标签里边的值出现冲突,那么对于搜索引擎来说就会采纳限制性较强的参数为最终值,很多时候这个问题可以避免,但是有时候不小心写多了meta标签,特别对于一些大网站,更要注意。举个例子,例如下边的两个标签:

那么搜索引擎最终会会选择noindex的取值,因为它的限制性要比第二个高,这个类似优先级问题。

即有robots又有meta问题

如果一个网站里边既存在robots.txt文件,同时页面头部又写了meta标签,而当二者存在冲突,那么对于Googel来说会服从限制较严的规则,即在robots.txt中阻止了对一个页面的检索,那么Google就不会爬到这个页面,所以也就不会读到这个页面上的meta标签。而如果robots.txt里允许检索,meta中禁止,那么Goolge会到达这个页面,并在读到meta后停止爬行。

好了,本文就到这里吧,有一些是自己实实在在碰到的问题,而另外一些则是查阅网上的资料进行的总结,总之,能把robots里边的小细节和大家总结并分享完,感觉很有意义。SEO虽然是个漫长的过程,但是认真去体会里边涉及到的东西,同样也是一种很高的收获。

本文来自深圳网站建设,网址:http://www.zijiren.net,转载请保留链接, 谢谢!

标签: robots文件 SEO优化 spider蜘蛛 

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:网站外链建设急剧增加的利与弊

下一篇:网站结构优化之搜索引擎友好设计