解读SEO中旧瓶装新酒的robots.txt

2019-03-18    来源:liyi-tech.com

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。作为站长为了避免部分网页被索引导致的权重流失,我们提供了robots来很好的解决这个困扰,做到了“旧瓶装新酒”,让你的站在搜索引擎中有良好的表现。

我们来看宜昌SEO的robots.txt :www.seo86.net/robots.txt,这样做的目的是让搜索引擎觉得我们的网站更规范权威。接下来我们说一下robots权重方面的“旧瓶装新酒”

旧瓶装新酒一:用robots屏蔽内容相似或没有内容的页面

我们知道搜索搜索引擎收录后有一个判断审核的过程,当出现相似度高的页面会删除其中的一个,那么robots会帮到这个忙。比如我http://www.***.net/wangluo/?p=321和http://www.***.net/123内容差不多,那么我们可以把第一个屏蔽掉。屏蔽代码:Disallow:/wangluo/?p=

这样子就可以很好的减少重复页面,对搜索引擎留下良好的影响。

旧瓶装新酒二:用robots.txt屏蔽掉多余的链接,当我们出现动态、静态同是都可以访问的情况,我们可以去掉动态的。

我们,发现很多网站会有多个链接指向同一个页面,这中现象的普片存在,会让搜索引擎对网站的权威性产生疑问,可以通过robots把不重要的链接去掉

比如:www.***.net/?P=123和www.***.net/123,那么我们可以用Disallow:/?p=屏蔽掉

旧瓶装新酒三:铲除死链接

死链接就是原来存在,后来因为改版或者更新的原因删除了链接和网页

比如原来某个目录(假设是/tempweb/)下面的所有链接,因为改版的原因这个目录下面的变成了死链接,那么可以这样子来屏蔽他。代码为:Disallow:/tempweb/

旧瓶装新酒四:被k的链接处理

我们做网站优化的知道,很多关键字排名下降的问题,很可能是被k的外部链接导致的,所以我们可以把所有的外部链接统一放在一个链接目录下面,然后用robots统一屏蔽,比如http://www.***.net/sns/web-link这个上面的所有链接都http://www.***.net/sns/link.php?下面我们采取的屏蔽代码Disallow:/link.php?

如果您对robots的具体操作不是很清楚,可以在百度官方提供的robots.txt指南学习http://www.baidu.com/search/robots.html同时希望大家灵活运用,将robots的功能发挥到极致,相信你的排名也会稳如泰山。若您在robots方面还有其他的疑问可以加QQ1256271624大家一起探讨。

文章作者:宜昌SEO

本文地址:http://www.seo86.net/258/

版权所有 © 转载时必须以链接形式注明作者和原始出处!

标签: 搜索机器人 robots.txt写法 robots.txt怎么写 

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:如何快速分析竞争对手的网站

下一篇:从百度五角星收藏符号提高用户体验谈起