首页 > 华企学院 > 源码教程 > 怎么样正确设置使用robots.txt文件呢?

怎么样正确设置使用robots.txt文件呢?

作者:华企商城小编  浏览量:156   发布时间:2016-09-30 13:44:12

  怎么样正确设置使用robots.txt文件呢?

  第一:如何正确书写robots.txt文件,robots.txt文件的书写格式是什么?

  要想正确的书写robots文件,首页要对文件的基本函数进行了解:

  User-agent:在后面加上* 意思是允许任何搜索引擎对网站进行抓取;User-agent: Baiduspider意思是允许百度搜索引擎对网站进行抓取,如果网站中只写了这个属性,那就表明此网站只接受百度蜘蛛的抓取,其他蜘蛛不可以索引。

  Disallow:这个函数的意思是静止蜘蛛访问函数后面的网站目录,如果网站所有的都允许那就写:如果都允许收录: Disallow:,像淘宝网的文件中写到,禁止百度蜘蛛的抓取,网站任何位置都不允许抓取。

  Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

  使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

  "*" 匹配0或多个任意字符

  "$" 匹配行结束符。

  第二:设置Robots.txt文件时应注意哪些事项?

  1、作为搜索引擎最先访问的目录,过长的robots文件也会影响蜘蛛的爬取速度,所以对于禁止搜索引擎的网页,可以适度的去使用noffollow标记,使其不对该网站传递权重。

  2、在robots设置当中关于Disallow当中/和//的区别。举例:Disallow; /a 与Disallow: /a/的区别,很多站长都见过这样的问题,为什么有的协议后加斜杠,有的不加斜杠呢?笔者今天要说的是:如果不加斜杠,屏蔽的是以a字母开头的所有目录和页面,而后者代表的是屏蔽当前目录的所有页面和子目录的抓取。

  通常来讲,我们往往选择后者更多一些,因为定义范围越大,容易造成“误杀”。

  3、对于Disallow和Allow的设置是有先后顺序之分的,搜索引擎会根据第一个匹配成功的Allow与Disallow来确定首先访问那个url地址。

  4、已经删除的目录屏蔽不建议使用Robots.txt文件屏蔽。很多站长往往删除一些目录后,怕出现404问题,而进行了屏蔽,禁止搜索引擎再抓取这样的链接。事实上,这样做真的好吗?即使你屏蔽掉了,如果之前的目录存在问题,那么没有被蜘蛛从库中剔除,同样会影响到网站。

  建议最佳的方式是:将对应的主要错误页面整理出来,做死链接提交,以及自定义404页面的处理,彻底的解决问题,而不是逃避问题。

  5、在robots设置当中“*”和“$”的设置,其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。

  最后,笔者要说robots文件的发展已经有10年之余,很多搜索引擎已经对文件进行认可,正确的文件使用可更好的帮助站长们优化网站,否则使用不当便会造成很大的影响。

华企商城更多商品介绍:企业网站建设方案     QQ群推广    百姓网推广

文章转载请注明出处:http://www.netshop168.com/article-9762.html


精品推荐
下一篇:腾讯风铃、搜狐快站、百度 Site App 的优点及缺点
上一篇:怎么才能禁止度移动搜索对网页进行转码?
相关文章

华人企业网
关注微信公众号
享受更多优惠

 

消费者最喜爱的网站TOP100 | | 网络社会征信网 | 北京工商 | 法律顾问 | 京ICP备07504386号-6 | 网站地图