首页 > 华企学院 > 优化教程 > 百度spider蜘蛛介绍

百度spider蜘蛛介绍

作者:华企商城小编  浏览量:169   发布时间:2015-12-03 16:41:37

1. 什么是Baiduspider

Baiduspider是baidu查找引擎的一个自动程序,它的作用是拜访互联网上的页面,树立索引数据库,运用户能在baidu查找引擎中查找到您网站上的页面。

2. Baiduspider的user-agent是什么?

baidu各个商品运用不相同的user-agent:

3. Baiduspider对一个网站效劳器形成的拜访压力怎么?

为了达到对方针资本较好的检索作用,Baiduspider需求对您的网站坚持一定量的抓取。咱们尽量不给网站带来不合理的担负,并会依据效劳器承 受才能,网站质量,网站更新等归纳因从来进行调整。假如您觉得baiduspider的拜访行动有任何不合理的状况,您可以反应至反应基地。

4. 为何Baiduspider不停的抓取我的网站?

对于您网站上新发生的或许继续更新的页面,Baiduspider会继续抓取。此外,您也可以查看网站拜访日志中Baiduspider的拜访是不是正常,以避免有人歹意假充Baiduspider来频频抓取您的网站。 假如您发现Baiduspider非正常抓取您的网站,请经过反应基地反应给咱们,并请尽量给出Baiduspider对贵站的拜访日志,以便于咱们跟踪处理。

5. 怎么判别是不是假充Baiduspider的抓取?

建议您运用DNS反查办法来断定抓取来历的ip是不是属于baidu,依据渠道不相同验证办法不相同,如linux/windows/os三种渠道下的验证办法分别如下:

5.1 在linux渠道下,您可以运用host ip指令反解ip来判别是不是来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名,非 *.baidu.com 或 *.baidu.jp 即为假充。$ host 123.125.66.120 120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.host 119.63.195.254254.195.63.119.in-addr.arpa domain name pointer BaiduMobaider-119-63-195-254.crawl.baidu.jp.

5.2 在windows渠道或许IBM OS/2渠道下,您可以运用nslookup ip指令反解ip来 判别是不是来自Baiduspider的抓取。翻开指令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判别是不是来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名,非 *.baidu.com 或 *.baidu.jp 即为假充。

5.3 在mac os渠道下,您可以运用dig 指令反解ip来 判别是不是来自Baiduspider的抓取。翻开指令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判别是不是来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名,非 *.baidu.com 或 *.baidu.jp 即为假充。

6. 我不想我的网站被Baiduspider拜访,我该怎么做?

Baiduspider恪守互联网robots协议。您可以使用robots.txt文件彻底制止Baiduspider拜访您的网站,或许制止 Baiduspider拜访您网站上的有些文件。 留意:制止Baiduspider拜访您的网站,将使您的网站上的页面,在baidu查找引擎以及一切baidu供给查找引擎效劳的查找引擎中无法被查找到。关于 robots.txt的写作办法,请参看咱们的介绍:robots.txt写作办法您可以依据各商品不相同的user-agent设置不相同的抓取规则,假如您想彻底制止baidu一切的商品录入,可以直接对Baiduspider设置制止抓取。以下robots完成制止一切来自baidu的抓取:User-agent: BaiduspiderDisallow: /以下robots完成制止一切来自baidu的抓取但答应图像查找抓取/image/目录:User-agent: BaiduspiderDisallow: /User-agent: Baiduspider-imageAllow: /image/请留意:Baiduspider-cpro抓取的页面并不会建入索引,仅仅履行与客户约定的操作,所以不恪守robots协议,假如Baiduspider-cpro给您形成了困惑,请联络union1@baidu.com。

Baiduspider-ads抓取的页面并不会建入索引,仅仅履行与客户约定的操作,所以不恪守robots协议,假如Baiduspider-ads给您形成了困惑,请联络您的客户效劳专员。

7. 为何我的网站现已加了robots.txt,还能在baidu查找出来?

因为查找引擎索引数据库的更新需求时刻。尽管Baiduspider现已中止拜访您网站上的页面,但baidu查找引擎数据库中现已树立的页面索引信息,也许需求数月时刻才会清除。别的也请查看您的robots装备是不是正确。假如您的回绝被录入需求非常急切,也可以经过反应基地反应恳求处理。

8. 我期望我的网站内容被baidu索引但不被保存快照,我该怎么做?

Baiduspider恪守互联网meta robots协议。您可以使用页面meta的设置,使baidu显现只对该页面建索引,但并不在查找成果中显现该页面的快照。和robots的更新相同,因为查找引擎索引数据库的更新需求时刻,所以尽管您现已在页面中经过meta制止了baidu在查找成果中显现该页面的快照,但baidu查找引擎数据库中假如现已树立了页面索引信息,也许需求二至附近才会在线上生效。

9. Baiduspider抓取形成的带宽阻塞?

Baiduspider的正常抓取并不会形成您网站的带宽阻塞,形成此景象也许是因为有人假充Baiduspider歹意抓取。假如您发现有名为Baiduspider的agent抓取并且形成带宽阻塞,请赶快和咱们联络。您可以将信息反应至反应基地,假如可以供给您网站该时段的拜访日志将愈加有利于咱们的分析。

华企商城更多商品介绍:电脑硬件检测软件    唱吧加关注套餐  最火爆的小草淘宝客程序

文章转载请注明出处:http://www.netshop168.com/article-2719.html


精品推荐
下一篇:分享一下最新的网站seo方案(纯干货)
上一篇:关于百度快照问题的若干说明
相关文章

华人企业网
关注微信公众号
享受更多优惠

 

消费者最喜爱的网站TOP100 | | 网络社会征信网 | 北京工商 | 法律顾问 | 京ICP备07504386号-6 | 网站地图