行业资讯

只需两步,正确识别百度蜘蛛

2019-10-10 热度:592 ℃

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛:

1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


新增渲染UA:


移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2.反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

046351493362610.jpg 只需两步,正确识别百度蜘蛛  第1张

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3). 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


分享给朋友:

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

相关文章

谷歌放弃隐私保护政策:用户信息可被广告平台利用

谷歌放弃隐私保护政策:用户信息可被广告平台利用

讯 搜索引擎的定向广告堪称网络神器,它能够根据用户搜索内容和个人信息来有针对性的为用户显示看起来最合适的广告内容。然而这项广告投放策略却因为涉嫌侵犯用户隐私而受到诟病,但这并没...

饿了么商户遭威胁:不加入星火计划就强制下线

饿了么商户遭威胁:不加入星火计划就强制下线

近日,来自江苏、厦门等地的饿了么商户陆续向《中国经营报》记者独家爆料称,饿了么2015年底推出星火计划,收取商户在线支付营业额的5%作为技术服务费,换取商户在平台排名星级的提升。如果不加...

微软COO离职,CEO纳德拉宣布营销高层变动安排

微软COO离职,CEO纳德拉宣布营销高层变动安排

讯 7月7日消息,今天晚间微软原首席运营官Kevin Turner宣布离职,Kevin Turner已经在微软工作11年,将前往Citadel金融公司担任CEO。微软CEO纳德...

程序员因抢月饼被阿里巴巴辞退,腾讯360抛出橄榄枝

程序员因抢月饼被阿里巴巴辞退,腾讯360抛出橄榄枝

9月13日消息,今天“阿里月饼事件”引起网友热议,据称有四名阿里巴巴的程序员因为使用技术手段抢购内部福利月饼遭到辞退,当事人在知乎表示自己并未付款,而且还主动告知...

滴滴收购优步中国,主角就是这对儿姐妹花

滴滴收购优步中国,主角就是这对儿姐妹花

滴滴和Uber终于在一起了。 随着报道的深入,有两位美女进入了人们的视野。 一位是滴滴的首席运营官COO柳青。 另一位是Uber中国的战略负责人柳甄。 可能,你会问,这俩...

A股奇葩事:网红在朋友圈荐股,上市公司急了

A股奇葩事:网红在朋友圈荐股,上市公司急了

上市公司对媒体传闻、券商研报进行澄清是比较常规的动作,毕竟这个容易影响着股价。而朋友圈中的消息则带有私人社交性质,但网红在朋友圈中发布消息,其效果就不一般了。6月23日,一位知名网红在朋...

维基解密公开沙特同性恋者私人信息:后者将面临死刑

维基解密公开沙特同性恋者私人信息:后者将面临死刑

讯 维基解密(WikiLeaks)创始人阿桑奇近日又开始大爆猛料,和以往相同的是,这位爆料人是不顾后果的。在这次爆料内容中,有关于沙特同性恋男子的私人信息,而“同性...

腾讯状告“广东微信”胜诉:后者需改名还要赔8万

腾讯状告“广东微信”胜诉:后者需改名还要赔8万

当你听到“广东微信公司”时,是否会马上联想到这是“微信”的广东分公司?而事实上,广东微信公司仅仅是一家顺德注册的企业,与腾讯公司和微信没有...

天涯论坛副主编金波疑因脑溢血去世,年仅34岁

天涯论坛副主编金波疑因脑溢血去世,年仅34岁

6月29日消息,据@蓝鲸财经记者工作平台报道,今日19点40分左右,北京地铁6号线呼家楼站开往潞城方向站台上,天涯论坛副主编金波突然晕倒,失去意识,疑似发生脑溢血,年仅34岁。 另据金...

微信公众平台身份验证出问题,腾讯称正在修复

微信公众平台身份验证出问题,腾讯称正在修复

讯 11月11日消息,今天有部分用户反馈称微信的公众号身份验证出现问题,腾讯公关总监@张军 回应称正在修复,最新的消息是登陆二维码已经在陆续恢复。 腾讯张军微博原文如下:...

请先 登录 再评论,若不是会员请先 注册
我们检测到您可能使用 AdBlock 或者其他广告屏蔽插件,导致网页出现错位、变形以及丢失的情况,影响网站内容的阅读。
本站无任何商业广告!为了伍林堂平台的生存,恳请您能够理解,将伍林堂旗下交互产品加入白名单(方法点此),万分感谢!