行业资讯

只需两步,正确识别百度蜘蛛

2019年10月10日 热度:885 ℃

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛:

1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


新增渲染UA:


移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2.反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

046351493362610.jpg

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3). 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


分享给朋友:

相关文章

今日起支付宝提现开始收费

今日起支付宝提现开始收费

今日起支付宝提现开始收费 2016年10月12日起,支付宝将对个人用户超出免费额度的提现收取0.1%的服务费,个人用户每人累计享有2万元基础免费提现额度。 这意味着,从今天开始,...

“315”曝光黑作坊重返平台,百度外卖:已全部紧急下线

“315”曝光黑作坊重返平台,百度外卖:已全部紧急下线

8月8日消息,《新京报》撰文报道称,“315”消费者权益保护日被曝光的饿了么黑店最近悄然重新归来,除了转战美团和百度外卖外,也不乏有遭下架商家重返“饿...

115网盘被苹果App Store下架:原因不明

115网盘被苹果App Store下架:原因不明

7月13日消息,近日有网友反映,115网盘iOS客户端已被苹果App Store下架。目前在App Store搜索“115网盘”会提示“中国店面目前没...

谷歌Soli微型雷达现可识别物体,能置于智能表中

谷歌Soli微型雷达现可识别物体,能置于智能表中

谷歌在2015年公布了有关研发手势控制的Soli项目,Soli微型雷达能够置于智能手表中,使用户能够通过手势调节一个空中虚盘来进行各种操作,如控制扬声器或调节音量。而现在,英国圣安德鲁斯...

微信“无现金日”启动:最高送888元鼓励金

微信“无现金日”启动:最高送888元鼓励金

讯 8月8日消息,微信今天启动了“无现金日”活动,“无现金日”是去年由微信支付倡导发起的全球首个移动支付节日,定于每年的8月8日,今年是第...

和“Battle.net(战网)”说再见:暴雪宣布“战网”改名

和“Battle.net(战网)”说再见:暴雪宣布“战网”改名

讯 9月22日消息,1997年,暴雪为了让当时发行的《暗黑破坏神》玩家得到更好的社区和在线多人游戏体验,推出了为游戏量身定做的Battle.net(战网)游戏对战平台。而现在时...

阿里巴巴、Facebook本周三发布新财报:市场预期前跌后涨

阿里巴巴、Facebook本周三发布新财报:市场预期前跌后涨

据外媒报道,绝大多数的道琼斯工业平均指数成份股公司均已发布了各自截至第三季度末的财报。本周,阿里巴巴集团和Facebook两家互联网巨头也将会发布各自上一财季的财报,不过市场分析师对上述...

网络谣言必须被严打

网络谣言必须被严打

人们常用“造谣一张嘴,辟谣跑断腿”来形容谣言传播之迅猛,辟谣之艰难。身处“信息如海,传播如风”的网络时代,网络谣言更是如同“病毒”一样令人防不胜防,网民纷纷中招,甚至误成“传谣者”。网络谣言不仅耗费了...

31年游戏研究报告:女性慢慢走向平等

31年游戏研究报告:女性慢慢走向平等

这几年来,关于电子游戏中对女性严重的性别歧视的讨论很多,任何希望解决这个问题的人都应该读一读特里萨·林奇(Teresa Lynch)这篇长达18页的文章—&md...

罗永浩表态支持王石:中国最优秀的企业家之一

罗永浩表态支持王石:中国最优秀的企业家之一

  昨日,万科公告称将罢免王石等人董事职务,并给出罢免王石的理由:2011年至2014年间,王石前往美国、英国留学,长期脱离工作岗位的情况下,却依然在未经股东大会事前批准的情...

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
请先 登录 再评论,若不是会员请先 注册