行业资讯

首页 > 新闻资讯 > 行业资讯 > 只需两步,正确识别百度蜘蛛

只需两步,正确识别百度蜘蛛

2019-10-10 热度:270 ℃

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛:

1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


新增渲染UA:


移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2.反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

046351493362610.jpg 只需两步,正确识别百度蜘蛛  第1张

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3). 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


相关文章

OpenStack Newton:集虚拟化,裸金属和容器部署的统一云平台

OpenStack Newton:集虚拟化,裸金属和容器部署的统一云平台

国庆长假期间,OpenStack第十四版本Newton(牛顿?)发布,官方介绍中强调这是一个集虚拟化、裸金属和容器技术的一体化平台,可通过一套API来管理裸金属、虚拟机和容器编排框架,能...

淘宝发布“中国重点大学网购排行”:复旦亮了

淘宝发布“中国重点大学网购排行”:复旦亮了

讯 随着各省市高考分数招录分数陆续公布,填报大学志愿成为考生最关注的一件事儿。但是你知道哪所大学最爱看书?哪个大学的妹子最养眼?哪座大学的网购之风最盛包裹满天飞? 6月2...

微软人工智能登顶2016年新世代权力榜

微软人工智能登顶2016年新世代权力榜

日前,由《南方都市报》联合国内20家主流媒体以及近百位智囊评委联合发起的“2016年新时代权力榜”于广州重磅出炉。除备受瞩目的颁奖仪式外,最受媒体与受邀听众关注的...

马化腾公开信:半条命给合作伙伴,未来人机交互将巨变

马化腾公开信:半条命给合作伙伴,未来人机交互将巨变

讯 9月7日消息,腾讯公司董事会主席兼首席执行官马化腾今日向合作伙伴致公开信,表示五年前提出的“没有疆界、开放分享的互联网新生态”已经发展得卓有成效,只...

QQ群内撒优惠,捡便宜有风险

QQ群内撒优惠,捡便宜有风险

“尊敬的淘宝会员,您购物信誉良好,现邀请您进QQ群,晚上9点发红包,每天宝贝秒杀红包不停,入群仅限今日!”很多人都收到过类似的短信。“双11&rdqu...

P2P平台心塞:超两成用户是羊毛党,拿完红包就走

P2P平台心塞:超两成用户是羊毛党,拿完红包就走

P2P平台的一大获客手段,就是向新用户派发福利,这样大手笔的福利派发更是催生了一群“不劳而获”的羊毛党。融360发布的最新调查报告显示,如果定义薅过10个以上平台...

腾讯将于11月16日发布2016年Q3财报

腾讯将于11月16日发布2016年Q3财报

讯 10月9日消息,腾讯控股有限公司刚刚发布公告,该公司将于11月16日举行董事会会议,届时将发布2016年第三季度财报。 腾讯此前在8月17日发布了2016年第二季度财...

谷歌母公司Alphabet第三季度财报:净利同比增27%

谷歌母公司Alphabet第三季度财报:净利同比增27%

讯 北京时间10月28日消息,谷歌母公司Alphabet发布了截止至9月30日的2016财年第3季度财报。Alphabet第三季度总营收达到224.51亿美元,净利润50.61...

我们检测到您可能使用 AdBlock 或者其他广告屏蔽插件,导致网页出现错位、变形以及丢失的情况,影响网站内容的阅读。
本站无任何商业广告!为了伍林堂平台的生存,恳请您能够理解,将伍林堂旗下交互产品加入白名单(方法点此),万分感谢!