行业资讯

首页 > 新闻资讯 > 行业资讯 > 只需两步,正确识别百度蜘蛛

只需两步,正确识别百度蜘蛛

2019-10-10 热度:127 ℃

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛:

1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


新增渲染UA:


移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2.反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

046351493362610.jpg 只需两步,正确识别百度蜘蛛  第1张

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3). 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


相关文章

起诉罗永浩的锤粉曾希望入职锤子科技,被拒

起诉罗永浩的锤粉曾希望入职锤子科技,被拒

讯 针对用户起诉锤子手机存在虚假宣传的问题,罗永浩此前曾在回应王思聪时做出了解释,不过随着该事件影响的扩大,他今天再次发文回应,对用户指控的三个问题逐一辩解,并表示用户所言商业...

Google正测试在搜索结果中加入自家网络测速工具

Google正测试在搜索结果中加入自家网络测速工具

当用户想要确认检查当前宽带速度的时候通常会选择在Google中搜索“speed test”,随后在跳出的网页链接中会选择有Ookla公司提供的免费网页产品。为了简...

腾讯18岁成人礼,五万人在深圳同庆鹅厂生日

腾讯18岁成人礼,五万人在深圳同庆鹅厂生日

11月12日,“腾讯成人礼Q民嘉年华”活动深圳站在锦绣中华民俗村举行。继昨日腾讯公司发红包、派股票庆祝生日的消息在线上疯狂刷屏之后,今日接近五万人次的腾讯员工及家...

报告:女程序员依然珍稀,月薪比男性低4000元

报告:女程序员依然珍稀,月薪比男性低4000元

10月14日消息互联网求职平台100offer近日公布了中国互联网女性工程师工作报告。根据报告显示,过去一年,男程序员的注册人数是女程序员的近4倍;同一职位下的男程序员薪资普遍高于女程序...

华硕校园商用台式机上线

华硕校园商用台式机上线

传统教学方式重在给学生灌输知识,教学手段也较为单调,学生很容易感到无聊。而具备人机交互、立即反馈这一优势的多媒体课堂教学方式很大程度上能改变上述状况。教师通过多媒体设备将准备好的课件展示...

蚂蚁金服董事长兼CEO彭蕾10月16日卸任CEO:总裁井贤栋将接任

蚂蚁金服董事长兼CEO彭蕾10月16日卸任CEO:总裁井贤栋将接任

讯 10月8日消息,今天,蚂蚁金服通过官方微信发布公告,宣布10月16日起,蚂蚁金服董事长兼CEO彭蕾将卸任CEO,由另一位阿里合伙人、蚂蚁金服总裁井贤栋接任。 公告内容...

高德地图发布AI智能公交导航产品

高德地图发布AI智能公交导航产品

高德地图发布全了AI智能公交导航,该导航利用高德地图的大数据及机器学习能力,以海量用户行为统计为机器学习样本,以城市特色和用户画像为辅助,为用户公交出行提供智能导航出行。 高德地图...

我国成功研制EB级云存储系统:可满足大数据量存储落地需求

我国成功研制EB级云存储系统:可满足大数据量存储落地需求

国家863计划云计算关键技术与系统(二期)项目课题验收会11月29日在天津召开,由我国高性能计算领军企业中科曙光承担的“EB级云存储系统研制”课题通过技术验收。...

我们检测到您可能使用 AdBlock 或者其他广告屏蔽插件,导致网页出现错位、变形以及丢失的情况,影响网站内容的阅读。
本站无任何商业广告!为了伍林堂平台的生存,恳请您能够理解,将伍林堂旗下交互产品加入白名单(方法点此),万分感谢!