百度蜘蛛抓取如何识别

angle
318
文章
0
评论
2020年4月26日22:15:51百度蜘蛛抓取如何识别已关闭评论 668 1450字阅读4分50秒

SEO小白,初出茅庐时会听说百度蜘蛛抓取云云,那这个蜘蛛抓取是个什么呢?它要干啥呢?

百度蜘蛛,它是百度的一个自动化程序,它的主要工作是收集整理互联网的页面、图片、视频等,从而分类建库,让用户在百度搜索中检索到需要的内容。

百度蜘蛛抓取如何识别

在SEO优化的过程中,经常有人问:“最近百度蜘蛛来的太频繁服务器抓爆了,怎么办?”“最近百度蜘蛛都不来了怎么办”还有很多站长想要得到百度蜘蛛的IP段,并把他们加入到IP白名单中,但是IP却不固定。那站长们该怎么正确识别百度蜘蛛呢?

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

百度蜘蛛抓取如何识别

 

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

继续阅读
网站建设如何让百度优化排名稳定? SEO优化

网站建设如何让百度优化排名稳定?

现在很多的企业都开始重视百度关键词排名,比如说,网站建设行业百度关键词排名如何排名靠前,并且保持稳定的效果呢?这里总结了几点方法,大家可以试试看。 一、规律更新高质量内容      一个网站,想要受百...
网站如何优化排名 SEO优化

网站如何优化排名

互联网高速发展时代,企业看到网站发展前景也逐渐重视起来,想要占据更大市场以此来获得更多客户。企业也开始做起seo网站推广,宣传产品信息借此提升企业形象,以此扩大企业品牌影响力。那么新网站如何在短时间内...
如何成功伪原创一篇文章? SEO优化

如何成功伪原创一篇文章?

文章的收录率是网站权重的基础,每天都要跟新文章成为SEO优化人员最头疼的问题。很多网站SEO优化时候,会选择做伪原创文章更新,今天就跟大家聊聊伪原创文章如何写才能提升网站质量。伪原创是指把一篇原创的文...
影响关键词优化的因素有哪些? SEO优化

影响关键词优化的因素有哪些?

很多站长朋友消耗大量的时间成本,人力成本做网站关键词排名,并让排名达到理想状况,却发现网站关键词排名不稳定,时上时下,飘忽不定。针对这种情况,建议站长或seo优化人员针对排名不稳定的原因做具体分析,并...