大家好,又见面了,我是你们的朋友全栈君。
如果有大量的百度蜘蛛抓取网站就需要注意了:有可能是其他爬虫伪造百度蜘蛛恶意抓取网站。
如果遇到这种情况,这时候就需要查看日志来确定是不是真正的百度蜘蛛(baidu spider)。搜索引擎蜘蛛、用户访问、爬虫等访问都会留下 User-Agent。
我们可以通过 User-Agent 大概判断是不是百度蜘蛛(baidu spider)。
百度 User-Agent 主要有以下几个:
-
百度 PC 蜘蛛 User-Agent 是:
Mozilla/5.0 (compatible; Baiduspider/2.0; +
http://www.baidu.com/search/spider.html
) -
百度移动蜘蛛 User-Agent 是:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +
http://www.baidu.com/search/spider.html
) -
还有一个是 Baiduspider-render/2.0 User-Agent 是:
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +
http://www.baidu.com/search/spider.html
)
这个 Baiduspider-render/2.0 主要是为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的 CSS、Javascript 和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新 User-Agent 来访问站点的上述资源。
Baiduspider-render/2.0 不同于 Baiduspider/2.0,Baiduspider-render/2.0 可以获取 Javascript 内容,实现动态渲染。
还有其他的百度产品的 User-Agent:
-
百度图片搜索 User-Agent:
Baiduspider-image+(+
http://www.baidu.com/search/spider.htm
) -
百度视频搜索 User-Agent:
Baiduspider-video
-
百度新闻搜索 User-Agent:
Baiduspider-news
-
百度搜藏 User-Agent:
Baiduspider-favo
-
百度联盟 User-Agent:
Mozilla/5.0 (compatible; Baiduspider-cpro; +
http://www.baidu.com/search/spider.html
) -
商务搜索 User-Agent:
Baiduspider-ads
以上总结了百度所有产品的 User-Agent,但是仅仅通过 User-Agent 识别百度蜘蛛(baidu spider)是完全不够的,因为 User-Agent 完全可以被伪造。
如何伪造 User-Agent 与如何通过 IP 识别百度蜘蛛(baidu spider)我将在以后的文章中详述。
参考资料:
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/155758.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...