Python爬虫入门这一篇就够了「建议收藏」

Python爬虫入门这一篇就够了「建议收藏」何谓爬虫所谓爬虫,就是按照一定的规则,自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网,我们的爬虫就是上面的一个蜘蛛,不断的去抓取我们需要的信息。爬虫三要素抓取分析存储基础

大家好,又见面了,我是你们的朋友全栈君。

何谓爬虫

所谓爬虫,就是按照一定的规则,自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网,我们的爬虫就是上面的一个蜘蛛,不断的去抓取我们需要的信息。

爬虫三要素

抓取

分析

存储

基础的抓取操作

1、urllib

在Python2.x中我们可以通过urllib 或者urllib2 进行网页抓取,但是再Python3.x 移除了urllib2。只能通过urllib进行操作

Python爬虫入门这一篇就够了「建议收藏」

 

带参数的urllib

url = ‘https://blog.csdn.net/weixin_43499626’

url = url + ‘?’ + key + ‘=’ + value1 + ‘&’ + key2 + ‘=’ + value2

2、requests

requests库是一个非常实用的HTPP客户端库,是抓取操作最常用的一个库。Requests库满足很多需求

Python爬虫入门这一篇就够了「建议收藏」

 

需要登录的情况下

1、表单提交登录

向服务器发送一个post请求并携带相关参数,将服务器返回的cookie保存在本地,cookie是服务器在客户端上的“监视器”,记录了登录信息等。客户端通过识别请求携带的cookie,确定是否登录

Python爬虫入门这一篇就够了「建议收藏」

 

2、cookie登录

我们可以将登录的cookie存储在文件中,

Python爬虫入门这一篇就够了「建议收藏」

 

常见的反爬有哪些

1、通过user-agent来控制访问

user-agent能够使服务器识别出用户的操作系统及版本、cpu类型、浏览器类型和版本。很多网站会设置user-agent白名单,只有在白名单范围内的请求才能正常访问。所以在我们的爬虫代码中需要设置user-agent伪装成一个浏览器请求。有时候服务器还可能会校验Referer,所以还可能需要设置Referer(用来表示此时的请求是从哪个页面链接过来的)

Python爬虫入门这一篇就够了「建议收藏」

 

如下是CSDN中的Request Header中的信息

Python爬虫入门这一篇就够了「建议收藏」

 

2、通过IP来限制

当我们用同一个ip多次频繁访问服务器时,服务器会检测到该请求可能是爬虫操作。因此就不能正常的响应页面的信息了。

解决办法常用的是使用IP代理池。网上就有很多提供代理的网站、

Python爬虫入门这一篇就够了「建议收藏」

 

3、设置请求间隔

import time

time.sleep(1)

4、自动化测试工具Selenium

Web应用程序测试的Selenium工具。该工具可以用于单元测试,集成测试,系统测试等等。它可以像真正的用户一样去操作浏览器(包括字符填充、鼠标点击、获取元素、页面切换),支持Mozilla Firefox、Google、Chrome、Safari、Opera、IE等等浏览器。

5、参数通过加密

某些网站可能会将参数进行某些加密,或者对参数进行拼接发送给服务器,以此来达到反爬虫的目的。这个时候我们可以试图通过js代码,查看激活成功教程的办法。

连接xxx

或者可以使用”PhantomJS”,PhantomJS是一个基于Webkit的”无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。

6、通过robots.txt来限制爬虫

robots.txt是一个限制爬虫的规范,该文件是用来声明哪些东西不能被爬取。如果根目录存在该文件,爬虫就会按照文件的内容来爬取指定的范围。

浏览器访问https://www.taobao.com/robots.txt

可以查看淘宝的robots.txt文件

部分内容如下

User-agent: BaiduspiderDisallow: /product/Disallow: /User-Agent: GooglebotDisallow: /User-agent: BingbotDisallow: /User-Agent: 360SpiderDisallow: /User-Agent: YisouspiderDisallow: /User-Agent: SogouspiderDisallow: /User-Agent: Yahoo! SlurpDisallow: /User-Agent: *Disallow: /

可以看出淘宝拒绝了百度爬虫、谷歌爬虫、必应爬虫、360爬虫、神马爬虫,搜狗爬虫、雅虎爬虫等约束。

分析

我们可以分析爬取的网页内容,获得我们真正需要的数据,常用的有正则表达式,BeautifulSoup,XPath、lxml等

正则表达式是进行内容匹配,将符合要求的内容全部获取;

xpath()能将字符串转化为标签,它会检测字符串内容是否为标签,但是不能检测出内容是否为真的标签;

Beautifulsoup是Python的一个第三方库,它的作用和 xpath 作用一样,都是用来解析html数据的相比之下,xpath的速度会快一点,因为xpath底层是用c来实现的

存储

通过分析网页内容,获取到我们想要的数据,我们可以选择存到文本文件中,亦可以存储在数据库中,常用的数据库有MySql、MongoDB

存储为json文件

Python爬虫入门这一篇就够了「建议收藏」

 

存储为cvs文件

Python爬虫入门这一篇就够了「建议收藏」

 

存储到Mongo

Python爬虫入门这一篇就够了「建议收藏」

 
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/156034.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 游戏建模学习经验分享

    游戏建模学习经验分享最近通过很多师弟的交流,我发现游戏建模初学者大多存在三个大问题,一是工具的使用不够熟练,甚至有些功能还不知道,二是对布线的规范没有太大的要求和了解,三是对游戏制作流程不清晰和板绘下的功力不够,对贴图制作用工少,甚至有些人还处于一直做白膜的阶段,那么对大多说想要要学游戏建模的学习者想要学什么:低模,高模制作,贴图材质,动作特效。毕竟很多人学的并没有那么快,建模实质就是孰能生巧,做的东西多了,遇到问题多了,解决之后就会学的更多。今天就跟大家聊一聊目前我遇到新手关于建模方面的问题。1:工具使用不熟练很多师

  • 推荐5款好用的Java软件,初学者必看「建议收藏」

    推荐5款好用的Java软件,初学者必看「建议收藏」“工欲善其事必先利其器”,想要学好Java,除了要有好的学习资源之外,还要有一套适合自己的Java软件,好的软件能极大提高你的学习和工作效率。那么,学Java用什么软件好呢?下面小千为大家推荐5款好用的Java软件。

  • 如何用python画一个心形图_python画心形名字

    如何用python画一个心形图_python画心形名字Python可以使用turtle库来画爱心。Turtle库是Python语言中一个很流行的绘制图像的函数库,想象一个小乌龟,在一个横轴为x、纵轴为y的坐标系原点,(0,0)位置开始,它根据一组函数指令的控制,在这个平面坐标系中移动,从而在它爬行的路径上绘制了图形。实现代码如下:fromturtleimport*pensize(1)pencolor(‘red’)fillcolor(‘pink…

  • 国外最流行的Bootstrap后台管理模板[通俗易懂]

    国外最流行的Bootstrap后台管理模板[通俗易懂]工欲善其事,必先利其器对于从事软件开发的您也一样,有一套熟悉的bootstrap后台ui框架让您的开发速度大幅度提升这是本人经常使用到的一些bootstrap后台框架推荐给大家第一名inspiniabootstrap演示地址http://cn.inspinia.cn效果图http://cn.inspinia.cnhttp://cn.inspinia.cn第二名…

  • FPN(feature pyramid networks)算法讲解「建议收藏」

    FPN(feature pyramid networks)算法讲解「建议收藏」这篇论文是CVPR2017年的文章,采用特征金字塔做目标检测,有许多亮点,特来分享。论文:featurepyramidnetworksforobjectdetection论文链接:https://arxiv.org/abs/1612.03144论文概述:作者提出的多尺度的objectdetection算法:FPN(featurepyramidnetworks)。原来多数的

  • sqlserver中类型decimal

    sqlserver中类型decimaldecimal(18,0)18是定点精度,0是小数位数。decimal(a,b)a指定指定小数点左边和右边可以存储的十进制数字的最大个数,最大精度38。b指定小数点右边可以存储的十进制数字的最大个数。小数位数必须是从0到a之间的值。默认小数位数是0。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号