Python网络爬虫精要

Python网络爬虫精要

目的

学习如何从互联网上获取数据。数据科学必须掌握的技能之一。

本文所用到的第三方库如下: requests, parsel, selenium

requests负责向网页发送HTTP请求并得到响应,parsel负责解析响应字符串,selenium负责JavaScript的渲染。

网络爬虫是什么

网络爬虫是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。

如何爬取网站信息

写爬虫之前,我们必须确保能够爬取目标网站的信息。

不过在此之前必须弄清以下三个问题:

  1. 网站是否已经提供了api

  2. 网站是静态的还是动态的

  3. 网站是否有反爬的对策

情形1:开放api的网站

一个网站倘若开放了api,那你就可以直接GET到它的json数据。

比如xkcd的about页就提供了api供你下载

import requests
requests.get('https://xkcd.com/614/info.0.json').json()

那么如何判断一个网站是否开放api呢?有3种方法:

  1. 在站内寻找api入口

  2. 用搜索引擎搜索“某网站 api”

  3. 抓包。有的网站虽然用到了ajax(比如果壳网的瀑布流文章),但是通过抓包还是能够获取XHR里的json数据的。

怎么抓包:F12 – Network – F5刷新即可 | 或者用fiddle等工具也可以

情形2:不开放api的网站

如果此网站是静态页面,那么你就可以用requests库发送请求,再用HTML解析库(lxml、parsel等)来解析响应的text

解析库强烈推荐parsel,不仅语法和css选择器类似,而且速度也挺快,Scrapy用的就是它。

你需要了解一下css选择器的语法(xpath也行),并且学会看网页的审查元素。

比如获取konachan的所有原图链接

from parsel import Selector
res = requests.get('https://konachan.com/post')
tree = Selector(text=res.text)
imgs = tree.css('a.directlink::attr(href)').extract()

如果此网站是动态页面,先用selenium来渲染JS,再用HTML解析库来解析driver的page_source。

比如获取hitomi.la的数据(这里把chrome设置成了无头模式)

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://hitomi.la/type/gamecg-all-1.html')
tree = Selector(text=driver.page_source)
gallery_content = tree.css('.gallery-content > div')

情形3:反爬的网站

目前的反爬策略常见的有:验证码、登录、封ip等。

验证码:利用打码平台破解(如果硬上的话用opencv或keras训练图)

登录:利用requests的post或者selenium模拟用户进行模拟登陆

封ip:买些代理ip(免费ip一般都不管用),requests中传入proxies参数即可

其他防反爬方法:伪装User-Agent,禁用cookies等

推荐用fake-useragent来伪装User-Agent

from fake_useragent import UserAgent
headers = {'User-Agent': UserAgent().random}
res = requests.get(url, headers=headers)

如何编写结构化的爬虫

如果能成功地爬取网站信息,那么你已经成功了一大半。

其实爬虫的架构很简单,无非就是创造一个tasklist,对tasklist里的每一个task调用crawl函数。

大多数网页的url构造都是有规律的,你只需根据它用列表推倒式来构造出tasklist对于那些url不变的动态网页,先考虑抓包,不行再用selenium点击下一页
如果追求速度的话,可以考虑用concurrent.futures或者asyncio等库。

import requests
from parsel import Selector
from concurrent import futures

domain = 'https://www.doutula.com'

def crawl(url):
    res = requests.get(url)
    tree = Selector(text=res.text)
    imgs = tree.css('img.lazy::attr(data-original)').extract()
    # save the imgs ...

if __name__ == '__main__':
    tasklist = [f'{domain}/article/list/?page={i}' for i in range(1, 551)]
    with futures.ThreadPoolExecutor(50) as executor:
        executor.map(crawl, tasklist)

数据存储的话,看你的需求,一般都是存到数据库中,只要熟悉对应的驱动即可。

常用的数据库驱动有:pymysql(MySQL),pymongo(MongoDB)

如果你需要框架的话

文章读到这里,你应该对爬虫的基本结构有了一个清晰的认识,这时你可以去上手框架了。

轻量级框架(looter):https://github.com/alphardex/looter

工业级框架(scrapy):https://github.com/scrapy/scrapy

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/112407.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • ftp服务器文件保存位置,ftp服务器和文件保存路径「建议收藏」

    ftp服务器文件保存位置,ftp服务器和文件保存路径「建议收藏」ftp服务器和文件保存路径内容精选换一换用户可以在MRSManager界面上配置监控指标数据对接参数,使集群内各监控指标数据通过FTP或SFTP协议保存到指定的FTP服务器,与第三方系统进行对接。FTP协议未加密数据可能存在安全风险,建议使用SFTP。MRSManager支持采集当前管理的集群内所有监控指标数据,采集的周期有30秒、60秒和300秒三种。监控指标数据在FTP该任务指导用户使用…

  • docker集群软件之fleet安装

    docker集群软件之fleet安装前几天给大家介绍了docker的集群存储软件etcd的安装(地址http://dl528888.blog.51cto.com/2382721/1623746),今天就再给大家介绍集群的控制软件fleet安装。fleet的介绍,info里复制的fleet 是一个通过 Systemd对CoreOS 集群中进行控制和管理的工具。fleet 与 Systemd 之间通过 D-Bus API 进行交互,每个…

  • web浏览器缓存机制_网站利用浏览器缓存

    web浏览器缓存机制_网站利用浏览器缓存浏览器缓存机制之一(经典缓存)因为在接手的项目中用到过比较新的HTML5应用缓存,也用到了经典的缓存如设置max-age,Etag之类,而之前一直就是在用着没有去深究其中原理。周末天气不好,懒得出去了,正好找时间总结下。1.关于浏览器缓存记得去年看《HTTP权威指南》的时候,有一章是专门讲浏览器缓存的,一年时间过得太快,逝去的时光还真是如同人群中消失的好姑娘,眼看她嫁给别人。我这里把浏览器缓存分为…

    2022年10月21日
  • ibm x201 怎么清理内部_维修小技巧 篇五:ThinkPadX201i拆机换散热风扇清灰教程

    ibm x201 怎么清理内部_维修小技巧 篇五:ThinkPadX201i拆机换散热风扇清灰教程维修小技巧篇五:ThinkPadX201i拆机换散热风扇清灰教程2020-11-2521:45:4416点赞14收藏42评论创作立场声明:拆装有风险、拆装有风险、拆装有风险,欢迎收藏,点赞,打赏,关注。(๑ºั╰╯ºั๑)大家好我是况天佑,我们又见面啦。家中使用许久的ThinkPadX201i开机后会自动关机,参考度娘的教程大几率散热风扇问题,散热风扇不正常导致过热而自动关机,速度拼多多下单…

  • Java 开发详解视频教程 孙鑫

    Java 开发详解视频教程 孙鑫http://www.enet.com.cn/eschool/zhuanti/java/要是有能打包下载的就好了

  • NOIP2012Day1T3-开车旅行

    NOIP2012Day1T3-开车旅行题解:首先我们可以分别建立小AAA和小BBB路程森林。其实森林也不用用边表去存储它,只要记录一下fa[i]fa[i]fa[i],即iii点的下一个点就可以了小AAA和小BBB旅行就等价于在这些森林里跑,很容易想到树上倍增。我们可以令f[i][j]f[i][j]f[i][j]为当前AAA开车在第iii个点经过2j2j2^j天后到达的点g1[i][j]g1[i][j]g1[i][j…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号