Python网页爬取_在pycharm里面如何爬取网页

Python网页爬取_在pycharm里面如何爬取网页使用Python爬取简单数据闲暇时间学习Python,不管以后能否使用,就算了解计算机语言知识。因为有一点Java基础,所以Python的基本语法就很快的过了一遍,看了视频之后直接就开始编写,表达或许有点混乱,以后慢慢改进。一、导入爬取网页所需的包。frombs4importBeautifulSoup#网页解析importxlwt#excelimportre#正则表达式importurllib.request,urllib.error#指定url,获取

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

使用Python爬取简单数据
闲暇时间学习Python,不管以后能否使用,就算了解计算机语言知识。
因为有一点Java基础,所以Python的基本语法就很快的过了一遍,表达或许有点混乱,以后慢慢改进。
一、导入爬取网页所需的包。

from bs4 import BeautifulSoup   #网页解析
import xlwt     #excel
import re  #正则表达式
import urllib.request,urllib.error     #指定url,获取网页数据

二、Python属于脚本语言,没有类似Java的主入口(main),对于这里理解不是很深,就是给这个类添加一个主入口的意思吧。

if __name__ == '__main__':
    main()

三、接着在定义主函数main(),主函数里应包括

  1. 所需爬取的网页地址
  2. 得到网页数据,进行解析舍取
  3. 将得到的数据保存在excel中
def main():
    #指定所需爬取网页路径
    basePath = "https://www.duquanben.com/"
    #获取路径
    dataList = getData(basePath)
    #保存数据
    saveData(dataList)

四、需对爬取网页进行数据的采集

  1. 因为使用的Pycharm软件来进行爬取,首先需要进行下伪装,将浏览器的代理信息取出在这里插入图片描述待解析网页数据时,使用此信息进行伪装

五、定义获取数据方法

  1. 进入网页取数据,需得到网页认可(解析网页)
def getData(basePath):

    #解析数据
    html = uskURL(basePath)
  1. uskURL方法有点类似于死方法,根据浏览器的不同,改变下用户代理人信息即可
def uskURL(basePath):
    heard = { 
   
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0"   #伪装为浏览器
    }
    req=urllib.request.Request(basePath,headers=heard,method="GET")
    html = ""

    try:
        response=urllib.request.urlopen(req)
        html = response.read()
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)

    return  html

3、准备集合装载数据,解析网页数据,匹对正则表达式
在这里插入图片描述可以看出爬取的数据由

标签包裹,所以只需遍历循环此标签即可。

#正则表达式定义为全局变量
link = re.compile(r'<h5><a href="(.*)" target="_blank">')
author = re.compile(r'作者:(.*)')
content = re.compile(r'<p><a href="(.*)" target="_blank">(.*?)</a></p>',re.S) #re.S表示忽略换行符等

def getData(basePath):

    #解析数据
    html = uskURL(basePath)

    #解析网页数据
    bs = BeautifulSoup(html,"html.parser")

    #t_list=bs.find_all("div",class_="hot-img") #因为class是一个类别,所以需要加一个下划线,不然会报错<div class="hot-img">
    #print(t_list)

    # 装数据的集合
    datalist = []

    for item in bs.find_all("div",class_="hot-img"):
        data = []  #另准备一个集合装取数据
        item = str(item) #转化为字符串
        linklist = re.findall(link, item) #findall(1,2)1表示正则表达式,2表示所要匹对的字符串
        #print(linklist)
        data.append(linklist)
        authorlist = re.findall(author,item)
        data.append(authorlist)
        #print(authorlist)
        contentlist = re.findall(content,item)[0][1] #contentlist里我们只需要第二个数据,将他看作为二维数组,后面对应取值即可
        if contentlist == "": #无字符串时,根据自己想法而定
            data.append("暂无简介")
        else:
            data.append(contentlist)
        datalist.append(data)
    #print(datalist)
    return datalist

六、将得到的数据保存在excel中

def saveData(dataList):
    Book=xlwt.Workbook(encoding="utf-8",style_compression=0)#style_compression:表示是否压缩,不常用
    sheet=Book.add_sheet("小说.xls",cell_overwrite_ok=True)#cell_overwrite_ok,表示是否可以覆盖单元格
    line = ("详情链接","笔名","简介")
    for item in range(len(line)):   #此处循环如果line里只有一个字符串,那么生成的xls里,只会出现一个‘详’字
        #print(len(line))
        sheet.write(0,item,line[item])#wirte(row, col, *args)
    for i in range(len(dataList)):#第一次循环应是将行数,有多少数据有多少行
        data=dataList[i]   #每一条数据应该放在一行里,所以将在一次进行for循环
        for j in range(len(line)):
            sheet.write(i+1,j,data[j])

    Book.save("测试.xls")
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182486.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • webstorm中vue代码不提示[通俗易懂]

    webstorm中vue代码不提示[通俗易懂]今天webstorm中不提示vue代码,网上查找原因,均无果。都准备用idea打开vue项目,进行编写。突然注意到编辑器右下角经常出现的如下图,平时咱也不知道,也没管,反正今天代码不提示,就网上查查。都有谁知道这哥们是省电模式。如果勾选上的话,就不会有提示,果断取消勾选,提示终于出现。唉,什么问题都有。有提示真香。…

  • 正则表达式(python3)

    正则表达式(python3)

  • 【第三篇】Spring-Session实现Session共享实现原理以及源码解析「建议收藏」

    知其然,还要知其所以然 !本篇介绍Spring-Session的整个实现的原理。以及对核心的源码进行简单的介绍!实现原理介绍实现原理这里简单说明描述: 就是当Web服务器接收到http请求后,当请求进入对应的Filter进行过滤,将原本需要由web服务器创建会话的过程转交给Spring-Session进行创建,本来创建的会话保存在Web服务器内存中,通过Spring-…

  • CodeBlocks切换中文

    CodeBlocks切换中文下载汉化包,百度搜索“codeblock汉化包”即可, 比如:http://www.jb51.net/softs/545123.html将其拷贝到,此路径:X:\ProgramFil

  • ireport结构体介绍[通俗易懂]

    ireport结构体介绍[通俗易懂]一个报表的结构大致是几个部分:title、pageHeader、columnHeader、detail、columnFooter、pageFooter、lastPageFooter、summary以及groupHeader、groupfooter。如下图:·Title:每个报表一般会有一个名字,比如×××订单,title就是搁置这个名称的最好地方了,当然你也可以根据需要搁置在合适的地方。Title只在第一页出现。·pageHeader:报表的一些公共要素,比如页码、创建时间、创建人等信息放置在这里是比

  • activity 工作流程引擎-如何画流程图

    activity 工作流程引擎-如何画流程图前言:activity工作流引擎是当前最流行的工作流,最近公司一直在用这个感觉还是很好用的,学习过程中也有不少的坑所以简单记录一下相关知识的学习过程吧如何画流程图,这里使用浏览器端的一个工具和eclipse里面操作都差不多吧1.流程图里面的节点,如开始,子流程等都是通过拖拽的方式加载的2.一个节点通过点击即可选择下一个节点事件3.如果一个节点出现分支,或者判断的情况可以在流程线上设置…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号