Python网页爬取_在pycharm里面如何爬取网页

Python网页爬取_在pycharm里面如何爬取网页使用Python爬取简单数据闲暇时间学习Python,不管以后能否使用,就算了解计算机语言知识。因为有一点Java基础,所以Python的基本语法就很快的过了一遍,看了视频之后直接就开始编写,表达或许有点混乱,以后慢慢改进。一、导入爬取网页所需的包。frombs4importBeautifulSoup#网页解析importxlwt#excelimportre#正则表达式importurllib.request,urllib.error#指定url,获取

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

使用Python爬取简单数据
闲暇时间学习Python,不管以后能否使用,就算了解计算机语言知识。
因为有一点Java基础,所以Python的基本语法就很快的过了一遍,表达或许有点混乱,以后慢慢改进。
一、导入爬取网页所需的包。

from bs4 import BeautifulSoup   #网页解析
import xlwt     #excel
import re  #正则表达式
import urllib.request,urllib.error     #指定url,获取网页数据

二、Python属于脚本语言,没有类似Java的主入口(main),对于这里理解不是很深,就是给这个类添加一个主入口的意思吧。

if __name__ == '__main__':
    main()

三、接着在定义主函数main(),主函数里应包括

  1. 所需爬取的网页地址
  2. 得到网页数据,进行解析舍取
  3. 将得到的数据保存在excel中
def main():
    #指定所需爬取网页路径
    basePath = "https://www.duquanben.com/"
    #获取路径
    dataList = getData(basePath)
    #保存数据
    saveData(dataList)

四、需对爬取网页进行数据的采集

  1. 因为使用的Pycharm软件来进行爬取,首先需要进行下伪装,将浏览器的代理信息取出在这里插入图片描述待解析网页数据时,使用此信息进行伪装

五、定义获取数据方法

  1. 进入网页取数据,需得到网页认可(解析网页)
def getData(basePath):

    #解析数据
    html = uskURL(basePath)
  1. uskURL方法有点类似于死方法,根据浏览器的不同,改变下用户代理人信息即可
def uskURL(basePath):
    heard = { 
   
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0"   #伪装为浏览器
    }
    req=urllib.request.Request(basePath,headers=heard,method="GET")
    html = ""

    try:
        response=urllib.request.urlopen(req)
        html = response.read()
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)

    return  html

3、准备集合装载数据,解析网页数据,匹对正则表达式
在这里插入图片描述可以看出爬取的数据由

标签包裹,所以只需遍历循环此标签即可。

#正则表达式定义为全局变量
link = re.compile(r'<h5><a href="(.*)" target="_blank">')
author = re.compile(r'作者:(.*)')
content = re.compile(r'<p><a href="(.*)" target="_blank">(.*?)</a></p>',re.S) #re.S表示忽略换行符等

def getData(basePath):

    #解析数据
    html = uskURL(basePath)

    #解析网页数据
    bs = BeautifulSoup(html,"html.parser")

    #t_list=bs.find_all("div",class_="hot-img") #因为class是一个类别,所以需要加一个下划线,不然会报错<div class="hot-img">
    #print(t_list)

    # 装数据的集合
    datalist = []

    for item in bs.find_all("div",class_="hot-img"):
        data = []  #另准备一个集合装取数据
        item = str(item) #转化为字符串
        linklist = re.findall(link, item) #findall(1,2)1表示正则表达式,2表示所要匹对的字符串
        #print(linklist)
        data.append(linklist)
        authorlist = re.findall(author,item)
        data.append(authorlist)
        #print(authorlist)
        contentlist = re.findall(content,item)[0][1] #contentlist里我们只需要第二个数据,将他看作为二维数组,后面对应取值即可
        if contentlist == "": #无字符串时,根据自己想法而定
            data.append("暂无简介")
        else:
            data.append(contentlist)
        datalist.append(data)
    #print(datalist)
    return datalist

六、将得到的数据保存在excel中

def saveData(dataList):
    Book=xlwt.Workbook(encoding="utf-8",style_compression=0)#style_compression:表示是否压缩,不常用
    sheet=Book.add_sheet("小说.xls",cell_overwrite_ok=True)#cell_overwrite_ok,表示是否可以覆盖单元格
    line = ("详情链接","笔名","简介")
    for item in range(len(line)):   #此处循环如果line里只有一个字符串,那么生成的xls里,只会出现一个‘详’字
        #print(len(line))
        sheet.write(0,item,line[item])#wirte(row, col, *args)
    for i in range(len(dataList)):#第一次循环应是将行数,有多少数据有多少行
        data=dataList[i]   #每一条数据应该放在一行里,所以将在一次进行for循环
        for j in range(len(line)):
            sheet.write(i+1,j,data[j])

    Book.save("测试.xls")
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182486.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • vbs表白代码制作教程

     相信很多朋友在刷抖音的时候刷到很多表白程序,很是神奇。想知道这是怎么做的,自己也想弄一个,下面小编为大家带来了抖音vbs表白代码制作教程分享,想学习的朋友快来了解一下吧!    抖音vbs表白代码制作教程    步骤一:    在电脑上新建一个txt文件。    步骤二:    打开txt文件,复制以下代码粘贴进去(可以修改中文部分,其它代码不要动!)。保存并关闭txt文件。    S…

  • 51单片机毕业设计题目_单片机毕业设计怎么做

    51单片机毕业设计题目_单片机毕业设计怎么做以下是学长亲手整理的C51单片机相关的毕业设计选题,都是经过学长精心审核的题目,适合作为毕设,难度不高,工作量达标,对毕设有任何疑问都可以问学长哦!相对容易工作量达标题目新颖,含创新点httpshttpshttpshttpshttpshttps。……

  • cozmo vector的起源最详细的说明「建议收藏」

    VECTORvector,向量,从一个点,往一个方向无限延申。anki公司最初给他们的第一个家庭机器人取名就复用了vector这个众所周知的名字。要谈vector,我还是先从vector的小兄弟cozmo谈起……其实他们最初是个玩具公司,他们开发的赛车玩具我也没玩过,直到可爱的cozmo出现,它的特点就是很可爱。有手有脚有情绪,虽然跑起来没有赛车快。我赶紧买了一个回来。哈哈,说白了就是一个树莓派包装下。anki公司对他的定位还只是一个玩具,可以在手机上安装APP,APP.

  • 汉字转拼音源码的两个类

    汉字转拼音源码的两个类StrToPinyin.cs//类一文件名usingSystem;usingSystem.Data;usingSystem.Configuration;usingSyst

  • mysql行转列简单例子_mysql行转列、列转行示例[通俗易懂]

    mysql行转列简单例子_mysql行转列、列转行示例[通俗易懂]最近在开发过程中遇到问题,需要将数据库中一张表信息进行行转列操作,再将每列(即每个字段)作为与其他表进行联表查询的字段进行显示。借此机会,在网上查阅了相关方法,现总结出一种比较简单易懂的方法备用。一、行转列:将原本同一列下多行的不同内容作为多个字段,输出对应内容。效果图:数据库表中的内容:转换后:可以看出,这里行转列是将原来的f_subject字段的多行内容选出来,作为结果集中的不同列,并根据f_…

  • 批处理FOR 中的Delims和Tokens总结「建议收藏」

    批处理FOR 中的Delims和Tokens总结「建议收藏」本篇为《FOR入门与精通秘籍》的补充内容。由于《FOR入门与精通秘籍》是当初刚开始学FOR时一边学一边写的,思维难免受人家影响,思考的也不够全面,所以存在很多缺点,但又不想做过多修改,只好补写了这篇东西。       在For命令语句的参数F中,最难理解的就是Delims和Tokens两个选项,本文简单的做一个比较和总结。“For/f”常用来解析文本,读取字符串。分工上,delims负

    2022年10月12日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号