Python爬取书包网文章实战总结

Python爬取书包网文章实战总结这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表FLowchart流程图导出与导入导出导入爬取书包网文…

大家好,又见面了,我是你们的朋友全栈君。

python爬取书包网文章总结

今天闲来无事去看小说,但是发现没办法直接下载,所以呢就用python爬虫来下载一波了,哈哈…

爬取的是这篇小说:剑破九天(是不是很霸气,话不多说,开始…)

总体思路步骤分为以下三步:
1.获得文章的每个章节链接地址
2.获得章节内容
3.保存到指定位置

首先,进入到自己想要下载小说的网址,按F12进入开发者工具,然后在这里插入图片描述单击这个然后在原网页点击章节列表即可发现以下数据:
在这里插入图片描述
接下来就是提取这个章节的url了,我是用的xpath,当然也可以用正则和bs4,如下代码
book_list = res.xpath('//div[@class="wp b2 info_chapterlist"]/ul/li')
此时book_list中就可以得到所有章节的url了(第一步完)

第二步就是获得章节具体内容了:
和第一步相似,用xpath即得到章节名和其中一章节内容
章节名称:name = res.xpath('//h1/text()')
章节内容:message_list = res.xpath('//dd[@id="contents"]/text()')

获得了自己需要的章节内容后就要进入第三步的保存了,不过在一开始保存时在100章左右时用以下代码出现了UnicodeEncodeError这个问题

    for m in message:
        with open("D:\英雄时刻\{name}.txt".format(name="剑破九天"),"a") as f:
            f.write(m)

然后发现是默认编码方式问题,其默认为gbk,所以需要改成“utf-8”的格式,代码如下:

    for m in message:
        with open("D:\英雄时刻\{name}.txt".format(name="剑破九天"),"a",encoding="utf-8") as f:
            f.write(m)

然后就可以喝一杯茶慢慢等爬取完成了,哈哈,以下为代码:


#剑破九天.text

import requests
import json
from lxml import html


def get_booklist(n):#获得章节地址
    url = "https://www.bookbao99.net/book/201706/05/id_XNTc5MDg2.html"
    header = { 
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    response = requests.get(url,headers = header)
    response.encoding = "utf-8"
    res = html.fromstring(response.text)
    book_list = res.xpath('//div[@class="wp b2 info_chapterlist"]/ul/li')
    print(len(book_list))#章节个数
    for book in book_list:#遍历所有章节
        try:
            t = book.xpath('a/@href')
            book_url = "https://www.bookbao99.net" + t[0]
            get_message(book_url)
            print("第{n}章爬取完毕".format(n=n))
            n += 1
        except UnicodeEncodeError:
            print("出现一个错误")
        continue


def get_message(url):#提取每个章节内容
    header = { 
   
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    response = requests.get(url,headers = header)
    response.encoding = "utf-8"
    res = html.fromstring(response.text)
    name = res.xpath('//h1/text()')
    n = '\n'+name[0]+'\n\n'
    #print(name[0])
    message_list = res.xpath('//dd[@id="contents"]/text()')
    message_list.insert(0,n)
    #print(message_list)
    save_book(message_list)


def save_book(message):#保存
    for m in message:
        with open("D:\英雄时刻\{name}.txt".format(name="剑破九天"),"a",encoding="utf-8") as f:
            f.write(m)


if __name__ == "__main__":
    n = 1
    get_booklist(n)

是不是美滋滋。
最后呢,欢迎一起讨论爬虫哟~~~

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/148487.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 高并发解决方案之一 ——负载均衡

    高并发解决方案之一 ——负载均衡1.什么是负载均衡?当一台服务器的性能达到极限时,我们可以使用服务器集群来提高网站的整体性能。那么,在服务器集群中,需要有一台服务器充当调度者的角色,用户的所有请求都会首先由它接收,调度者再根据每台服务器的负载情况将请求分配给某一台后端服务器去处理。那么在这个过程中,调度者如何合理分配任务,保证所有后端服务器都将性能充分发挥,从而保持服务器集群的整体性能最优,这就是负载均衡问题。下…

  • 基于网页的认证跳转实现

    基于网页的认证跳转实现

  • Django(18)聚合函数

    Django(18)聚合函数前言orm模型中的聚合函数跟MySQL中的聚合函数作用是一致的,也有像Sum、Avg、Count、Max、Min,接下来我们逐个介绍聚合函数所有的聚合函数都是放在django.db.models

  • Ubuntu16.04系统查看已安装的python版本,及Python2与Python3之间切换

    Ubuntu16.04系统查看已安装的python版本,及Python2与Python3之间切换1.查看已安装版本终端输入如下:python2–version#查看python2安装版本python3–version#查看python3安装版本终端显示如下:系统默认安装2.7.12与3.5.22.使用python3Python3和Python2是互相不兼容,但也不能卸载python2,可以将Python的指向Python3,这样…

  • 微机原理考试试题及答案分析_微机原理及接口技术

    微机原理考试试题及答案分析_微机原理及接口技术微机原理与接口技术期末考试试题及答案微机原理与接口技术期末考试题库微机系统的硬件由哪几部分组成?答:三部分:微型计算机(微处理器,存储器,I/0接口,系统总线),外围设备,电源。什么是微机的总线,分为哪三组?答:是传递信息的一组公用导线。分三组:地址总线,数据总线,控制总线。8086/8088CPU的内部结构分为哪两大模块,各自的主要功能是什么?答:总线接口部件(BIU)功能:根据执行单元EU的…

  • unity3d 入门[通俗易懂]

    unity3d 入门[通俗易懂]unity关联vsunity安装cinemachineassetstore搜索cinemachine插件,import后确认导入后,可以在packages节点(library/packagecache中代码)找到Cinemachine如果报错(确保没有io错误):Windows>PackageManager>inproject依赖项,删除后,重新安装IO错误…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号