Python下载小说 -XXOO[通俗易懂]

Python下载小说 -XXOO[通俗易懂]前言作为一个十年老书虫,对于小说来源深有体会,从买实体书到电子书下载。各种不爽,在这里也是满足下自己迫切的心情,来,撸一发代码,找几本小说看看。一、搜索入口这里也是找了一个良心的网站来操作的。其他的下载不是充钱就是会员或者空白。http://www.bookshuku.com/是不是很直白,上代码#name小说名称defsearchTxt(name):url=’http://www.bookshuku.com/search.html’hea…

大家好,又见面了,我是你们的朋友全栈君。

前言

作为一个十年老书虫,对于小说来源深有体会,从买实体书到电子书下载。各种不爽,在这里也是满足下自己迫切的心情,来,撸一发代码,找几本小说看看。


一、搜索入口

这里也是找了一个良心的网站来操作的。其他的下载不是充钱就是会员或者空白。http://www.bookshuku.com/

Python下载小说 -XXOO[通俗易懂]

Python下载小说 -XXOO[通俗易懂]

是不是很直白,上代码

# name 小说名称
def searchTxt(name):
    url = 'http://www.bookshuku.com/search.html'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Upgrade-Insecure-Requests': '1',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Cookie': ""

    }
    data = {'searchkey': name}
    # 发起请求
    response = requests.post(url, data, headers)
    #  解决requests.get 网页中文乱码
    response.encoding = response.apparent_encoding
    # 得到搜索结果。获取小说信息
    html_obj = etree.HTML(response.text)
    bookInfo1 = html_obj.xpath('//div[@class="searchTopic"]/a')
    bookInfo2 = html_obj.xpath('//div[@class="searchInfo"]/span')
    counter = 0
    result = []
    r = ['序号', '名称', '作者', '类别', '大小', '日期', '地址']
    result.append(r)
    for b1 in bookInfo1:
        book_na = b1.xpath('text()')[0]
        # 名称
        book_name = str(book_na).split("/")[0]
        # 访问地址
        book_url = b1.xpath("@href")[0]
        # 作者
        book_auth = str(book_na).split("/")[1].split(":")[1]
        # 类别
        book_type = bookInfo2[counter * 2].xpath('text()')[0]
        # 大小
        book_size = str(bookInfo2[counter * 2].tail).split(":")[1].split(" ")[0]
        # 日期
        book_date = bookInfo2[counter * 2].xpath('//span[@class="oldDate"]/text()')[0]
        r = [counter + 1, book_name, book_auth, book_type, book_size, book_date, book_url]
        result.append(r)
        counter = counter + 1
    return result

二、解析网页,下载

Python下载小说 -XXOO[通俗易懂]

直接解析Html

# 小说 下载
# name 小说名称
# url 下载url
def downloadTxt(name, url):
    print("正在爬取-{}-小说".format(name))
    if not os.path.exists(name):
        os.mkdir(name)
        os.chdir(name)
    else:
        os.chdir(name)
    response = requests.get(url)
    #  解决requests.get 网页中文乱码
    response.encoding = response.apparent_encoding
    html_obj = etree.HTML(response.text)
    div = html_obj.xpath('//dl[@id="downInfoArea"]')[0]
    # 小说名称
    novel_name = div.xpath('//dt/text()')[0]

    c_list = html_obj.xpath('//dd[@class="downInfoRowL"]')[1]
    # 小说书籍格式
    novel_txt_format = c_list[6].tail
    # 小说书籍字数
    novel_txt_num = c_list[12].tail
    # 小说最新章节
    novel_new_point = div.xpath('//dd/a/text()')[3]
    # 小说文件大小
    novel_size = c_list[10].tail
    # 小说书籍类型
    novel_file_type = div.xpath('//dd/a/text()')[1]
    # 小说更新日期
    novel_update_time = c_list[14].tail
    # 小说作者
    novel_author = div.xpath('//dd/a/text()')[0]
    # 小说图片的地址
    novel_img_url = div.xpath('//dd/img/@src')[0]
    urlretrieve(novel_img_url, "{}.jpg".format(novel_name))
    # 小说的下载地址
    # 根据正则表达式提取
    download_str = html_obj.xpath('//li[@class="downAddress_li"]/a')[0]
    novel_download_url = download_str.xpath("@href")[0]
    # 打开页面,获取下载地址
    response = requests.get(novel_download_url)
    #  解决requests.get 网页中文乱码
    response.encoding = response.apparent_encoding
    html_tobj = etree.HTML(response.text)
    t_list = html_tobj.xpath('//a[@class="strong blue"]')[1]
    novel_download_url = t_list.xpath("@href")[0]
    print("小说下载地址:", novel_download_url, '开始下载.....')
    # 来个进度条
    urlretrieve(novel_download_url, "{}.txt".format(novel_name), Schedule)
    f = open("{}信息.txt".format(novel_name), "w", encoding="utf-8")
    # write():文件写入
    f.write("小说名称:{}".format(novel_name))
    f.write("\n")
    f.write("小说格式:{}".format(novel_txt_format))
    f.write("\n")
    f.write("小说字数:{}".format(novel_txt_num))
    f.write("\n")
    f.write("小说最新章节:{}".format(novel_new_point))
    f.write("\n")
    f.write("文件大小:{}".format(novel_size))
    f.write("\n")
    f.write("书籍类型:{}".format(novel_file_type))
    f.write("\n")
    f.write("更新日期:{}".format(novel_update_time))
    f.write("\n")
    f.write("小说作者:{}".format(novel_author))
    f.write("\n")
    f.write("下载地址:{}".format(novel_download_url))
    f.write("\n")
    f.write("小说图片地址:{}".format(novel_img_url))
    f.write("\n")
    print("文件关闭")
    # 关闭文件
    f.close()
    os.chdir(os.pardir)

再来个进度条 

# 进度条
def Schedule(a, b, c):
    '''''
    a:已经下载的数据块
    b:数据块的大小
    c:远程文件的大小
    '''
    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print('%.2f%%' % per)

二、man方法,操作一波

if __name__ == '__main__':
    while True:
        txtName = input("请输入小说名称:")
        if txtName == 'exit':
            print('退出搜索.....')
            break
        result = searchTxt(txtName)
        if len(result) < 1:
            print('没有找到你想要的小说,请重新输入:')
        else:
            # 展示小说搜索结果
            print('------------------结果如下--------------------')
            for r in result:
                print(str(r).replace('[', '').replace(']', '').replace(',', ''))
            while True:
                num = input("请选择你要下载的小说序号:")
                if is_number(num):
                    if int(num) > len(result):
                        print('没有找到你选择的序号,请重新输入:')
                    else:
                        content = result[int(num)]
                        print('你选择的内容:', str(content).replace('[', '').replace(']', '').replace(',', ''))
                        flag = input("是否确认下载 y/n ?")
                        if 'y' == flag:
                            # 下载
                            downloadTxt(content[1], content[6])
                            print("小说-{}-下载完成".format(content[1]))
                            break
                else:
                    print('输入序号应为数字')

Python下载小说 -XXOO[通俗易懂]

Python下载小说 -XXOO[通俗易懂]

写在最后

可以的,满足了下一个十年老书虫惶恐的心情。O(∩_∩)O哈哈~

感谢各位大大的耐心阅读~

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/160876.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 轻松矿工eth双挖教程_以太坊双挖

    轻松矿工eth双挖教程_以太坊双挖转载:http://www.itdaan.com/blog/2017/08/18/39e9b08528fb1880131378eb625a8790.html无意中发现一款以太坊挖矿神器-ETH超级矿工,支持ETH,ETC+SC等各种双挖(11.7内核)激活成功教程抽水小编无意中发现一款以太坊挖矿神器-ETH超级矿工。这款ETH挖矿软件支持ETH,ETC+SC双挖,经分析内核采用Claymore’s…

    2022年10月15日
  • git 提交代码常用命令

    git 提交代码常用命令 一、master分支代码提交过程 gitlog 查看git合入的记录    gitpull从服务器重新拉代码,将本地代码更新为服务器上的最新代码 gitstatus查看本地代码状态,是否有待提交的代码  git add.  将本地代码全部提交  gitcommit-m"合入新的PUCCH和小区功率代码"   为本次提交添加注释 …

  • pandas删除某列有空值的行_drop的之

    pandas删除某列有空值的行_drop的之0.摘要dropna()方法,能够找到DataFrame类型数据的空值(缺失值),将空值所在的行/列删除后,将新的DataFrame作为返回值返回。1.函数详解函数形式:dropna(axis=0,how=’any’,thresh=None,subset=None,inplace=False)参数:axis:轴。0或’index’,表示按行删除;1或’column…

  • 【项目管理】现网故障处理

    【项目管理】现网故障处理

  • 初识VMM_vmem是什么意思

    初识VMM_vmem是什么意思三篇文章就VMM、虚拟机和容器的性能比较作了详细介绍对以下问题予以解决:如何虚拟化操作系统下的机器大多数现代CPU架构的设计都不是可虚拟化的如何在无法虚拟化的cpu上实现VMM。虚拟化让一台机器上可以运行多种操作系统类型和版本,文章通过讨论Disco的基本技术,了解虚拟化工作机制。要在虚拟机监视器上运行虚拟机所使用的基本技术是有限的直接执行,也就是操作系统如何虚拟化CPU…

  • Android Material design

    Android Material design

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号