图集谷-写真集-爬虫-1.0[通俗易懂]

图集谷-写真集-爬虫-1.0[通俗易懂]图集谷写真集爬虫

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

 相信大家已经迫不及待地想想爬取自己想要的写真集了,那么我话不多说,直接上代码。

# 导入包
import os, time, requests
from lxml import etree

# 定义请求头
headers = {
        'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 UOS'
}

# 传入数据,例如'ttps://www.tujigu.net/a/33527'
# Num就取值33527
# Page_Num取值该写真集的页数
Num = input('enter the Num:')
Pages_Num = int(input('enter the Page_Num:')) + 1

# 创建图片url列表
img_src_list = []

# 创建url列表,并将写真集首页网页url写入网页列表中
url_header = 'https://www.tujigu.net/a/'
url_head = url_header + str(Num) +'/'
urls = [url_head]
time.sleep(1)    # 防止服务器封IP

# 在网页列表中写入其他页面url
for a in range(2, int(Pages_Num)):
    url_other = url_head + str(a) +'.html'
    urls.append(url_other)

# 获取所有图片url,并写入图片url列表中
for url in urls:
    res = requests.get(url, headers=headers)
    html = etree.HTML(res.text)
    img_original = html.xpath('//div[@class="content"]/img/@src')
    for img_src in img_original:
        img_src_list.append(img_src)
    time.sleep(1)

# 创建文件夹
res = requests.get(url=url_head, headers=headers)
res.encoding = 'utf-8'
html = etree.HTML(res.text)
img_alt = html.xpath('//div[@class="content"]/img/@alt')[0]
path_name = '/data/home/liu/Pictures/' + str(img_alt)    #此处引号中地址可改为其他地址
if not os.path.exists(path_name):
    os.mkdir(path_name)
path = path_name + '/'

# 下载图片
for src in img_src_list:
    img_data = requests.get(src, headers=headers).content
    name = src.split('/')[-1]
    with open(path + name, 'wb') as f:
        print(f'正在为您下载图片:{name}')
        f.write(img_data)
        f.close()
    time.sleep(1)
print('下载完成!!!')

代码中的path_name,由于我编写这个爬虫的时候用的是Linux系统,所以文件目录不一样,各位用windows系统的小伙伴儿们请自行修改。

这个爬虫,在我编写完成后,感觉有一点儿繁琐,所以,之后我会对这个代码进行修改。让我们期待下一个更加优秀的爬虫吧>_<

感谢大家的阅读,如果大家觉得还可以的话,可以酌情打赏一下(可怜巴巴…)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/157810.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • html左侧浮动广告代码,网站侧边栏广告固定浮动效果的实现「建议收藏」

    html左侧浮动广告代码,网站侧边栏广告固定浮动效果的实现「建议收藏」对于页面内容很长的网站来说,经常会出现浏览内容的时候,侧栏已经空了,没内容了,这对于网站广告来说非常可以,如果侧栏空了之后能固定一个广告的话,那样对网站和用户双方的体验都不错,下面就说说具体实现的方法。先在网站加入jquery.js,一般网站都已经加过这个js,因此可以跳过,没有用的网站则需要在网站header部分加入jquery.js代码。之后,编辑侧栏模板,在侧栏最底部加入广告代码,代码如下:…

  • TP框架整合Swagger UI接口文档

    TP框架整合Swagger UI接口文档

  • winscp连接centos7出现拒绝连接

    winscp连接centos7出现拒绝连接1.编辑/etc/ssh/sshd_config文件:sudovi/etc/ssh/sshd_config将PermitRootLogin的值改成yes将PermitEmptyPassword的值改成no保存退出2.重启ssh:查看状态:systemctlstatussshd.service启动服务:systemctlstar…

  • 数据库引擎错误「建议收藏」

    数据库引擎错误「建议收藏」该表包含错误消息编号和描述,它是sys.messages目录视图中错误消息的文本。如果适用,错误编号是指向更多信息的链接。此列表并不详尽。有关所有错误的完整列表,请使用以下查询查询sys.messages目录视图:SELECTmessage_idASError,severityASSeverity,[EventLogged]=CASEis_event_loggedWHEN0THEN’No’ELSE’Yes’END,textAS[Description]

  • c#窗体添加背景音乐_eclipse怎么添加背景音乐

    c#窗体添加背景音乐_eclipse怎么添加背景音乐一.在项目中新建一个文件夹,然后将音乐文件导入:二.添加音乐代码如下:usingSystem.Media;//在命名空间中添加stringegm=”../../music/3.wav”;//定义变量来存储音频路径SoundPlayerbgm=newSoundPlayer(egm);//控制声音播放bgm.Play();//开始播放音乐bgm.Stop();//停……

  • 女生学Java好找工作吗?女生适合编程吗?[通俗易懂]

    女生学Java好找工作吗?女生适合编程吗?[通俗易懂]大部分人对于Java程序员都有一个既定印象,那就是程序员都是男生。女程序员可以说是“稀有物种”,因为Java工作对于逻辑的要求很高,而这方面男生相对于女生比较有优势。但所有事情都不是绝对的,现在女生从事程序员工作的也越来越多,在某些方面相对于男生也有优势。今天,IT培训机构的小编就来给大家分析分析,女生学Java好找工作吗?女生适合编程吗?市场上现在对Java人才的需求明显是供不应求,Java薪资一哭看涨,企业需要Java人才。Java在生活中运用到各个领域,就业方向选择很宽广。女生选择学Java既有钱

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号