python 爬取图集谷妹子图片，按自己喜好抓取一页图片，有兴趣二次开发 抓全站

# -*- coding: utf-8 -*- import requests, time, os from lxml import etree from urllib import request name_url = {} # 创建一个字典 def sort(): req = requests.get('https://www.tujigu.com/') # 首页 req.encoding = 'utf-8' # 中文出现乱码，调整编码 req_xp = etree.HTML(req.text) # 装换为xp，text是为了变成字符串形式，不然会报错 text_list = req_xp.xpath('//*[@class="menu"]/li/a/text()|//*[@id="tag_ul"]/li/a/text()') # 读取分类名 href_list = req_xp.xpath('//*[@class="menu"]/li/a/@href|//*[@id="tag_ul"]/li/a/@href') # 获取网址 for href, text in zip(href_list, text_list): name_url[text] = href # 已分类名做为key，网址作为值 return text_list # 返回分类名列表，好为后面打印分类名 def dow(url, name): if not os.path.exists("图集谷"): # 检查并创建文件夹，强迫症~~~ os.mkdir('图集谷') if not os.path.exists("图集谷/{}".format(name)): # 同上，创建分类 os.mkdir('图集谷/{}'.format(name)) atlas = requests.get(url) # get你选择的网址 atlas.encoding = 'utf-8' # 同上，乱码问题 atlas_xp = etree.HTML(atlas.text) text_list = atlas_xp.xpath('//*[@class="biaoti"]/a/text()') # 获取图集名 href_list = atlas_xp.xpath('//*[@class="biaoti"]/a/@href') for text, href in zip(text_list, href_list): req = requests.get(href) req.encoding = 'utf-8' req_xp1 = etree.HTML(req.text) src_list = req_xp1.xpath('//*[@class="content"]/img/@src') num = 1 # 创建图片名，美观 # 下面是为了删除一些图集中包含了文件夹不能创建的符号 text = text.replace('\n', '').replace('/', '').replace('\\', '').replace(':', '').replace('*', '').replace('"', '').replace( '<', '').replace('>', '').replace('|', '').replace('?', '') if not os.path.exists("图集谷/{}/{}".format(name, text)): # 检测此图集是否下载过 os.mkdir("图集谷/{}/{}".format(name, text)) for src in src_list: request.urlretrieve(src, "图集谷/{}/{}/{}.jpg".format(name, text, num)) # 保存图片 num += 1 print('{}-------------成功下载'.format(text)) else: print('{}--------------内容已下载'.format(text)) def get(): while 1: text_list = sort() # 从首页获取分类信息和url i = 1 # 序号 for text in text_list[2:-1]: # 从2到-1是为了去除没用的分类 print('%02d.{}'.format(text) % i) # 打印分类信息 i += 1 opt = input('输入您要爬取的内容（首页为默认）>>>>> ') if not opt.isdigit(): # 判断输入内容 print('傻X输入中文懂么') time.sleep(3) continue opt = int(opt) if not 0 < opt < len(text_list) - 3: # 判断输入内容 print('输入范围错误') time.sleep(3) continue opt += 1 # 以为删除了首页，所以+1才能正确选择分类 url = name_url[text_list[opt]] # 获取你选择的地址 name = text_list[opt] # 分类的名字，好创建一个文件夹放入 print('{}====开始爬取'.format(name)) dow(url, name) # 开始运行下载程序 input('爬取完成，按下回车重新开始') if __name__ == '__main__': get() # 开始运行主程序