python爬取琳琅社区整站视频（一晚6000部）[通俗易懂]

大家好，又见面了，我是你们的朋友全栈君。

琳琅社区（传闻中最受男人喜爱的网站），哼哼，我倒要看看是不是真的

该项目用于爬取琳琅社区整站视频（仅供学习）

主要使用：python3.7 + scrapy2.19 + Mysql 8.0 + win10

• 首先确定需要爬取的内容，定义item：

class LinglangItem(scrapy.Item):
	#视频属于哪个模块
    video_belong_module = scrapy.Field()
    #视频播放页面url
    video_url = scrapy.Field()
    #视频标题
    video_title = scrapy.Field()
    #视频真实m3u8地址
    video_m3u8_url =  scrapy.Field()

• 然后编写爬虫文件：
  构造初始url的解析函数，得到琳琅网站的视频分类请求，并在本地生成存储的主目录

def parse(self, response):
    # 创建主目录
    if not os.path.exists(self.base_dir):
        os.mkdir(self.base_dir)
    all_module_url = response.xpath('//div[@id="head_nav"]/div/div[@class="left_nav"]/a/@href').extract()[1:]
    #得到所有模块（最新，动漫。。。）的绝对url
    all_module_url = [self.start_urls[0] + url for url in all_module_url]
    # 构造所有模块页的请求
    for page_url in all_module_url:
        # 引擎判断该数据为一个请求，给调度器，
        # 如果是其他格式比如列表，引擎不能识别，只能通过我们的命令-o处理
        yield scrapy.Request(page_url, callback=self.page_parse)

定义具体模块页面的解析函数，支持分页爬取：

def page_parse(self,response):
# 得到该页面所有视频的url，title，视频m3u8地址 （20个）
video_urls = response.xpath('//ul[contains(@class,"piclist")]/li/a/@href').extract()
video_titles =  response.xpath('//ul[contains(@class,"piclist")]/li/a/@title').extract()
video_m3u8_url_ls = response.xpath('//ul[contains(@class,"piclist")]/li/a/@style').extract()
# 该视频所在模块
video_belong_module =  response.xpath('//a[contains(@class,"on")]/text()').extract_first()
for index,video_m3u8_url in enumerate(video_m3u8_url_ls):
# 最好yield一个item就重新创建一个，否则可能导致一些问题，比如名字重复
item = dict()
ls = video_m3u8_url.split('/')
#https://bbb.188370aa.com/20191014/WLDsLTZK/index.m3u8
#0 1 2 3 4 5
# 得到绝对m3u8_url
try:
m3u8_url = self.m3u8_domain + ls[3] + '/' +ls[4] + '/index.m3u8'
except:
continue
item['video_belong_module'] = video_belong_module
item['video_url'] = self.start_urls[0] + video_urls[index]
#教训：有些名字后面带空格，删的时候找不到文件
# item['video_title'] = video_titles[index].strip()
item['video_title'] = video_titles[index].strip().replace('.','')
# item['video_m3u8_url'] = m3u8_url
self.num += 1
print('当前是第 %s 个视频： %s' % (self.num, item['video_title']))
#创建每个视频目录
module_name = video_belong_module
file_name = item['video_title']
# module_path = os.path.join(self.base_dir, module_name)
# video_path = os.path.join(module_path, file_name)
module_path = self.base_dir + module_name + '/'
video_path = module_path + file_name +'/'
if not os.path.exists(video_path):
try:
os.makedirs(video_path)
except:
video_path = module_path + str(random()) + '/'
os.makedirs(video_path)
yield scrapy.Request(m3u8_url, callback=self.m3u8_parse, meta={ 
'video_path':video_path,'item':item})
try:
# 得到下一页的a标签selector对象
next_page_selector = response.xpath('//div[@class="pages"]/a')[-2]
# 如果有下一页则向下一页发起请求,尾页的下一页a标签没有href属性
next_page = next_page_selector.xpath('./@href').extract_first()
if  next_page:
next_page_url = self.start_urls[0] + next_page
yield scrapy.Request(next_page_url, callback=self.page_parse)
except:
pass

返回item给管道文件：

ef m3u8_parse(self,response):
item = LinglangItem()
for k,v in response.meta['item'].items():
item[k] = v
# response.text得到m3u8文件内容字符串
# 得到最新的m3u8文件url
real_url = re.findall(r'https:.*?m3u8', response.text)[-1]
item['video_m3u8_url'] = real_url
# yield返回给引擎的时候会判断 item 的数据类型是不是item类型如果是则返回给piplines
yield item

实现一个去重管道：

#实现去重Item Pipeline 过滤重复数据
class DuplicatesPipline(object):
#只在第一个item来时执行一次，可选实现，做参数初始化等
def __init__(self):
self.video_title_set = set()
def process_item(self,item,spider):
video_title = item['video_title']
if video_title in self.video_title_set:
item['video_title'] = item['video_title'] + str(random())
self.video_title_set.add(video_title)
#表示告诉引擎，我这个item处理完了，可以给我下一个item
return item
#然后去settings中启用DuplicatesPipline

再实现将数据存入mysql的存储管道，此处也可选择其他种类数据库进行存储：

#将item数据存入数据库
class MySqlPipeline(object):
def __init__(self,database):
self.database = database
# 该方法可以在settings里面拿到一些配置信息
@classmethod
def from_crawler(cls, crawler):
# 相当于返回一个MySqlPipeline对象
return cls(
# 得到settings里面的对应配置信息并返回，当作init的参数
database=crawler.settings.get('DATABASE')
)
#当spider被开启时，这个方法被调用, 连接数据库
def open_spider(self, spider):
self.db = pymysql.connect(host='localhost',port=3306,user='root',password='123456',database=self.database, charset='utf8')
self.cursor = self.db.cursor()
print('数据库：',type(self.db),type(self.cursor))
def process_item(self,item,spider):
sql = "insert into video_info values(%s,%s,%s,%s);"
values = tuple(dict(item).values())
#执行成功返回1
self.cursor.execute(sql,values)
# 前面只是把数据写到缓存里，执行commit命令写到数据库中
self.db.commit()
return item
# 然后去settings中启用MySqlPipeline,这里暂时不启用
# 当spider被关闭时，这个方法被调用,关闭数据库
def close_spider(self, spider):
self.cursor.close()
self.db.close()

其实呢，到这已经能够进行爬取了。但是我们利用scrapy对该网站频繁发起这么多次请求，对方服务器判定我们为爬虫时，会强行关闭与我们之间的连接。

虽然scrapy会将这些没有爬取成功的请求重新放回调度器，等待之后连接成功再发送请求，但是这样会浪费我们一些时间。

为了提高效率，当本地请求失败后，我们可以在下载中间件中使用动态代理重新发起请求：

  def process_response(self, request, response, spider):
# Called with the response returned from the downloader.
# Must either;
# - return a Response object
# - return a Request object
# - or raise IgnoreRequest
# 如果返回的response状态不是200，重新生成当前request对象
if response.status != 200:
print('使用代理-------------------------')
headers = { 

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
}
# 对当前request加上代理
request.headers = headers
request.meta['proxy'] = 'http://' + self.random_ip()
return request
return response

最后启动爬虫，等待爬虫结束，查看数据库，满满的收获~
可以看出该网站共有5997条视频，感觉没有想象的那么多啊，网站url不敢贴出来，小怕怕，哈哈。

实践出真知，这种做着有精神的网站更是练手的好目标，就是身体一天不如一天，可能是熬夜吧。。。