大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

前言

在这一章会解决上一章结尾问题BeautifulSoup之find用法，并进入爬虫的第三个流程，信息存储。

一、BeautifulSoup之find用法

BeautifulSoup有find 和find_all的方法。但在使用之前一定要先建立一个beautifulsoup对象。

find

只返回第一个匹配到的对象
语法：

find(name, attrs, recursive, text, **wargs)　

name–查找标签
text–查找文本
attrs–基于attrs参数

find_all

返回所有匹配到的结果，区别于find（find只返回查找到的第一个结果）
语法：

find_all(name, attrs, recursive, text, limit, **kwargs)

limit–限制
可以根据limit选择爬取的次数

find_all('span',limit=2)#获取span元素 但是只爬取两次

具体使用示例

soup.find_all("title")#找到所有title
soup.find_all("p", "title")#找到所有<p>内的title
soup.find_all("a")
soup.find_all("span")
soup.find_all(id="content")#找到id为content的
soup.find_all(id=True)    # 无论id是什么都可以

也可以通过css样式进行搜索，就像上一章讲到的提取简介。

find('span',class_="absolute")

二、网页信息存储

1.基础知识

在学习存储网页信息之前需要读者先学习python文件操作，如果没学过也没关系， 在这里我会讲解一些基础操作。已经学习过的读者可以跳过

打开文件

f = open("test.txt",'r')#两个参数 一个为文件名（带后缀）一个为模式

#r 为只读 以只读模式打开test 如果test.txt不存在则报错

f.read(n) #一次读n个字符 如果没有传入n则读所有数据
f.readlines(n) #一次读一行如果没有传入n则一行一行把文件读完

文件相关操作

import os#文件相关操作os模块

import os
#重命名文件
os.rename("A","B") #重命名 把文件A名字改为B

#删除文件
os.remove("A") #把名字为A的文件删除

#创建文件夹
os.mkdir("name")#创建一个名字为name的文件夹

#获取当前目录
os.getcwd()

#改变默认目录
os.chdir("path")#把默认路径改为path 如../

2.写入数据

这里还以第三章代码为例但是这次不仅打印结果而且存储结果

import requests #导入requests包
from bs4 import BeautifulSoup

url="https://www.bilibili.com/bangumi/play/ss22088/?from=search&seid=503303968644820581"#把bilibil的网址复制过来
req=requests.get(url)
req.encoding='utf-8'
soup=BeautifulSoup(req.text,'lxml')#使用BeautifulSoup的lxml解析网页
description=soup.find('span',class_="absolute").text.strip()
print(description)

t=open('spider_note.txt','w')#打开文件名为spider_note.txt的文件
#因为是以可写方式打开的，如果文件不存在则创建一个，不报错。

t.write(description)#写入
t.close()#关闭

这样大家就可以看见与这个文件同一目录下多了一个名为spider_note.txt的文件 在运行后打开代码可以看见简介已经被写入

感谢

如有不周还望指正。
部分资料来源于书籍或者网络 在此表达由衷的感谢