python爬虫入门

python爬虫入门毕设是做爬虫相关的,本来想的是用java写,也写了几个爬虫,其中一个是爬网易云音乐的用户信息,爬了大概100多万,效果不是太满意。之前听说Python这方面比较强,就想用Python试试,之前也没用过

大家好,又见面了,我是你们的朋友全栈君。

毕设是做爬虫相关的,本来想的是用java写,也写了几个爬虫,其中一个是爬网易云音乐的用户信息,爬了大概100多万,效果不是太满意。之前听说Python这方面比较强,就想用Python试试,之前也没用过Python。所以,边爬边学,边学边爬。废话不多说,进入正题。

  1.首先是获取目标页面,这个对用python来说,很简单

#encoding=utf8
import urllib res = urllib.urlopen("http://www.baidu.com") print res.read()

  运行结果和打开百度页面,查看源代码一样。这里针对python的语法有几点说明。

    a).import 就是引入的意思,java也用import,C/C++用的是include,作用一样

    b).urllib 这个是python自带的模块,在以后开发的时候,如果遇到自己需要的功能,python自带的模块中没有的时候,可以试着去网上找一找,比如需要操作MySql数据  库,这个时候python是没有自带的,就可以在网上找到MySQLdb,然后安装引入就行了。

    c).res是一个变量,不用像java,C语言那样声明。用的时候直接写就行了

    d).标点符号。像java,C这些语言,每行代码后面都要用分号或者别的符号,作为结束标志,python不用,用了反了会出错。不过有的时候,会用标点符号,比如冒号,  这个后面再说

    e).关于print,在python2.7中,有print()函数,也有print 语句,作用基本差不多。

    f).#注释

    g).encoding=utf8代表使用utf8编码,这个在代码中有中文的时候特别有用

  2.解析获取的网页中的元素,取得自己想要的,以豆瓣为例,我们想获取这个页面中的所有书籍名称(仅供学习交流)

  http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/?focus=book

  <span role="heading" aria-level="2">python爬虫入门

  首先获取页面代码:

#encoding=utf8
import urllib
res = urllib.urlopen("http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/?focus=book")
print res.read()

  获取结果,通过分析页面源代码(建议用firefox浏览器,按F12,可看到源代码),可以定位到有效代码如下:

  <span role="heading" aria-level="2">python爬虫入门

  <span role="heading" aria-level="2">python爬虫入门

  下面我们开始解析(这里用BeautifulSoup,自行下载安装),基本流程:

    a).缩小范围,这里我们通过id=”book”获取所有的书

    b).然后通过class=”title”,遍历所有的书名。

  代码如下:  

复制代码
#encoding=utf8
import urllib
import BeautifulSoup

res = urllib.urlopen("http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/?focus=book")
soup = BeautifulSoup.BeautifulSoup(res)
book_div = soup.find(attrs={"id":"book"})
book_a = book_div.findAll(attrs={"class":"title"})
for book in book_a:
    print book.string
复制代码

  代码说明:

    a).book_div    通过id=book获取div标签

    b).book_a    通过class=”title”获取所有的book  a标签

    c).for循环     是遍历book_a所有的a标签

    d).book.string  是输出a标签中的内容

  结果如下:

  <span role="heading" aria-level="2">python爬虫入门

  3.存储获取的数据,比如写入数据库,我的数据库用的Mysql,这里就以Mysql为例(下载安装MySQLdb模块这里不做叙述),只写怎么执行一条sql语句

  代码如下:

复制代码
connection = MySQLdb.connect(host="***",user="***",passwd="***",db="***",port=3306,charset="utf8")
cursor = connection.cursor()
sql = "*******"
sql_res = cursor.execute(sql)
connection.commit()
cursor.close()
connection.close()
复制代码

  说明:

    a).这段代码是执行sql语句的流程,针对不同的sql语句,会有不同的处理。比如,执行select的语句,我怎么获取执行的结果,执行update语句,怎么之后成没成功。这  些就要自己动手了

    b).创建数据库的时候一定要注意编码,建议使用utf8

  4.至此,一个简单的爬虫就完成了。之后是针对反爬虫的一些策略,比如,用代理突破ip访问量限制

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/155982.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • linux下增加路由_centos开启路由转发

    linux下增加路由_centos开启路由转发一、环境介绍1.linux版本:CentOS6.8,CentOS7.2两台主机分别加载两块网卡,分别作为路由器的两个端口2.实验在vmware虚拟机中完成3.另有两台CentOS6.8和CentOS7.2作为两个网段的主机4.实验图示:二、路由1(左)和路由2(右)的设置1.路由1配置信息eth0网卡:DEVICE=eth0IPADDR=10.0.0.1PREFIX=9eth1网卡:DEVICE=…

  • TP5隐藏index.php

    TP5隐藏index.php

    2021年10月31日
  • HTTP和HTTPS的区别

     CA认证电子商务认证授权机构(CA,CertificateAuthority),也称为电子商务认证中心,是负责发放和管理数字证书的权威机构,并作为电子商务交易中受信任的第三方,承担公钥体系中公钥的合法性检验的责任HeartbleedHeartbleed漏洞,这项严重缺陷(CVE-2014-0160)的产生是由于未能在memcpy()调用受害用户输入内容作为长度参数之前正确进行…

  • 详解shell语法检查模式

    详解shell语法检查模式启用verbose调试模式在进入本指导的重点之前,让我们简要地探索下verbose模式。它可以用-v调试选项来启用,它会告诉shell在读取时显示每行。要展示这个如何工作,下面是一个示例脚本来批量将PNG图片转换成JPG格式。将下面内容输入(或者复制粘贴)到一个文件中。#!/bin/bash#convertforimagein*.png;docon

  • 过分了,别人用来做桌面应用开发,这家伙却用来撩妹(6)-不正经的隐形弹窗「建议收藏」

    过分了,别人用来做桌面应用开发,这家伙却用来撩妹(6)-不正经的隐形弹窗

  • 多重共线性检验-方差膨胀系数(VIF)-相关系数(机器学习)sklearn

    多重共线性检验-方差膨胀系数(VIF)-相关系数(机器学习)sklearn文章目录多重共线性检验-方差膨胀系数(VIF)1、原理:2、多重共线性:3、检验方法:方差膨胀系数(VIF):相关性检验:4、代码测试4.1导入相关库4.2准备数据4.3计算膨胀因子4.4计算相关系数4.5分割测试集4.6模型选择4.7AUC值4.8模型调整4.8.1删除账户资金4.8.2删除累计交易佣金5、总结多重共线性检验-方差膨胀系数(VIF)1、原理:方差膨胀系数是衡量多元线性回归模型中多重共线性严重程度的一种度量。它表示回归系数估计量的方差与假设自变量间不线性相关时方差相比的比值。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号