python爬取股票代码_python爬取所有股票的个股资讯「建议收藏」

python爬取股票代码_python爬取所有股票的个股资讯「建议收藏」前言由于毕设是要对股票的新闻报道进行情感分析,所以爬取所有股票的个股资是必要的前提工作了。一开始准备直接在东方财富网上爬取所有的个股资讯,但是在获得个股资讯列表的时候要模拟事件。前提工作安装python3(下载地址),在安装的时候选择添加到环境变量,如果没有选择,可以通过【右键我的电脑】->【属性】->【高级系统设置】->【环境变量】->【path】将安装的Python3的…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

前言

由于毕设是要对股票的新闻报道进行情感分析,所以爬取所有股票的个股资是必要的前提工作了。一开始准备直接在

东方财富网上爬取所有的个股资讯,但是在获得个股资讯列表的时候要模拟事件。

前提工作

安装python3(下载地址),在安装的时候选择添加到环境变量,如果没有选择,可以通过【右键我的电脑】->【属性】->【高级系统设置】->【环境变量】->【path】将安装的Python3的路径添加到path中。

通过命令行安装requests库:

pip install requests

3.安装 lxml

pip install lxml

4.安装pyquery

pip install pyquery

使用详情见静觅 » Python爬虫利器六之PyQuery的用法

5.安装pymysql

前提是先安装好mysql,然后同样采用

pip install pymysql

爬取数据

1. 爬取所有股票代码

python爬取股票代码_python爬取所有股票的个股资讯「建议收藏」

分析网页的结果,由图片可知,股票代码为target为_blank的a标签的文本括号中的文字,股票名称为括号前的文字。因此对获得的text利用split函数进行处理得到股票代码和股票名称。

def getCodes():

codes=[]

url=’http://quote.eastmoney.com/stocklist.html’

req =requests.get(url,timeout=30)

reporthtml=req.text

html = pq(reporthtml)

#print(html)

stock_a_list = html(“#quotesearch ul li a[target=’_blank’]”).items()

for stock_a in stock_a_list:

num = stock_a.text().split(‘(‘)[1].strip(‘)’)

if (num.startswith(‘1’) or num.startswith(‘5’)or num.startswith(‘2’)): continue # 只需要6*/0*/3*/2*开头的股票

sname = stock_a.text().split(‘(‘)[0]

record = {}#用于存储个股的代码,和名称

#进行转码

sname = sname.encode(“iso-8859-1”).decode(‘gbk’).encode(‘utf-8’)

result = str(sname, encoding=’utf-8′)

print(result)

record[“sname”]=result

record[“num”]=num;

codes.append(record)

return codes

2. 爬取所有股票代码

得到股票代码知乎就需要获取个股的详情页,这个我们通过新浪财经获取比较简单。

分析地址

python爬取股票代码_python爬取所有股票的个股资讯「建议收藏」 http://money.finance.sina.com.cn/corp/view/vCB_AllMemordDetail.php?stockid=600929#_6272807

分析网页&去除退市和未上市股票

通过requests和pyquery得到html代码之后,分析网页结构。首先去除未上市的股票和已退市的股票。

python爬取股票代码_python爬取所有股票的个股资讯「建议收藏」

isclose = report_list_wrap(“#closed”)

f isclose==”已退市” or isclose==”未上市”:

flag=False;

continue

*分析网页之报道结构

python爬取股票代码_python爬取所有股票的个股资讯「建议收藏」

个股资讯为class=datelist的div中的所有a标签。通过获取a标签的href可以得到资讯报道链接,通过链接获取报道内容

report_list=report_list_wrap(“#con02-7 .datelist ul a”).items()

# **************************************遍历个股的资讯

for r in report_list:

try:

#转码

report_title= r.text().encode(“iso-8859-1”).decode(‘gbk’).encode(‘utf-8’)

report_title = str(report_title, encoding=’utf-8′)

print(“标题:”+report_title)

#获取报道链接并得到报道

report_url = r.attr(“href”)

req = requests.get(report_url, timeout=30)

reporthtml = req.text

reporthtml = pq(reporthtml)

content = reporthtml(“#artibody”).text()

except:

flag = False

print(code[‘num’] + report_title + “报错了”)

分析网页之解决编码问题:

在通过上步解析得到报道内容会发现是乱码的,这是因为本身的编码为ISO-8859-1,不是我们默认的utf8,,由此解决办法如下:

##解决编码问题

#print(req.encoding)

if req.encoding == ‘ISO-8859-1’:

encodings = requests.utils.get_encodings_from_content(req.text)

if encodings:

encoding = encodings[0]

else:

encoding = req.apparent_encoding

reporthtml = req.content.decode(encoding, ‘replace’).encode(‘utf-8’, ‘replace’)

小贴士:

utf8编码的文本可以用iso8859-1的编码表示,但是反过来不行。iso8859-1是单字节编码,而utf8是定长编码,从utf8转化成iso8859-1相当于是高精度转化成低精度,造成精度丢失,所以不可逆。根本原因是因为utf8中文,在iso8859-1没有匹配的位置。

参考:

https://blog.csdn.net/kelindame/article/details/75014485,

https://www.cnblogs.com/GUIDAO/p/6679574.html

插入数据库

最后就是将获得数据插入数据库了。

sql = (“insert into stock(rid,scode,sname,rdate,rtitle,report,emotion) VALUES (%s,%s,%s,%s,%s,%s,%s) “)

data_report = (str(id), code[‘num’], code[‘sname’],rdate,report_title, content, ‘-2’)

id = id + 1

try:

# 执行sql语句

cursor.execute(sql,data_report)

print(code[‘sname’]+”插入成功”)

# 提交到数据库执行

db.commit()

except Exception as e:

print(‘perhaps timeout:’, e)

db.rollback()

好嘞,这样子就完成了我们的爬虫工作了

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/226846.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • adb安装教程(详细)

    adb安装教程(详细)adb安装适用系统安装包安装教程适用系统windows安装包adb官网下载:https://developer.android.com/studio/releases/platform-tools.htm:百度网盘安装包地址:链接:https://pan.baidu.com/s/1FCCnZuL3LuRbyS-zOfUgDQ提取码:zvv5安装教程解压安装包(1)可将安装包解压到电脑的任一路径下(最好不是C盘)添加路径到环境变量下(1)添加的路径:打开adb文件夹,

  • C++中list用法详解[通俗易懂]

    C++中list用法详解[通俗易懂]1.关于list容器list是一种序列式容器。list容器完成的功能实际上和数据结构中的双向链表是极其相似的,list中的数据元素是通过链表指针串连成逻辑意义上的线性表,也就是list也具有链表的主要优点,即:在链表的任一位置进行元素的插入、删除操作都是快速的。list的实现大概是这样的:list的每个节点有三个域:前驱元素指针域、数据域和后继元素指针域。前驱元素指针域保存了前驱元素的首地

  • hackbar功能简介

    hackbar功能简介SQL:提供三种数据库的sql查询语句,以及一些方便联合查询的语句XSS:提供xss攻击语句string.fromcharcode():将根据UNICODE值来输出xss语句htmlcharactor:将XSS语句转化为HTML字符实体(以&开头)alert(xss)statement:构建一条xss测…

  • 如何查看centos版本信息_怎么查看ie浏览器的版本

    如何查看centos版本信息_怎么查看ie浏览器的版本详细讲解查看CentOS版本信息的命令。   (一)查看已经安装的CentOS版本信息   1.cat/etc/issue查看版本  cat 缩写concatenate cat命令可以用来显示、合并文件。  CentOSrelease6.6(Final)  CentOS发行版6.6    etc 初期etc的英文名…

  • VS2017 注册

    VS2017 注册VisualStudio2017序列号Key激活码VS2017注册码VisualStudio2017(VS2017)企业版 Enterprise注册码 序列

  • ResNet详细解读

    ResNet详细解读这篇文章是DeepResidualLearningforImageRecognition的翻译,精简部分内容的同时补充了相关的概念,如有错误,敬请指正。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号