如何获取沪深股市历史数据并入库

如何获取沪深股市历史数据并入库采用Tushare大数据社区的数据接口,免费撸数据

大家好,又见面了,我是你们的朋友全栈君。

作为一个技术男,一开始总想着怎么去爬数据。然而一旦发现有免费的数据接口时,瞬间感觉爬来的不香了。。。

利用Tushare大数据社区的数据接口:
1、注册用户,并完善资料,以获取最低的积分要求;
2、获取token,作为获取数据的唯一凭证;
3、利用python脚本采集入库。
能力要求:
1、会使用mysql数据库
2、熟悉python基础语法

一、注册用户

(1)注册的操作很简单,参考平台的说明,注册完成后可获得100积分,链接如下:
https://tushare.pro/document/1?doc_id=38

(2)点击右上角的“个人主页”,然后点“个人资料”标签页,完善基本资料后可获得20积分。这样就能满足最低120积分要求。
(具体图示略)

二、获取token

在采集数据前,需要提供token进行身份认证,获取方法也很简单,参考平台说明:
https://tushare.pro/document/1?doc_id=39

三、获取数据并入库

接下来主要就是一套python代码的事了,下面以采集最近一年内日线数据为例做详细说明。

(1)连接自己的mysql库,创建目标表stock

CREATE TABLE `stock`  (
  `ts_code` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '股票代码',
  `trade_date` varchar(8) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '交易日期',
  `pri_open` decimal(18, 2) NULL DEFAULT NULL COMMENT '开盘价',
  `pri_high` decimal(18, 2) NULL DEFAULT NULL COMMENT '最高价',
  `pri_low` decimal(18, 2) NULL DEFAULT NULL COMMENT '最低价',
  `pri_close` decimal(18, 2) NULL DEFAULT NULL COMMENT '收盘价',
  `pri_close_pre` decimal(18, 2) NULL DEFAULT NULL COMMENT '昨收价',
  `am_chg` decimal(18, 2) NULL DEFAULT NULL COMMENT '涨跌额',
  `pct_chg` decimal(18, 2) NULL DEFAULT NULL COMMENT '涨跌幅(未复权)',
  `vol` int NULL DEFAULT NULL COMMENT '成交量(手)',
  `amount` decimal(18, 2) NULL DEFAULT NULL COMMENT '成交额(千元)',
  INDEX `idx_sdl_code`(`ts_code`) USING BTREE,
  INDEX `idx_sdl_date`(`trade_date`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

(2)“python脚本上半部分”,导入包,提供token和mysql数据信息,注意第9行中,数据库的用户名、密码、ip、端口号、和数据库名要填全

import pymysql
import datetime
import tushare as ts
import pandas as pd
from sqlalchemy import create_engine

# 连接 tushare,获取行情数据
pro = ts.pro_api('xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx')
engine = create_engine("mysql+pymysql://root:mima@192.168.99.99:3306/db2?charset=utf8")

# 打开数据库连接
db = pymysql.connect(host='192.168.99.99', port=3306, user='root', passwd='feng', db='db2', charset='utf8')

(3)“python脚本下半部分”,编写循环,每循环一次获取一天的数据,如果当天不是交易日则获取的数据为空。其中调用接口部分只有19和20两行代码。

# 获取当前日期
now = datetime.datetime.now()

# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()

# 循环365次,每次生成当前日期,作为入参获取当天数据
for i in range(1,366):

    delta = datetime.timedelta(days=i)
    n_days = now - delta
    rq = n_days.strftime('%Y%m%d')

    # 清空临时表
    sql1 = "truncate table stock_daily_basic"
    cursor.execute(sql1)

    # (Tushare数据接口)获取数据,然后插入到数据库临时表stock_daily_basic
    df = pro.daily(trade_date=rq)
    df.to_sql(name='stock_daily_basic',con=engine,if_exists='append',index=False)

    # 从临时表插入到目标表
    sql2 = "insert into stock select * from stock_daily_basic"
    cursor.execute(sql2)

    db.commit()

# 关闭数据库连接
db.close()

(4)连接mysql库,查看获取的数据
在这里插入图片描述

四、补充说明

以上只是按我个人习惯列举的简单例子,Tushare平台足够丰富,基本能支持大家的各种数据需求。
平台特点:

  • 拥有丰富的数据内容,如股票、基金、期货、数字货币等行情数据,公司财务、基金经理等基本面数据
  • SDK开发包支持语言,同时提供HTTP Restful接口,最大程度方便不同人群的使用
  • 提供多种数据储存方式,如Oracle、MySQL,MongoDB、HDF5、CSV等,为数据获取提供了性能保证
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/152725.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • console.log 用法

    console.log 用法

    2021年10月11日
  • ant使用全总结_ant教程_ant打包apk_ant如何使用

    所需文件ant打包apk需要三个目录: build.xml,local.properties,proguard-project.txt生成方式,在项目根目录下执行指令:android update project —path .其中,build.xml文件是进行ant build的主要文件,它引用了其它文件。这些被引用的文件有local.properties,ant.properties两个属性文

  • idea mac激活码_在线激活

    (idea mac激活码)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

  • selenium 常见面试题以及答案

    selenium 常见面试题以及答案selenium常见面试题以及答案 1.怎么判断元素是否存在?判断元素是否存在和是否出现不同,判断是否存在意味着如果这个元素压根就不存在,就会抛出NoSuchElementException这样就可以使用trycatch,如果catch到NoSuchElementException就返回false 2.如何判断元素是否出现?判断元素是否出现,存在两种情况,一种是该元素压根就没有,自…

  • 关于ubuntu 18 SSH root 登录失败,设置PermitRootLogin = yes 也失败

    关于ubuntu 18 SSH root 登录失败,设置PermitRootLogin = yes 也失败切换到root用户下。apt-getinstallssh再次尝试就可以了这里我的问题是,/home下的用户安装了ssh了,但是,root用户没有安装。????这是区分的。

  • 面试问题spring cloud和dubbo的区别[通俗易懂]

    面试问题spring cloud和dubbo的区别[通俗易懂]最近一段时间不论互联网还是传统行业,凡是涉及信息技术范畴的圈子几乎都在讨论微服务架构 。近期也看到各大技术社区开始组织一些沙龙和论坛来分享spring Cloud的相关实施经验,这对于最近正在整理SpringCloud相关套件内容与实例应用的我而言,还是有不少激励的。目前,SpringCloud在国内的知名度并不高,在前阵子的求职过程中,与一些互联网公司的架构师、技术VP或者CT

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号