[python]解析通达信盘后数据获取历史日线数据[通俗易懂]

[python]解析通达信盘后数据获取历史日线数据[通俗易懂]转自:http://bbs.pinggu.org/forum.php?mod=viewthread&tid=4804415&page=1平时我们在做离线的模型回溯测试时候,需要历史的k线数据。可是通达信的日线数据如下:日线数据在通达信的安装目录:vipdoc\sh\lday下面本地的通达信是没有开放api和外部的自己的交易回溯测试…

大家好,又见面了,我是你们的朋友全栈君。

转自:http://bbs.pinggu.org/forum.php?mod=viewthread&tid=4804415&page=1

平时我们在做 离线的模型 回溯测试时候,需要历史的k线数据

可是通达信 的日线数据如下:
日线数据在

 

通达信的安装目录: vipdoc\sh\lday  下面

 

[python]解析通达信盘后数据获取历史日线数据[通俗易懂]

本地的通达信 是没有开放api和外部的  自己的交易回溯测试 工具或框架 进行交互的。

虽然 我们也可以  通过 sina 的api ,或者 yahoo,或者 juhe聚合数据,或者 wind 或者 tushare (http://tushare.org/index.html),或者 通联金融大数据  等 网络的api接口 获取  股票的 历史K线数据,  但是网络的开销总是会比较耗时一些。

其实可以通过 python来 解析 通达信  的这些 day 文件的数据,变成 我们熟悉的csv格式的数据。

 

#!/usr/bin/python  
def exactStock(fileName, code):
    ofile = open(fileName,'rb')
    buf=ofile.read()
    ofile.close()
    num=len(buf)
    no=num/32
    b=0
    e=32
    items = list() 
    for i in range(int(no)):
        a=unpack('IIIIIfII',buf[b:e])
        year = int(a[0]/10000);
        m = int((a[0]%10000)/100);
        month = str(m);
        if m <10 :
            month = "0" + month;
        d = (a[0]%10000)%100;
        day=str(d);
        if d< 10 :
            day = "0" + str(d);
        dd = str(year)+"-"+month+"-"+day
        openPrice = a[1]/100.0
        high = a[2]/100.0
        low =  a[3]/100.0
        close = a[4]/100.0
        amount = a[5]
        vol = a[6]
        unused = a[7]
        if i == 0 :
            preClose = close
        ratio = round((close - preClose)/preClose*100, 2)
        preClose = close
        item=[code, dd, str(openPrice), str(high), str(low), str(close), str(ratio), str(amount), str(vol)]
        items.append(item)
        b=b+32
        e=e+32
        
    return items

exactStock('E:\\new_tdx\\vipdoc\\sh\\lday\\sh000001.day',"000001")

然后调用 这个方法,就可以把day文件变成csv文件,方便pandas来处理。

(在调用这个py文件前, 先在通达信的 软件 菜单里面 ,把通达信的 历史日K线数据都下载到本地,一次即可下载整个市场所有股票品种的数据。。)

 

批量处理的,请参考下面脚本

# coding: UTF-8
from struct import *

import os
import sys


    
def day2csv_data(dirname,fname,targetDir):
    ofile=open(dirname+os.sep+fname,'rb')
    buf=ofile.read()
    ofile.close()
     
    ifile=open(targetDir+os.sep+fname+'.csv','w')
    num=len(buf)
    no=num/32
    b=0
    e=32
    line='' 
    linename=str('date')+','+str('open')+', '+str('high')+' ,'+str('low')+', '+str('close')+' ,'+str('amout')+', '+str('vol')+' ,'+str('str07')+''+'\n'
      # print line
    ifile.write(linename)
    # for i in xrange(no):
    for i in range(int(no)):
       a=unpack('IIIIIfII',buf[b:e])
       line=str(a[0])+','+str(a[1]/100.0)+', '+str(a[2]/100.0)+' ,'+str(a[3]/100.0)+', '+str(a[4]/100.0)+' ,'+str(a[5])+', '+str(a[6])+' ,'+str(a[7])+''+'\n'
      # print line
       ifile.write(line)
       b=b+32
       e=e+32
    ifile.close()
    


# pathdir='/vipdoc/sh/lday'
pathdir='X:\\股票\\解析通达信day日线数据\\day'
# targetDir='/_python_gp_tdx/data_gupiao/sh/lday'
targetDir='X:\\股票\\解析通达信day日线数据\\day'
 
listfile=os.listdir(pathdir)
 

for f in listfile:
   
    day2csv_data(pathdir,f,targetDir)
else:
    print ('The for '+pathdir+' to '+targetDir+'  loop is over')
    



[python]解析通达信盘后数据获取历史日线数据[通俗易懂]
调用示例:
pathdir=‘/vipdoc/sh/lday’
targetDir=‘/python_data_gupiao/sh/lday’
listfile=os.listdir(pathdir)
for in listfile:
      day2csv_data(pathdir,f,targetDir)

 

最终的效果如下:

[python]解析通达信盘后数据获取历史日线数据[通俗易懂]

 

打开这些文件如下:

是不是很熟悉的csv或者excel的格式。。。
[python]解析通达信盘后数据获取历史日线数据[通俗易懂]

这个格式的数据,

大家就 可以用  python的数据分析的库 pandas 的 pd.read_csv 方法来读取了。

这样速度回比较快,而且python调用 通达信的历史数据 ,就很方便了。

扩展:如何用python读取通达信的lc1文件

2020年10月26日,修正了日期的解析功能。

# 通达信5分钟线*.lc5文件和*.lc1文件
#     文件名即股票代码
#     每32个字节为一个5分钟数据,每字段内低字节在前
#     00 ~ 01 字节:日期,整型,设其值为num,则日期计算方法为:
#                   year=floor(num/2048)+2004;
#                   month=floor(mod(num,2048)/100);
#                   day=mod(mod(num,2048),100);
#     02 ~ 03 字节: 从0点开始至目前的分钟数,整型
#     04 ~ 07 字节:开盘价,float型
#     08 ~ 11 字节:最高价,float型
#     12 ~ 15 字节:最低价,float型
#     16 ~ 19 字节:收盘价,float型
#     20 ~ 23 字节:成交额,float型
#     24 ~ 27 字节:成交量(股),整型
#     28 ~ 31 字节:(保留)

from struct import *
import numpy as np
import pandas as pd

ofile=open('sz000005.lc5','rb')

buf=ofile.read()
ofile.close()

num=len(buf)
no=num//32
# 原来是这样的,在python2中, '整数 / 整数 = 整数',以上面的 100 / 2 就会等于 50, 并且是整数。
# 而在python3中, ‘整数/整数 = 浮点数’, 也就是100 / 2 = 50.0, 不过,使用 '//'就可以达到原python2中'/'的效果。

b=0
e=32
dl = []
for i in range(no):
   a=unpack('hhfffffii',buf[b:e])
   dl.append([str(int(a[0]/2048)+2004)+'-'+str(int(a[0]%2048/100)).zfill(2)+'-'+str(a[0]%2048%100).zfill(2),str(int(a[1]/60)).zfill(2)+':'+str(a[1]%60).zfill(2)+':00',a[2],a[3],a[4],a[5],a[6],a[7]])
   b=b+32
   e=e+32
df = pd.DataFrame(dl, columns=['date','time','open','high','low','close','amount','volume'])
print(df)

 

 

 

 

 

 
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/164008.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • java.nio.heapbytebuffer_javastringbuffer和string区别

    java.nio.heapbytebuffer_javastringbuffer和string区别文章目录简介初始化向ByteBuffer写数据手动写入数据从SocketChannel中读入数据至ByteBuffer从ByteBuffer中读数据复位position读取数据字节序处理简介在Java的Socket编程中,若使用阻塞式(BIO),则往往通过ServerSocket的accept()方法获取到客户端Socket之后,再使用客户端Socket的InputStream和OutputS…

  • kafka界面_mq和kafka的场景

    kafka界面_mq和kafka的场景消息kafka更好的替换传统的消息系统。kafka有更好的吞吐量,内置分区,副本和故障转移。网站活动追踪用户活动的追踪,网站的活动(网页浏览,搜索或其他用户的操作信息)发布到不同的话题中心,这些消息可实时处理,实时监测,也可加载到Hadoop或离线处理仓库。指标kafka也常常用于检测数据。分布式应用程序生成的统计书记集中聚合。日志聚合使用kafk…

  • 最小生成树的两种方法(Kruskal算法和Prim算法)[通俗易懂]

    关于图的几个概念定义:连通图:在无向图中,若任意两个顶点vivi与vjvj都有路径相通,则称该无向图为连通图。 强连通图:在有向图中,若任意两个顶点vivi与vjvj都有路径相通,则称该有向图为强连通图。 连通网:在连通图中,若图的边具有一定的意义,每一条边都对应着一个数,称为权;权代表着连接连个顶点的代价,称这种连通图叫做连通网。 生成树:一个连通图的生成树是指一个连通子图,它含有图中…

  • linux用通配符取数据文件,Linux 通配符「建议收藏」

    linux用通配符取数据文件,Linux 通配符「建议收藏」概述本章节主要介绍关于linux通配符的用法,熟练运用通配符可以提高工作效率并且可以简化一些繁琐的处理步骤。测试数据touchaa6.logabc.logac.txtbcc5.txtx.logA“*”代表任意多个字符例:查询以”.log”结尾的文件ll*.log“?”代表任意单个字符例:只查询a、b、cll?“[]”代表“[”和“]”之间的某一个字符,比如[0-9]可以代表0-9…

  • for while循环语句举例python_for循环语句python

    for while循环语句举例python_for循环语句python程序在一般情况下是按顺序执行的。编程语言提供了各种控制结构,允许更复杂的执行路径。循环语句允许我们执行一个语句或语句组多次,下面是在大多数编程语言中的循环语句的一般形式1.循环控制语句在了解循环语句的使用方法之前,我们先来了解几个循环控制语句:1)…

  • 什么叫侧面指纹识别_新科技?侧面指纹解锁有什么不同?

    什么叫侧面指纹识别_新科技?侧面指纹解锁有什么不同?原标题:新科技?侧面指纹解锁有什么不同?手机的时代更新的太快,以前诺基亚的密码解锁,到后来安卓苹果的指纹解锁,虹膜解锁,面部识别解锁,各式各样的解锁方式。不过今天说的主题也是指纹解锁,不过不是以往的正面home键,也不是背面指纹解锁器,而是侧面指纹解锁。不得不承认,智能交互时代不断刷新人们的生活,智能手机行业也发展得如火如荼。各智能手机厂商凭借在手机里边加入各种“黑科技”,用自己独特的风格来吸引消…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号