python的数据处理_基于python的数据处理

python的数据处理_基于python的数据处理源起:1.我要做交叉验证,需要每个训练集和测试集都保持相同的样本分布比例,直接用sklearn提供的KFold并不能满足这个需求。2.将生成的交叉验证数据集保存成CSV文件,而不是直接用sklearn训练分类模型。3.在编码过程中有一的误区需要注意:这个sklearn官方给出的文档>>>importnumpyasnp>>>fromsklearn.mo…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

源起:

1.我要做交叉验证,需要每个训练集和测试集都保持相同的样本分布比例,直接用sklearn提供的KFold并不能满足这个需求。

2.将生成的交叉验证数据集保存成CSV文件,而不是直接用sklearn训练分类模型。

3.在编码过程中有一的误区需要注意:

这个sklearn官方给出的文档>>> import numpy as np

>>> from sklearn.model_selection import KFold

>>> X = [“a”, “b”, “c”, “d”]

>>> kf = KFold(n_splits=2)

>>> for train, test in kf.split(X):

… print(“%s %s” % (train, test))

[2 3] [0 1]

[0 1] [2 3]

我之前犯的一个错误是将train,test理解成原数据集分割成子数据集之后的子数据集索引。而实际上,它就是原始数据集本身的样本索引。

源码:# -*- coding:utf-8 -*-

# 得到交叉验证数据集,保存成CSV文件

# 输入是一个包含正常恶意标签的完整数据集,在读数据的时候分开保存到datasetBenign,datasetMalicious

# 分别对两个数据集进行KFold,最后合并保存

from sklearn.model_selection import KFold

import csv

def writeInFile(benignKFTrain, benignKFTest, maliciousKFTrain, maliciousKFTest, i, datasetBenign, datasetMalicious):

newTrainFilePath = “E:\\hadoopExperimentResult\\5KFold\\AllDataSetIIR10\\dataset\\ImbalancedAllTraffic-train-%s.csv” % i

newTestFilePath = “E:\\hadoopExperimentResult\\5KFold\\AllDataSetIIR10\\dataset\\IImbalancedAllTraffic-test-%s.csv” % i

newTrainFile = open(newTrainFilePath, “wb”)# wb 为防止空行

newTestFile = open(newTestFilePath, “wb”)

writerTrain = csv.writer(newTrainFile)

writerTest = csv.writer(newTestFile)

for index in benignKFTrain:

writerTrain.writerow(datasetBenign[index])

for index in benignKFTest:

writerTest.writerow(datasetBenign[index])

for index in maliciousKFTrain:

writerTrain.writerow(datasetMalicious[index])

for index in maliciousKFTest:

writerTest.writerow(datasetMalicious[index])

newTrainFile.close()

newTestFile.close()

def getKFoldDataSet(datasetPath):

# CSV读取文件

# 开始从文件中读取全部的数据集

datasetFile = file(datasetPath, ‘rb’)

datasetBenign = []

datasetMalicious = []

readerDataset = csv.reader(datasetFile)

for line in readerDataset:

if len(line) > 1:

curLine = []

curLine.append(float(line[0]))

curLine.append(float(line[1]))

curLine.append(float(line[2]))

curLine.append(float(line[3]))

curLine.append(float(line[4]))

curLine.append(float(line[5]))

curLine.append(float(line[6]))

curLine.append(line[7])

if line[7] == “benign”:

datasetBenign.append(curLine)

else:

datasetMalicious.append(curLine)

# 交叉验证分割数据集

K = 5

kf = KFold(n_splits=K)

benignKFTrain = []; benignKFTest = []

for train,test in kf.split(datasetBenign):

benignKFTrain.append(train)

benignKFTest.append(test)

maliciousKFTrain=[]; maliciousKFTest=[]

for train,test in kf.split(datasetMalicious):

maliciousKFTrain.append(train)

maliciousKFTest.append(test)

for i in range(K):

print “======================== “+ str(i)+ ” ========================”

print benignKFTrain[i], benignKFTest[i]

print maliciousKFTrain[i],maliciousKFTest[i]

writeInFile(benignKFTrain[i], benignKFTest[i], maliciousKFTrain[i], maliciousKFTest[i], i, datasetBenign,

datasetMalicious)

datasetFile.close()

if __name__ == “__main__”:

getKFoldDataSet(r”E:\hadoopExperimentResult\5KFold\AllDataSetIIR10\dataset\ImbalancedAllTraffic-10.csv”)

END

f2dbd1f4babcefba6c001b09292a3be8.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/193725.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • CSS面试题

    CSS面试题1.有哪些方式(CSS)可以隐藏页面元素?1.opacity:0本质是将元素的透明度降为0,看起来是隐藏了,但是依然占据空间2.visibility:hidden占据空间3.display:none彻底隐藏元素,元素从文档流中消失,不占据空间4.z-index:-9999原理是将层级放到底部,看起来是隐藏了5.overflow:hidden这个只是隐藏元素溢出的部分6.transform:scale(0,0)将元素缩放为0,但是依然占据空间2.em\px\rem区别?Px:绝对

  • 视频监控中NVR录像机NTP校时配置(京准)

    视频监控中NVR录像机NTP校时配置(京准)NTP校时通过设置NTP服务器地址、NTP端口号和校时时间间隔,设备即按照设置每隔一段时间校时一次。NVR3.0界面路径:主菜单—系统配置—网络配置——NTP海康威视iVMS-4200校时、手动校时、定位校时、NTP校时四种方法任你选NVR4.0界面路径:系统管理—网络配置—基本配置—NTP注意:NTP校时,需要设备接入外网或者在局域网中有NTP软件组建NTP服务器。定位校时…

  • vscode一键注释_vscode代码缩进快捷键

    vscode一键注释_vscode代码缩进快捷键新建HTML文件时,输入感叹号(!),按tab键,系统没有反应,不会自动补全。新版本用html:5会自动补全

  • Excel解密——okfone解密大师

    Excel解密——okfone解密大师Excel工作表为了保护数据,设置了打开密码,时间久了就把密码忘记了,这种情况该怎么办。这个情况可以考虑使用解密软件帮你将工作簿密码找回。okfoneExcel解密大师可以解决密码忘记的问题,使用教程如下:打开okfoneExcel解密大师,点击【找回密码】将Excel文件添加进去,选择找回方法,然后点击【开始】密码找回成功就会在软件界面上显示![…

  • gemtuzumab ozogamicin_gazopa识图

    gemtuzumab ozogamicin_gazopa识图原文链接:http://www.sohu.com/a/306325058_671230纵观数据中心业界,底层技术方面其实正处在一场架构变革的初始点,这场变革就是I/O总线的网络化以及I/O资源的大规模池化。众所周知,在开放平台下,PCIE是目前高性能I/O设备普遍采用的总线类型,目前已经到Gen4,很快会到Gen5。但是PCIE总线的树形拓扑以及有限的设备标识ID号码范围,导致其无法形成一个大规模网络,这个问题在NVMe盘未普及之前显得不那么是个问题,但是NVMe盘得道广泛应用之后,会占用大量的PCIE

    2022年10月30日
  • 熟悉w3c标准_w3c规则

    熟悉w3c标准_w3c规则简介    万维网联盟(外语缩写:W3C)标准不是某一个标准,而是一系列标准的集合。网页主要由三部分组成:结构(Structure)、表现(Presentation)和行为(Behavior)。对应的标准也分三方面:结构化标准语言主要包括XHTML和XML,表现标准语言主要包括CSS,行为标准主要包括对象模型(如W3CDOM)、ECMAScript等。这些标准大部分由万维网联盟(外…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号