国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python sklearn KFold 生成交叉驗證數據集的方法

2020-01-04 13:51:36
字體:
來源:轉載
供稿:網友

源起:

1.我要做交叉驗證,需要每個訓練集和測試集都保持相同的樣本分布比例,直接用sklearn提供的KFold并不能滿足這個需求。

2.將生成的交叉驗證數據集保存成CSV文件,而不是直接用sklearn訓練分類模型。

3.在編碼過程中有一的誤區(qū)需要注意:

這個sklearn官方給出的文檔

>>> import numpy as np>>> from sklearn.model_selection import KFold >>> X = ["a", "b", "c", "d"]>>> kf = KFold(n_splits=2)>>> for train, test in kf.split(X):...  print("%s %s" % (train, test))[2 3] [0 1][0 1] [2 3]

我之前犯的一個錯誤是將train,test理解成原數據集分割成子數據集之后的子數據集索引。而實際上,它就是原始數據集本身的樣本索引。

源碼:

# -*- coding:utf-8 -*-# 得到交叉驗證數據集,保存成CSV文件# 輸入是一個包含正常惡意標簽的完整數據集,在讀數據的時候分開保存到datasetBenign,datasetMalicious# 分別對兩個數據集進行KFold,最后合并保存 from sklearn.model_selection import KFoldimport csv def writeInFile(benignKFTrain, benignKFTest, maliciousKFTrain, maliciousKFTest, i, datasetBenign, datasetMalicious): newTrainFilePath = "E://hadoopExperimentResult//5KFold//AllDataSetIIR10//dataset//ImbalancedAllTraffic-train-%s.csv" % i newTestFilePath = "E://hadoopExperimentResult//5KFold//AllDataSetIIR10//dataset//IImbalancedAllTraffic-test-%s.csv" % i newTrainFile = open(newTrainFilePath, "wb")# wb 為防止空行 newTestFile = open(newTestFilePath, "wb") writerTrain = csv.writer(newTrainFile) writerTest = csv.writer(newTestFile) for index in benignKFTrain:  writerTrain.writerow(datasetBenign[index]) for index in benignKFTest:  writerTest.writerow(datasetBenign[index]) for index in maliciousKFTrain:  writerTrain.writerow(datasetMalicious[index]) for index in maliciousKFTest:  writerTest.writerow(datasetMalicious[index]) newTrainFile.close() newTestFile.close()  def getKFoldDataSet(datasetPath): # CSV讀取文件 # 開始從文件中讀取全部的數據集 datasetFile = file(datasetPath, 'rb') datasetBenign = [] datasetMalicious = [] readerDataset = csv.reader(datasetFile) for line in readerDataset:  if len(line) > 1:   curLine = []   curLine.append(float(line[0]))   curLine.append(float(line[1]))   curLine.append(float(line[2]))   curLine.append(float(line[3]))   curLine.append(float(line[4]))   curLine.append(float(line[5]))   curLine.append(float(line[6]))   curLine.append(line[7])   if line[7] == "benign":    datasetBenign.append(curLine)   else:    datasetMalicious.append(curLine)  # 交叉驗證分割數據集 K = 5 kf = KFold(n_splits=K) benignKFTrain = []; benignKFTest = [] for train,test in kf.split(datasetBenign):  benignKFTrain.append(train)  benignKFTest.append(test) maliciousKFTrain=[]; maliciousKFTest=[] for train,test in kf.split(datasetMalicious):  maliciousKFTrain.append(train)  maliciousKFTest.append(test) for i in range(K):  print "======================== "+ str(i)+ " ========================"  print benignKFTrain[i], benignKFTest[i]  print maliciousKFTrain[i],maliciousKFTest[i]  writeInFile(benignKFTrain[i], benignKFTest[i], maliciousKFTrain[i], maliciousKFTest[i], i, datasetBenign,     datasetMalicious)  datasetFile.close()  if __name__ == "__main__":  getKFoldDataSet(r"E:/hadoopExperimentResult/5KFold/AllDataSetIIR10/dataset/ImbalancedAllTraffic-10.csv")

以上這篇Python sklearn KFold 生成交叉驗證數據集的方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。


注:相關教程知識閱讀請移步到python教程頻道。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 三门县| 侯马市| 电白县| 大理市| 固阳县| 高尔夫| 南乐县| 朝阳县| 峨山| 凤城市| 馆陶县| 获嘉县| 额尔古纳市| 卢氏县| 南澳县| 罗江县| 区。| 海宁市| 上林县| 涞水县| 河源市| 醴陵市| 莲花县| 尤溪县| 北京市| 沂源县| 佛教| 梁山县| 延寿县| 敦煌市| 东海县| 白沙| 武川县| 平遥县| 化德县| 阿合奇县| 东城区| 茌平县| 巴塘县| 张北县| 抚顺县|