国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Tensorflow 訓練自己的數據集將數據直接導入到內存

2020-02-15 21:54:47
字體:
來源:轉載
供稿:網友

制作自己的訓練集

下圖是我們數據的存放格式,在data目錄下有驗證集與測試集分別對應iris_test, iris_train

為了向偉大的MNIST致敬,我們采用的數據名稱格式和MNIST類似

classification_index.jpg

圖像的index都是5的整數倍是因為我們選擇測試集的原則是每5個樣本,選擇一個樣本作為測試集,其余的作為訓練集和驗證集

生成這樣數據的過程相對簡單,如果有需要python代碼的,可以給我發郵件,或者在我的github下載

至此,我們的訓練集,測試集,驗證集就生成成功了,之所以我們的文件夾只有訓練集和測試集是因為我們在后續的訓練過程中,會在訓練集中分出一部分作為驗證集,所以兩者暫時合稱為訓練集

將數據集寫入到Tensorflow中

1. 直接寫入到隊列中

import tensorflow as tfimport numpy as npimport ostrain_dir = '/home/ruyiwei/data/iris_train/'#your data directorydef get_files(file_dir):  '''  Args:    file_dir: file directory  Returns:    list of images and labels  '''  iris = []  label_iris = []  contact = []  label_contact = []  for file in os.listdir(file_dir):    name = file.split('_')    if name[0]=="iris":      iris.append(file_dir + file)      label_iris.append(0)    else:      contact.append(file_dir + file)      label_contact.append(1)  print('There are %d iris/nThere are %d contact' %(len(iris), len(contact)))  image_list = np.hstack((iris, contact))  label_list = np.hstack((label_iris, label_contact))  temp = np.array([image_list, label_list])  temp = temp.transpose()  np.random.shuffle(temp)  image_list = list(temp[:, 0])  label_list = list(temp[:, 1])  label_list = [int(i) for i in label_list]  return image_list, label_list

為了大家更方便的理解和修改代碼,我們對代碼進行講解如下

1-3行 : 導入需要的模塊
5行: 定義訓練集合的位置,這個需要根據自己的機器進行修改
7行: 定義函數 get_files
18行: os.listdir(file_dir) 獲取指定目錄file_dir下的所有文件名詞,也就是我們的訓練圖片名稱
18行:for file in os.listdir(file_dir): 遍歷所有的圖片
19行: name為一個數組,由于我們根據MINIST來定制的圖片名詞,所以file.split(‘_')會將圖像名稱分為兩部分,第一部分為classification,通過name[0]來獲得分類信息。
21行、24行:iris.append(file_dir + file)/contact.append(file_dir + file)將圖像的絕對路徑放入到iris/contact
22行、25行:label_iris.append(0)/label_contact.append(1)給對應的圖片貼標簽

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 甘孜县| 玉田县| 砚山县| 清水县| 衡山县| 湘潭县| 金平| 夹江县| 西林县| 济宁市| 汕尾市| 郁南县| 应用必备| 当雄县| 林甸县| 江永县| 仪陇县| 资兴市| 深圳市| 佛冈县| 丹阳市| 文水县| 仁布县| 常宁市| 甘德县| 封丘县| 屏东县| 分宜县| 潞西市| 曲沃县| 万山特区| 湘乡市| 阜南县| 平果县| 中超| 中宁县| 汪清县| 铜梁县| 威远县| 罗江县| 宣威市|