国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python從數(shù)據(jù)庫讀取大量數(shù)據(jù)批量寫入文件的方法

2020-01-04 13:52:44
字體:
來源:轉載
供稿:網(wǎng)友

使用機器學習訓練數(shù)據(jù)時,如果數(shù)據(jù)量較大可能我們不能夠一次性將數(shù)據(jù)加載進內(nèi)存,這時我們需要將數(shù)據(jù)進行預處理,分批次加載進內(nèi)存。

下面是代碼作用是將數(shù)據(jù)從數(shù)據(jù)庫讀取出來分批次寫入txt文本文件,方便我們做數(shù)據(jù)的預處理和訓練機器學習模型。

#%%import pymssql as MySQLdb #這里是python3 如果你是python2.x的話,import MySQLdb#數(shù)據(jù)庫連接屬性hst = '188.10.34.18'usr = 'sa'passwd = 'p@ssw0rd'db = 'HistoryTrace' #總共多少數(shù)據(jù)allData = 1674333#每個批次多少條數(shù)據(jù)dataOfEach = 20000#批次batch = ceil(allData/dataOfEach) #文件名global IDctrl IDctrl = 1filename = str(IDctrl)+'.txt' #連接數(shù)據(jù)庫conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)cur=conn.cursor() while IDctrl<batch: #讀取數(shù)據(jù)庫 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus/    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach)  cur.execute(sql) rows=cur.fetchall() #寫文件 f = open(filename,'w') f.writelines(str(rows)) #文件名加1 IDctrl+=1 filename = str(IDctrl)+'.txt' #關閉數(shù)據(jù)庫連接f.close()conn.close()

以上這篇Python從數(shù)據(jù)庫讀取大量數(shù)據(jù)批量寫入文件的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持VEVB武林網(wǎng)。


注:相關教程知識閱讀請移步到python教程頻道。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 叶城县| 忻州市| 含山县| 攀枝花市| 岳普湖县| 安西县| 阿拉尔市| 浦北县| 雷州市| 棋牌| 鄯善县| 蒙自县| 仁寿县| 通辽市| 尚志市| 巨鹿县| 蓬安县| 拜泉县| 亚东县| 肃宁县| 新和县| 彭泽县| 永泰县| 济源市| 宿迁市| 塔城市| 隆安县| 西峡县| 五原县| 拉萨市| 仙桃市| 鹤庆县| 柳州市| 余干县| 即墨市| 绥江县| 芦山县| 遂宁市| 澄江县| 松滋市| 都安|