国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

使用python進行拆分大文件的方法

2020-01-04 13:53:10
字體:
供稿:網(wǎng)友

python按指定行數(shù)把大文件進行拆分

如圖大文件有7000多萬行,大小為16G

python,拆分大文件

需要拆分成多個200萬行的小文件

代碼如下:

# -*- coding:utf-8 -*-from datetime import datetime def Main(): source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt' target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'  # 計數(shù)器 flag = 0  # 文件名 name = 1  # 存放數(shù)據(jù) dataList = []  print("開始。。。。。") print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))  with open(source_dir,'r') as f_source:  for line in f_source:   flag+=1   dataList.append(line)   if flag == 2000000:    with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:     for data in dataList:      f_target.write(data)    name+=1    flag = 0    dataList = []     # 處理最后一批行數(shù)少于200萬行的 with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:  for data in dataList:   f_target.write(data)  print("完成。。。。。") print(datetime.now().strftime('%Y-%m-%d %H:%M:%S')) if __name__ == "__main__": Main() 

結(jié)果如下:

python,拆分大文件

總共產(chǎn)生39個文件,最后一個文件行數(shù)760821,這樣就OK啦

經(jīng)測試16G文件所需時間如圖:不到兩分鐘

python,拆分大文件

以上這篇使用python進行拆分大文件的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持VEVB武林網(wǎng)。


注:相關(guān)教程知識閱讀請移步到python教程頻道。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 达日县| 沐川县| 池州市| 海原县| 五常市| 改则县| 五大连池市| 承德市| 怀安县| 诸暨市| 木兰县| 辉县市| 崇信县| 贵德县| 北海市| 海林市| 老河口市| 汾阳市| 岱山县| 东辽县| 富裕县| 望江县| 安国市| 布尔津县| 独山县| 邵阳县| 金秀| 靖江市| 天峻县| 凤山县| 句容市| 永登县| 宝丰县| 张北县| 沁水县| 鄂托克旗| 甘孜| 宝山区| 永城市| 什邡市| 宜州市|