国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python pandas 對時間序列文件處理的實例

2020-02-15 21:59:06
字體:
來源:轉載
供稿:網友

如下所示:

import pandas as pdfrom numpy import *import matplotlib.pylab as pltimport copydef read(filename): dat=pd.read_csv(filename,iterator=True) loop = True chunkSize = 1000000 R=[] while loop:  try:   data = dat.get_chunk(chunkSize)   data=data.loc[:,'B':'C'] # 切片   data=data[data.B==855]  #條件選擇   data['C']=pd.to_datetime(data['C']) # 轉換成時間格式   data=data.set_index(['C'])    # 設置索引   data.loc[:,'D']=array([1]*len(data)) #增加一列   data=data.resample('D').sum() #按天求和   data=data.loc[:,'D'] #截取   data.fillna(0) #填充缺失值   R.append(data)  except StopIteration:   loop = False   print ("Iteration is stopped.") R.to_csv('855_pay.csv') # 保存def read2(filename): reader=pd.read_csv(filename,iterator=True) loop = True chunkSize = 100000 chunks = [] while loop:  try:   chunk = reader.get_chunk(chunkSize)   chunks.append(chunk)  except StopIteration:   loop = False   print ("Iteration is stopped.") df = pd.concat(chunks, ignore_index=True) return dfdef read3save(filename): dat=pd.read_csv(filename) #data = dat.get_chunk(chunkSize) data=dat.loc[:,'B':'C'] # 切片 data=data[data.B==855]#條件選擇 print(shape(data)) data['C']=pd.to_datetime(data['C']) # 轉換成時間格式 data=data.set_index(['C'])# 設置索引 if len(data)==0:  return data.loc[:,'D']=array([1]*len(data)) #增加一列 data=data.resample('D').sum() #按天求和 data=data.loc[:,'D'] #截取 data.fillna(0) #填充缺失值 data.to_csv('855_pay.csv',mode='a') # 保存def loadDataSet(fileName, delim='/t'): fr = open(fileName) stringArr = [line.strip().split(delim) for line in fr.readlines()] datArr = [list(map(float,line)) for line in stringArr] return mat(datArr)def getShopData(): fr = open('shopInfo.txt') shopID = [line.strip().split('/n') for line in fr.readlines()] # datArr = [list(map(float,line))for line in stringArr] for i in range(1,9):  name="user_pay.001.00%d"%i  dat=pd.read_csv(name)  #data = dat.get_chunk(chunkSize)  data=dat.loc[:,'B':'C'] # 切片  for factor in shopID:   data=data[data.B==int(str(factor[0]))]#條件選擇   print(shape(data))   if len(data)==0: continue   data['C']=pd.to_datetime(data['C']) # 轉換成時間格式   data=data.set_index(['C'])# 設置索引   data.loc[:,'D']=array([1]*len(data)) #增加一列   data=data.resample('D').sum() #按天求和   data=data.loc[:,'D'] #截取   data.fillna(0) #填充缺失值   s=str(factor[0])   savename='D:/python/data/%s_pay.csv'%s   data.to_csv(savename,mode='a') # 保存   del dat print("over")def tset(filename): dat=pd.read_csv(filename) #data = dat.get_chunk(chunkSize) data=dat.loc[:,'B':'C'] # 切片 data=data[data.B==855]#條件選擇 print(shape(data)) data['C']=pd.to_datetime(data['C']) # 轉換成時間格式 data=data.set_index(['C'])# 設置索引 if len(data)==0:  return data.loc[:,'D']=array([1]*len(data)) #增加一列 data=data.resample('D').sum() #按天求和 data=data.loc[:,'D'] #截取 data.fillna(0) #填充缺失值 #data.to_csv('855_pay.csv',mode='a') # 保存 s='my' savename='D:/python/data/%s_pay.csv'%s data.to_csv(savename,mode='a') # 保存  def getShopData2(filename):  import csv # fr = open('shopInfo.txt')  # shopID = [line.strip().split('/n') for line in fr.readlines()] # datArr = [list(map(float,line))for line in stringArr] #for i in range(1,9): #name="user_pay.001.00%d"%i  dat=pd.read_csv(filename)  #data = dat.get_chunk(chunkSize)  data=dat.loc[:,'B':'C'] # 切片  data['C']=pd.to_datetime(data['C']) # 轉換成時間格式  data=data.set_index(['C'])# 設置索引  data.loc[:,'D']=array([1]*len(data)) #增加一列  for i in range(1,2001):   d=copy.copy(data)   d=d[data.B==i]#條件選擇   #print(shape(d))   print(i)   if len(d)==0: continue   d=d.resample('D').sum() #按天求和   d=d.loc[:,'D'] #截取   d.fillna(0) #填充缺失值   s=str(i)   #print(s)   savename='D:/python/data2/%s_pay.csv'%s   c=open(savename,'a')   writer=csv.writer(c)   writer.writerow(['C','D'])   c.close()   d.to_csv(savename,mode='a') # 保存   # del dat   print("over")def formatData():  #fr = open('shopInfo.txt')  #shopID = [line.strip().split('/n') for line in fr.readlines()] # datArr = [list(map(float,line))for line in stringArr]  #data = dat.get_chunk(chunkSize)  for i in range(1,2001):   s=str(i)   print(s)   name='D:/python/data2/%s_pay.csv'%s   dat=pd.read_csv(name)   data['C']=pd.to_datetime(data['C']) # 轉換成時間格式   data=data.set_index(['C'])# 設置索引   data=data.resample('D').sum() #按天求和   data.fillna(0) #填充缺失值   savename='D:/python/data3/%s_pay.csv'%s   data.to_csv(savename,mode='w') # 保存   del dat   print("over")            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 莱阳市| 秦安县| 陆良县| 四平市| 东山县| 加查县| 惠安县| 南宫市| 永吉县| 建昌县| 奈曼旗| 集安市| 清水县| 大安市| 六枝特区| 大同市| 寻甸| 永德县| 桂东县| 普兰店市| 武山县| 东台市| 浑源县| 黎城县| 锦州市| 金门县| 杭州市| 璧山县| 同仁县| 镇坪县| 威远县| 利津县| 乐陵市| 南平市| 增城市| 文化| 安塞县| 石屏县| 增城市| 定安县| 稻城县|