国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

使用python的pandas庫讀取csv文件保存至mysql數據庫

2020-01-04 14:40:48
字體:
來源:轉載
供稿:網友

第一:pandas.read_csv讀取本地csv文件為數據框形式

data=pd.read_csv('G:/data_operation/python_book/chapter5//sales.csv')

第二:如果存在日期格式數據,利用pandas.to_datatime()改變類型

data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])

注意:=號,這樣在原始的數據框中,改變了列的類型

第三:查看列類型

print(data.dtypes)

第四:方法一:保存至MYSQL【缺點耗時長】

利用MYSQLdb庫,封裝成一個類,實現創建表,添加數據的操作,缺點耗時長

class Jess_mysql(): """ 設置mysql類,實現創建數據框,表,及添加數據 """ def __init__(self):  self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)  self.conn=self.mysql.cursor() def create_table(self,table_names,col_names):  """  創建表  :param table_names: 表名  :param col_names: 列名,列表格式  :return:  """  tables=' varchar(20),'.join(['%s'] *len(col_names))  sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要標注格式  ss=sql_yuju %(tuple(col_names))  print(ss)  self.conn.execute(ss)  self.mysql.commit() def add_data(self,table_name,col_names,col_data):  """  :param table_name: 表名  :param col_names: 列名,字段名  :param col_data: 字段值  :return:  """  colname=','.join(['%s']*len(col_names))  data=','.join(['%s']*len(col_data))  sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)  ss=sql_yuju%(*col_names,*col_data)  #print(ss)  self.conn.execute(ss)  self.mysql.commit()

第五:利用sqlalchemy的create_engine()方法

1、創建連接

import sqlalchemy#engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny')engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format        (user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))

2、利用pd.io.sql.to_sql()

pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')

注意相關參數的設置。

此外,保存到mysql中,需要注意日期格式的列,因為在mysql對應的field設置格式為varchar(20)后,原始的日期2015-8-9,寫入數據庫,只有2015,這需要兩步操作。

a、上面第二目錄的,利用pandas.to_datetime(,format='%Y-%m-%d')       #format的格式要和原始字符2016-8-9格式一樣

b、利用datetime庫,實現format='%Y%m%d'

x=data.shape[0]for i in range(x): col_data=list(df.iloc[i,:]) col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')

•這一步后,日期格式由原始的2016-6-2,轉為20160606,就可以以寫入數據庫對應的字段【其字段類型varchar(20)】

第六:讀取mysql的數據

df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)

默認不設置索引列,可以自行指定索引列名。

總結

以上所述是小編給大家介紹的使用python的pandas庫讀取csv文件保存至mysql數據庫,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對VEVB武林網網站的支持!


注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 沅陵县| 淳化县| 涞水县| 黑山县| 岱山县| 吉安市| 当阳市| 乐陵市| 新建县| 城步| 南雄市| 五大连池市| 高安市| 镇巴县| 康乐县| 新竹县| 城步| 德兴市| 巴林右旗| 汨罗市| 淮安市| 惠来县| 白城市| 宣恩县| 察雅县| 阜新市| 明光市| 泸西县| 桦川县| 礼泉县| 临夏市| 连江县| 武宣县| 临沂市| 民勤县| 福清市| 孝感市| 太湖县| 宜城市| 工布江达县| 宽城|