一、生成數據表

1、首先導入pandas庫，一般都會用到numpy庫，所以我們先導入備用：

import numpy as npimport pandas as pd

2、導入CSV或者xlsx文件：

df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel('name.xlsx'))

3、用pandas創建數據表：

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],  "date":pd.date_range('20130102', periods=6), "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], "age":[23,44,54,32,34,32], "category":['100-A','100-B','110-A','110-C','210-A','130-F'], "price":[1200,np.nan,2133,5433,np.nan,4432]}, columns =['id','date','city','category','age','price'])

二、數據表信息查看

1、維度查看：

df.shape

2、數據表基本信息（維度、列名稱、數據格式、所占空間等）：

df.info()

3、每一列數據的格式：

df.dtypes

4、某一列格式：

df['B'].dtype

5、空值：

df.isnull()

6、查看某一列空值：

df.isnull()

7、查看某一列的唯一值：

df['B'].unique()

8、查看數據表的值：

df.values 

9、查看列名稱：

df.columns

10、查看前10行數據、后10行數據：

df.head() #默認前10行數據df.tail()  #默認后10 行數據

三、數據表清洗

1、用數字0填充空值：

df.fillna(value=0)

2、使用列prince的均值對NA進行填充：

df['prince'].fillna(df['prince'].mean())

3、清楚city字段的字符空格：

df['city']=df['city'].map(str.strip)

4、大小寫轉換：

df['city']=df['city'].str.lower()

5、更改數據格式：

df['price'].astype('int')

6、更改列名稱：

df.rename(columns={'category': 'category-size'}) 

7、刪除后出現的重復值：

df['city'].drop_duplicates()

8、刪除先出現的重復值：

df['city'].drop_duplicates(keep='last')

9、數據替換：

df['city'].replace('sh', 'shanghai')

四、數據預處理

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], "gender":['male','female','male','female','male','female','male','female'],"pay":['Y','N','Y','Y','N','Y','N','Y',],"m-point":[10,12,20,40,40,40,30,20]})

1、數據表合并

df_inner=pd.merge(df,df1,how='inner') # 匹配合并，交集df_left=pd.merge(df,df1,how='left')    #df_right=pd.merge(df,df1,how='right')df_outer=pd.merge(df,df1,how='outer') #并集