起步
Pandas最初被作為金融數據分析工具而開發出來，因此 pandas 為時間序列分析提供了很好的支持。 Pandas 的名稱來自于面板數據（panel data）和python數據分析 （data analysis） 。panel data是經濟學中關于多維數據集的一個術語，在Pandas中也提供了panel的數據類型。
在我看來，對于 Numpy 以及 Matplotlib ，Pandas可以幫助創建一個非常牢固的用于數據挖掘與分析的基礎。而Scipy當然是另一個主要的也十分出色的科學計算庫。
安裝與導入
通過pip進行安裝: pip install pandas
導入：
import pandas as pd
Pandas的數據類型
Pandas基于兩種數據類型： series 與 dataframe 。
Series
一個series是一個一維的數據類型，其中每一個元素都有一個標簽。類似于Numpy中元素帶標簽的數組。其中，標簽可以是數字或者字符串。
# coding: utf-8import numpy as npimport pandas as pds = pd.Series([1, 2, 5, np.nan, 6, 8])print s
輸出：
0 1.01 2.02 5.03 NaN4 6.05 8.0dtype: float64
DataFrame
一個dataframe是一個二維的表結構。Pandas的dataframe可以存儲許多種不同的數據類型，并且每一個坐標軸都有自己的標簽。你可以把它想象成一個series的字典項。
創建一個 DateFrame：
#創建日期索引序列 dates = pd.date_range('20130101', periods=6)#創建Dataframe，其中 index 決定索引序列，columns 決定列名df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))print df輸出：
A B C D2013-01-01 -0.334482 0.746019 -2.205026 -0.8038782013-01-02 2.007879 1.559073 -0.527997 0.9509462013-01-03 -1.053796 0.438214 -0.027664 0.0185372013-01-04 -0.208744 -0.725155 -0.395226 -0.2685292013-01-05 0.080822 -1.215433 -0.785030 0.9776542013-01-06 -0.126459 0.426328 -0.474553 -1.968056
字典創建 DataFrame
df2 = pd.DataFrame({ 'A' : 1., 'B' : pd.Timestamp('20130102'), 'C' : pd.Series(1,index=list(range(4)),dtype='float32'), 'D' : np.array([3] * 4,dtype='int32'), 'E' : pd.Categorical(["test","train","test","train"]), 'F' : 'foo' })輸出：
A B C D E F0 1 2013-01-02 1 3 test foo1 1 2013-01-02 1 3 train foo2 1 2013-01-02 1 3 test foo3 1 2013-01-02 1 3 train foo
將文件數據導入Pandas
df = pd.read_csv("Average_Daily_Traffic_Counts.csv", header = 0)df.head()
數據源可以是 英國政府數據 或 美國政府數據 來獲取數據源。當然， Kaggle 是另一個好用的數據源。
選擇/切片
# 選擇單獨的一列，返回 Serires，與 df.A 效果相當。df['A']# 位置切片df[0:3]# 索引切片df['20130102':'20130104']# 通過標簽選擇df.loc[dates[0]]# 對多個軸同時通過標簽進行選擇df.loc[:,['A','B']]# 獲得某一個單元的數據df.loc[dates[0],'A']# 或者df.at[dates[0],'A'] # 速度更快的做法# 通過位置進行選擇df.iloc[3]# 切片df.iloc[3:5,0:2]# 列表選擇df.iloc[[1,2,4],[0,2]]# 獲得某一個單元的數據df.iloc[1,1]# 或者df.iat[1,1] # 更快的做法# 布爾索引df[df.A > 0]# 獲得大于零的項的數值df[df > 0]# isin 過濾df2[df2['E'].isin(['two','four'])]
賦值
# 新增一列，根據索引排列s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))df['F'] = s1# 缺省項# 在 pandas 中使用 np.nan 作為缺省項的值。df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])df1.loc[dates[0]:dates[1],'E'] = 1# 刪除所有帶有缺省項的行df1.dropna(how='any')# 填充缺省項df1.fillna(value=5)# 獲得缺省項的布爾掩碼pd.isnull(df1)觀察操作
# 觀察開頭的數據df.head()# 觀察末尾的數據df.tail(3)# 顯示索引df.index# 顯示列df.columns# 顯示底層 numpy 結構df.values# DataFrame 的基本統計學屬性預覽df.describe()""" A B C Dcount 6.000000 6.000000 6.000000 6.000000 #數量mean 0.073711 -0.431125 -0.687758 -0.233103 #平均值std 0.843157 0.922818 0.779887 0.973118 #標準差min -0.861849 -2.104569 -1.509059 -1.135632 #最小值25% -0.611510 -0.600794 -1.368714 -1.076610 #正態分布 25%50% 0.022070 -0.228039 -0.767252 -0.386188 #正態分布 50%75% 0.658444 0.041933 -0.034326 0.461706 #正態分布 75%max 1.212112 0.567020 0.276232 1.071804 #最大值"""# 轉置df.T# 根據某一軸的索引進行排序df.sort_index(axis=1, ascending=False)# 根據某一列的數值進行排序df.sort(columns='B')
統計
# 求平均值df.mean()"""A -0.004474B -0.383981C -0.687758D 5.000000F 3.000000dtype: float64"""# 指定軸上的平均值df.mean(1)# 不同維度的 pandas 對象也可以做運算，它會自動進行對應，shift 用來做對齊操作。s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)"""2013-01-01 NaN2013-01-02 NaN2013-01-03 12013-01-04 32013-01-05 52013-01-06 NaNFreq: D, dtype: float64"""# 對不同維度的 pandas 對象進行減法操作df.sub(s, axis='index')""" A B C D F2013-01-01 NaN NaN NaN NaN NaN2013-01-02 NaN NaN NaN NaN NaN2013-01-03 -1.861849 -3.104569 -1.494929 4 12013-01-04 -2.278445 -3.706771 -4.039575 2 02013-01-05 -5.424972 -4.432980 -4.723768 0 -12013-01-06 NaN NaN NaN NaN NaN"""
函數應用
# 累加df.apply(np.cumsum)
直方圖
s = pd.Series(np.random.randint(0, 7, size=10))s.value_counts()"""4 56 22 21 1dtype: int64String Methods"""
字符處理
s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])s.str.lower()"""0 a1 b2 c3 aaba4 baca5 NaN6 caba7 dog8 catdtype: object"""
合并
使用 concat() 連接 pandas 對象:
df = pd.DataFrame(np.random.randn(10, 4))""" 0 1 2 30 -0.548702 1.467327 -1.015962 -0.4830751 1.637550 -1.217659 -0.291519 -1.7455052 -0.263952 0.991460 -0.919069 0.2660463 -0.709661 1.669052 1.037882 -1.7057754 -0.919854 -0.042379 1.247642 -0.0099205 0.290213 0.495767 0.362949 1.5481066 -1.131345 -0.089329 0.337863 -0.9458677 -0.932132 1.956030 0.017587 -0.0166928 -0.575247 0.254161 -1.143704 0.2158979 1.193555 -0.077118 -0.408530 -0.862495"""pieces = [df[:3], df[3:7], df[7:]]pd.concat(pieces)""" 0 1 2 30 -0.548702 1.467327 -1.015962 -0.4830751 1.637550 -1.217659 -0.291519 -1.7455052 -0.263952 0.991460 -0.919069 0.2660463 -0.709661 1.669052 1.037882 -1.7057754 -0.919854 -0.042379 1.247642 -0.0099205 0.290213 0.495767 0.362949 1.5481066 -1.131345 -0.089329 0.337863 -0.9458677 -0.932132 1.956030 0.017587 -0.0166928 -0.575247 0.254161 -1.143704 0.2158979 1.193555 -0.077118 -0.408530 -0.862495"""
join 合并：
left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})pd.merge(left, right, on='key')""" key lval rval0 foo 1 41 foo 1 52 foo 2 43 foo 2 5"""追加
在 dataframe 數據后追加行
df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])s = df.iloc[3]df.append(s, ignore_index=True)
分組
分組常常意味著可能包含以下的幾種的操作中一個或多個
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B' : ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'], 'C' : np.random.randn(8), 'D' : np.random.randn(8)})# 對單個分組應用函數，數據被分成了 bar 組與 foo 組，分別計算總和。df.groupby('A').sum()# 依據多個列分組會構成一個分級索引df.groupby(['A','B']).sum()""" C DA B bar one -1.814470 2.395985 three -0.595447 0.166599 two -0.392670 -0.136473foo one -1.195665 -0.616981 three 1.928123 -1.623033 two 2.414034 1.600434"""數據透視表
df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3, 'B' : ['A', 'B', 'C'] * 4, 'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2, 'D' : np.random.randn(12), 'E' : np.random.randn(12)})# 生成數據透視表pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])"""C bar fooA B one A -0.773723 1.418757 B -0.029716 -1.879024 C -1.146178 0.314665three A 1.006160 NaN B NaN -1.035018 C 0.648740 NaNtwo A NaN 0.100900 B -1.170653 NaN C NaN 0.536826"""時間序列
pandas 擁有既簡單又強大的頻率變換重新采樣功能，下面的例子從 1次/秒 轉換到了 1次/5分鐘：
rng = pd.date_range('1/1/2012', periods=100, freq='S')ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)ts.resample('5Min', how='sum')"""2012-01-01 25083Freq: 5T, dtype: int32"""# 本地化時區表示rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')ts = pd.Series(np.random.randn(len(rng)), rng)"""2012-03-06 0.4640002012-03-07 0.2273712012-03-08 -0.4969222012-03-09 0.3063892012-03-10 -2.290613Freq: D, dtype: float64"""ts_utc = ts.tz_localize('UTC')"""2012-03-06 00:00:00+00:00 0.4640002012-03-07 00:00:00+00:00 0.2273712012-03-08 00:00:00+00:00 -0.4969222012-03-09 00:00:00+00:00 0.3063892012-03-10 00:00:00+00:00 -2.290613Freq: D, dtype: float64"""# 轉換為周期ps = ts.to_period()# 轉換為時間戳ps.to_timestamp()分類
df = pd.DataFrame({"id":[1,2,3,4,5,6], "raw_grade":['a', 'b', 'b', 'a', 'a', 'e']})# 將 raw_grades 轉換成 Categoricals 類型df["grade"] = df["raw_grade"].astype("category")df["grade"]"""0 a1 b2 b3 a4 a5 eName: grade, dtype: categoryCategories (3, object): [a, b, e]"""# 重命名分類df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium", "good", "very good"])# 根據分類的順序對數據進行排序df.sort("grade")""" id raw_grade grade5 6 e very bad1 2 b good2 3 b good0 1 a very good3 4 a very good4 5 a very good"""作圖
ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))ts = ts.cumsum()ts.plot()數據IO
# 從 csv 文件讀取數據pd.read_csv('foo.csv')# 保存到 csv 文件df.to_csv('foo.csv')# 讀取 excel 文件pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])# 保存到 excel 文件df.to_excel('foo.xlsx', sheet_name='Sheet1')總結
以上就是這篇文章的全部內容了，希望本文的內容對大家學習或者使用python能帶來一定的幫助，如果有疑問大家可以留言交流。
新聞熱點
疑難解答
圖片精選
