歡迎光臨
每天分享高質量文章
當前位置：知識星球 > 後端 > 正文

Python 資料處理庫 pandas 入門教程

2018-04-23 分類：後端 閱讀(355) 評論(0)

（點選上方公眾號，可快速關註）


來源：強波的技術部落格

qiangbo.space/2018-02-15/pandas_tutorial/


pandas是一個Python語言的軟體包，在我們使用Python語言進行機器學習程式設計的時候，這是一個非常常用的基礎程式設計庫。本文是對它的一個入門教程。

pandas提供了快速，靈活和富有表現力的資料結構，目的是使“關係”或“標記”資料的工作既簡單又直觀。它旨在成為在Python中進行實際資料分析的高階構建塊。

入門介紹

pandas適合於許多不同型別的資料，包括：

  • 具有異構型別列的表格資料，例如SQL表格或Excel資料

  • 有序和無序（不一定是固定頻率）時間序列資料。

  • 具有行列標簽的任意矩陣資料（均勻型別或不同型別）

  • 任何其他形式的觀測/統計資料集。

由於這是一個Python語言的軟體包，因此需要你的機器上首先需要具備Python語言的環境。關於這一點，請自行在網路上搜索獲取方法。

關於如何獲取pandas請參閱官網上的說明：pandas Installation。

通常情況下，我們可以透過pip來執行安裝：

sudo pip3 install pandas


或者透過conda 來安裝pandas：


conda install pandas


目前（2018年2月）pandas的最新版本是v0.22.0（釋出時間：2017年12月29日）。

我已經將本文的原始碼和測試資料放到Github上： pandas_tutorial ，讀者可以前往獲取。

另外，pandas常常和NumPy一起使用，本文中的原始碼中也會用到NumPy。

建議讀者先對NumPy有一定的熟悉再來學習pandas，我之前也寫過一個NumPy的基礎教程，參見這裡：Python 機器學習庫 NumPy 教程

核心資料結構

pandas最核心的就是Series和DataFrame兩個資料結構。

這兩種型別的資料結構對比如下：

名稱 維度 說明
Series 1維 帶有標簽的同構型別陣列
DataFrame 2維 表格結構，帶有標簽，大小可變，且可以包含異構的資料列

DataFrame可以看做是Series的容器，即：一個DataFrame中可以包含若干個Series。

註：在0.20.0版本之前，還有一個三維的資料結構，名稱為Panel。這也是pandas庫取名的原因：pan(el)-da(ta)-s。但這種資料結構由於很少被使用到，因此已經被廢棄了。

Series

由於Series是一維結構的資料，我們可以直接透過陣列來建立這種資料，像這樣：

# data_structure.py

 

import pandas as pd

import numpy as np

 

series1 = pd.Series([1, 2, 3, 4])

print(“series1:\n{}\n”.format(series1))


這段程式碼輸出如下：


series1:

0    1

1    2

2    3

3    4

dtype: int64


這段輸出說明如下：

  • 輸出的最後一行是Series中資料的型別，這裡的資料都是int64型別的。

  • 資料在第二列輸出，第一列是資料的索引，在pandas中稱之為Index。

我們可以分別打印出Series中的資料和索引：

# data_structure.py

 

print(“series1.values: {}\n”.format(series1.values))

 

print(“series1.index: {}\n”.format(series1.index))


這兩行程式碼輸出如下：


series1.values: [1 2 3 4]

 

series1.index: RangeIndex(start=0, stop=4, step=1)


如果不指定（像上面這樣），索引是[1, N-1]的形式。不過我們也可以在建立Series的時候指定索引。索引未必一定需要是整數，可以是任何型別的資料，例如字串。例如我們以七個字母來對映七個音符。索引的目的是可以透過它來獲取對應的資料，例如下麵這樣：


# data_structure.py

 

series2 = pd.Series([1, 2, 3, 4, 5, 6, 7],

    index=[“C”, “D”, “E”, “F”, “G”, “A”, “B”])

print(“series2:\n{}\n”.format(series2))

print(“E is {}\n”.format(series2[“E”]))


這段程式碼輸出如下：


series2:

C    1

D    2

E    3

F    4

G    5

A    6

B    7

dtype: int64

 

E is 3


DataFrame

下麵我們來看一下DataFrame的建立。我們可以透過NumPy的介面來建立一個4×4的矩陣，以此來建立一個DataFrame，像這樣：

# data_structure.py

 

df1 = pd.DataFrame(np.arange(16).reshape(4,4))

print(“df1:\n{}\n”.format(df1))


這段程式碼輸出如下：


df1:

    0   1   2   3

0   0   1   2   3

1   4   5   6   7

2   8   9  10  11

3  12  13  14  15


從這個輸出我們可以看到，預設的索引和列名都是[0, N-1]的形式。

我們可以在建立DataFrame的時候指定列名和索引，像這樣：

# data_structure.py

 

df2 = pd.DataFrame(np.arange(16).reshape(4,4),

    columns=[“column1”, “column2”, “column3”, “column4”],

    index=[“a”, “b”, “c”, “d”])

print(“df2:\n{}\n”.format(df2))


這段程式碼輸出如下：


df2:

   column1  column2  column3  column4

a        0        1        2        3

b        4        5        6        7

c        8        9       10       11

d       12       13       14       15


我們也可以直接指定列資料來建立DataFrame：


# data_structure.py

 

df3 = pd.DataFrame({“note” : [“C”, “D”, “E”, “F”, “G”, “A”, “B”],

    “weekday”: [“Mon”, “Tue”, “Wed”, “Thu”, “Fri”, “Sat”, “Sun”]})

print(“df3:\n{}\n”.format(df3))


這段程式碼輸出如下：


df3:

  note weekday

0    C     Mon

1    D     Tue

2    E     Wed

3    F     Thu

4    G     Fri

5    A     Sat

6    B     Sun


請註意：

  • DataFrame的不同列可以是不同的資料型別

  • 如果以Series陣列來建立DataFrame，每個Series將成為一行，而不是一列

例如：

# data_structure.py

 

noteSeries = pd.Series([“C”, “D”, “E”, “F”, “G”, “A”, “B”],

    index=[1, 2, 3, 4, 5, 6, 7])

weekdaySeries = pd.Series([“Mon”, “Tue”, “Wed”, “Thu”, “Fri”, “Sat”, “Sun”],

    index=[1, 2, 3, 4, 5, 6, 7])

df4 = pd.DataFrame([noteSeries, weekdaySeries])

print(“df4:\n{}\n”.format(df4))

 

df4的輸出如下：


df4:

     1    2    3    4    5    6    7

0    C    D    E    F    G    A    B

1  Mon  Tue  Wed  Thu  Fri  Sat  Sun


我們可以透過下麵的形式給DataFrame新增或者刪除列資料：


# data_structure.py

 

df3[“No.”] = pd.Series([1, 2, 3, 4, 5, 6, 7])

print(“df3:\n{}\n”.format(df3))

 

del df3[“weekday”]

print(“df3:\n{}\n”.format(df3))


這段程式碼輸出如下：


df3:

  note weekday  No.

0    C     Mon    1

1    D     Tue    2

2    E     Wed    3

3    F     Thu    4

4    G     Fri    5

5    A     Sat    6

6    B     Sun    7

 

df3:

  note  No.

0    C    1

1    D    2

2    E    3

3    F    4

4    G    5

5    A    6

6    B    7


Index物件與資料訪問

pandas的Index物件包含了描述軸的元資料資訊。當建立Series或者DataFrame的時候，標簽的陣列或者序列會被轉換成Index。可以透過下麵的方式獲取到DataFrame的列和行的Index物件：

# data_structure.py

 

print(“df3.columns\n{}\n”.format(df3.columns))

print(“df3.index\n{}\n”.format(df3.index))


這兩行程式碼輸出如下：


df3.columns

Index([‘note’, ‘No.’], dtype=‘object’)

 

df3.index

RangeIndex(start=0, stop=7, step=1)


請註意：

  • Index並非集合，因此其中可以包含重覆的資料

  • Index物件的值是不可以改變，因此可以透過它安全的訪問資料

DataFrame提供了下麵兩個運運算元來訪問其中的資料：

  • loc：透過行和列的索引來訪問資料

  • iloc：透過行和列的下標來訪問資料

例如這樣：

# data_structure.py

 

print(“Note C, D is:\n{}\n”.format(df3.loc[[0, 1], “note”]))

print(“Note C, D is:\n{}\n”.format(df3.iloc[[0, 1], 0]))


第一行程式碼訪問了行索引為0和1，列索引為“note”的元素。第二行程式碼訪問了行下標為0和1（對於df3來說，行索引和行下標剛好是一樣的，所以這裡都是0和1，但它們卻是不同的含義），列下標為0的元素。

這兩行程式碼輸出如下：

Note C, D is:

0    C

1    D

Name: note, dtype: object

 

Note C, D is:

0    C

1    D

Name: note, dtype: object


檔案操作

pandas庫提供了一系列的read_函式來讀取各種格式的檔案，它們如下所示：

  • read_csv

  • read_table

  • read_fwf

  • read_clipboard

  • read_excel

  • read_hdf

  • read_html

  • read_json

  • read_msgpack

  • read_pickle

  • read_sas

  • read_sql

  • read_stata

  • read_feather

讀取Excel檔案

註：要讀取Excel檔案，還需要安裝另外一個庫：xlrd

透過pip可以這樣完成安裝：

sudo pip3 install xlrd


安裝完之後可以透過pip檢視這個庫的資訊：


$  pip3 show xlrd

Name: xlrd

Version: 1.1.0

Summary: Library for developers to extract data from Microsoft Excel (tm) spreadsheet files

Home–page: http://www.python-excel.org/

Author: John Machin

Author–email: sjmachin@lexicon.net

License: BSD

Location: /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site–packages

Requires:


接下來我們看一個讀取Excel的簡單的例子：


# file_operation.py

 

import pandas as pd

import numpy as np

 

df1 = pd.read_excel(“data/test.xlsx”)

print(“df1:\n{}\n”.format(df1))


這個Excel的內容如下：


df1:

   C  Mon

0  D  Tue

1  E  Wed

2  F  Thu

3  G  Fri

4  A  Sat

5  B  Sun


註：本文的程式碼和資料檔案可以透過文章開頭提到的Github倉庫獲取。

讀取CSV檔案

下麵，我們再來看讀取CSV檔案的例子。

第一個CSV檔案內容如下

$ cat test1.csv

C,Mon

D,Tue

E,Wed

F,Thu

G,Fri

A,Sat


讀取的方式也很簡單：


# file_operation.py

 

df2 = pd.read_csv(“data/test1.csv”)

print(“df2:\n{}\n”.format(df2))


我們再來看第2個例子，這個檔案的內容如下：


$ cat test2.csv

C|Mon

D|Tue

E|Wed

F|Thu

G|Fri

A|Sat


嚴格的來說，這並不是一個CSV檔案了，因為它的資料並不是透過逗號分隔的。在這種情況下，我們可以透過指定分隔符的方式來讀取這個檔案，像這樣：


# file_operation.py

 

df3 = pd.read_csv(“data/test2.csv”, sep=“|”)

print(“df3:\n{}\n”.format(df3))


實際上，read_csv支援非常多的引數用來調整讀取的引數，如下表所示：

引數 說明
path 檔案路徑
sep或者delimiter 欄位分隔符
essay-header 列名的行數，預設是0（第一行）
index_col 列號或名稱用作結果中的行索引
names 結果的列名稱串列
skiprows 從起始位置跳過的行數
na_values 代替NA的值序列
comment 以行結尾分隔註釋的字元
parse_dates 嘗試將資料解析為datetime。預設為False
keep_date_col 如果將列連線到解析日期，保留連線的列。預設為False。
converters 列的轉換器
dayfirst 當解析可以造成歧義的日期時，以內部形式儲存。預設為False
data_parser 用來解析日期的函式
nrows 從檔案開始讀取的行數
iterator 傳回一個TextParser物件，用於讀取部分內容
chunksize 指定讀取塊的大小
skip_footer 檔案末尾需要忽略的行數
verbose 輸出各種解析輸出的資訊
encoding 檔案編碼
squeeze 如果解析的資料只包含一列，則傳回一個Series
thousands 千數量的分隔符

詳細的read_csv函式說明請參見這裡：pandas.read_csv

處理無效值

現實世界並非完美，我們讀取到的資料常常會帶有一些無效值。如果沒有處理好這些無效值，將對程式造成很大的幹擾。

對待無效值，主要有兩種處理方法：直接忽略這些無效值；或者將無效值替換成有效值。

下麵我先建立一個包含無效值的資料結構。然後透過pandas.isna函式來確認哪些值是無效的：

# process_na.py

 

import pandas as pd

import numpy as np

 

df = pd.DataFrame([[1.0, np.nan, 3.0, 4.0],

                  [5.0, np.nan, np.nan, 8.0],

                  [9.0, np.nan, np.nan, 12.0],

                  [13.0, np.nan, 15.0, 16.0]])

 

print(“df:\n{}\n”.format(df));

print(“df:\n{}\n”.format(pd.isna(df)));****


這段程式碼輸出如下：


df:

      0   1     2     3

0   1.0 NaN   3.0   4.0

1   5.0 NaN   NaN   8.0

2   9.0 NaN   NaN  12.0

3  13.0 NaN  15.0  16.0

 

df:

       0     1      2      3

0  False  True  False  False

1  False  True   True  False

2  False  True   True  False

3  False  True  False  False


忽略無效值

我們可以透過pandas.DataFrame.dropna函式拋棄無效值：

# process_na.py

 

print(“df.dropna():\n{}\n”.format(df.dropna()));

 

註：dropna預設不會改變原先的資料結構，而是傳回了一個新的資料結構。如果想要直接更改資料本身，可以在呼叫這個函式的時候傳遞引數 inplace = True。

對於原先的結構，當無效值全部被拋棄之後，將不再是一個有效的DataFrame，因此這行程式碼輸出如下：

df.dropna():

Empty DataFrame

Columns: [0, 1, 2, 3]

Index: []


我們也可以選擇拋棄整列都是無效值的那一列：


# process_na.py

 

print(“df.dropna(axis=1, how=’all’):\n{}\n”.format(df.dropna(axis=1, how=‘all’)));


註：axis=1表示列的軸。how可以取值’any’或者’all’，預設是前者。

這行程式碼輸出如下：

df.dropna(axis=1, how=‘all’):

      0     2     3

0   1.0   3.0   4.0

1   5.0   NaN   8.0

2   9.0   NaN  12.0

3  13.0  15.0  16.0


替換無效值

我們也可以透過fillna函式將無效值替換成為有效值。像這樣：

# process_na.py

 

print(“df.fillna(1):\n{}\n”.format(df.fillna(1)));


這段程式碼輸出如下：


df.fillna(1):

      0    1     2     3

0   1.0  1.0   3.0   4.0

1   5.0  1.0   1.0   8.0

2   9.0  1.0   1.0  12.0

3  13.0  1.0  15.0  16.0


將無效值全部替換成同樣的資料可能意義不大，因此我們可以指定不同的資料來進行填充。為了便於操作，在填充之前，我們可以先透過rename方法修改行和列的名稱：


# process_na.py

 

df.rename(index={0: ‘index1’, 1: ‘index2’, 2: ‘index3’, 3: ‘index4’},

          columns={0: ‘col1’, 1: ‘col2’, 2: ‘col3’, 3: ‘col4’},

          inplace=True);

df.fillna(value={‘col2’: 2}, inplace=True)

df.fillna(value={‘col3’: 7}, inplace=True)

print(“df:\n{}\n”.format(df));


這段程式碼輸出如下：


df:

        col1  col2  col3  col4

index1   1.0   2.0   3.0   4.0

index2   5.0   2.0   7.0   8.0

index3   9.0   2.0   7.0  12.0

index4  13.0   2.0  15.0  16.0


處理字串

資料中常常牽涉到字串的處理，接下來我們就看看pandas對於字串操作。

Series的str欄位包含了一系列的函式用來處理字串。並且，這些函式會自動處理無效值。

下麵是一些實體，在第一組資料中，我們故意設定了一些包含空格字串：

# process_string.py

 

import pandas as pd

 

s1 = pd.Series([‘ 1’, ‘2 ‘, ‘ 3 ‘, ‘4’, ‘5’]);

print(“s1.str.rstrip():\n{}\n”.format(s1.str.lstrip()))

print(“s1.str.strip():\n{}\n”.format(s1.str.strip()))

print(“s1.str.isdigit():\n{}\n”.format(s1.str.isdigit()))


在這個實體中我們看到了對於字串strip的處理以及判斷字串本身是否是數字，這段程式碼輸出如下：


s1.str.rstrip():

0     1

1    2

2    3

3     4

4     5

dtype: object

 

s1.str.strip():

0    1

1    2

2    3

3    4

4    5

dtype: object

 

s1.str.isdigit():

0    False

1    False

2    False

3     True

4     True

dtype: bool


下麵是另外一些示例，展示了對於字串大寫，小寫以及字串長度的處理：


# process_string.py

 

s2 = pd.Series([‘Stairway to Heaven’, ‘Eruption’, ‘Freebird’,

                    ‘Comfortably Numb’, ‘All Along the Watchtower’])

print(“s2.str.lower():\n{}\n”.format(s2.str.lower()))

print(“s2.str.upper():\n{}\n”.format(s2.str.upper()))

print(“s2.str.len():\n{}\n”.format(s2.str.len()))


該段程式碼輸出如下：


s2.str.lower():

0          stairway to heaven

1                    eruption

2                    freebird

3            comfortably numb

4    all along the watchtower

dtype: object

 

s2.str.upper():

0          STAIRWAY TO HEAVEN

1                    ERUPTION

2                    FREEBIRD

3            COMFORTABLY NUMB

4    ALL ALONG THE WATCHTOWER

dtype: object

 

s2.str.len():

0    18

1     8

2     8

3    16

4    24

dtype: int64


結束語

本文是pandas的入門教程，因此我們只介紹了最基本的操作。對於

  • MultiIndex/Advanced Indexing

  • Merge, join, concatenate

  • Computational tools

之類的高階功能，以後有機會我們再來一起學習。

讀者也可以根據下麵的連結獲取更多的知識。

參考資料與推薦讀物

  • pandas官方網站

  • Python for Data Analysis

  • Pandas Tutorial: Data analysis with Python: Part 1


看完本文有收穫？請轉發分享給更多人

關註「資料分析與開發」，提升資料技能

贊(0)
標籤：

相關推薦

熱門標籤

iOS (11238)微軟 (4955)Linux (4274)安全 (4180)Python (4161)效能 (3165)運維 (2774)最佳化 (2419).NET (2262)Google (2136)機器學習 (1795)併發 (1613)分散式 (1559)叢集 (1240)SQL (1174)Mysql (1060)區塊鏈 (1017)Docker (977)微服務 (922)面試 (919)Apache (743)NLP (725)Redis (719)Android (668)Git (640)架構師 (632)Nginx (630)Facebook (599)JVM (595)爬蟲 (476)

熱門文章

分享創造快樂