【知識】使用Python來學習資料科學的完整教程

使用pandas進行資料探索

為了進一步探索我們的資料，給你介紹另一個動物（好像Python還不夠！）- Pandas

Pandas是Python中最有好用的資料分析庫之一（我知道這些名字聽起來很奇怪，先這樣！）促使越來越多資料科學界人士使用Python。現在我們將使用pandas從Analytics Vidhya比賽中讀取資料集，進行探索性分析，並構建我們的第一個基礎分類演演算法來解決這個問題。

在資料載入之前，先瞭解Pandas中2個關鍵資料結構 – Series和DataFrames。

Series及DataFrame介紹

Series可以理解為1維標簽/索引陣列。你可以透過這些標簽訪問series的各個元素。

Dataframe類似於Excel工作簿,列名稱取用列，使用行號訪問行。本質區別在於dataframes中列名稱和行號稱為列和行索引。

Series和DataFrames構成了Pandas在Python中的核心資料模型。資料集首先被讀入Dataframes，然後各種操作（例如分組、聚合等）可以非常容易地應用於其列。

應用案例 – 貸款預測問題

以下是變數的描述：

開始資料探索

首先，在terminal/ Windows命令提示符下鍵入以下命令，以Inline Pylab樣式啟動iPython介面：

ipython notebook --pylab=inline

這樣在pylab環境中開啟了iPython notebook，它已經匯入了一些有用的庫。此外，可以行內繪製資料，這使得它成為一個非常好的互動式資料分析環境。 你可以透過鍵入以下命令（並獲得如下圖所示的輸出）來檢查環境是否載入正確：

plot(arange(5))

我當前在Linux中工作，並將資料集儲存在以下位置： /home/kunal/Downloads/Loan_Prediction/train.csv

匯入庫和資料集：

以下是我們將在本教程中使用的庫：

numpy

matplotlib

pandas

請註意，由於Pylab環境，你不需要匯入matplotlib和numpy。我仍然將它們保留在程式碼中，以便在不同的環境中使用程式碼。

匯入庫後，使用函式read_csv（）讀取資料集。程式碼如下：

import pandas as pd

import numpy as np

import matplotlib as plt

df = pd.read_csv("/home/kunal/Downloads/Loan_Prediction/train.csv") #使用Pandas讀入資料集轉換成dataframe

快速資料探索

讀取資料集後，可以使用head（）函式檢視前幾行

df.head(10)

這樣輸出了10行，或者，也可以列印檢視更多行資料集。

接下來，可以使用describe（）函式來檢視數值欄位的摘要

df.describe()

describe（）函式將在其輸出中提供計數、平均值、標準偏差（std）、最小值、四分位數和最大值。

這裡有幾個發現，你可以透過看看describe（）函式的輸出來繪製：

1.LoanAmount有（614 – 592）22個缺失值。

2.Loan_Amount_Term有（614 – 600）14個缺失值。

3.Credit_History有（614 – 564）50個缺失值。

4.我們也可以看到，約84％的申請人有信用記錄，怎麼樣？Credit_History欄位的平均值為0.84（記住，Credit_History對於具有信用記錄的使用者而言為1，否則為0）

5.申請人收入分佈似乎符合預期。與CoapplicantIncome相同。

請註意，我們可以透過比較平均值與中位數來瞭解資料中可能的偏差。

對於非數值（例如Property_Area，Credit_History等），我們可以檢視頻率分佈來瞭解它們是否有意義。頻率表可以透過以下命令列印輸出：

df['Property_Area'].value_counts()

同樣，我們可以看看信用歷史的獨特價值。請註意，dfname [‘column_name’]是一種基本的索引方法來訪問dataframe的特定列。它也可以是一個列名的串列。

分佈分析

現在我們熟悉基本的資料特徵，我們來研究各種變數的分佈。從數字變數ApplicantIncome和LoanAmount開始。

首先使用以下命令繪製ApplicantIncome的直方圖：

df['ApplicantIncome'].hist(bins=50)

在這裡我們觀察到很少極端值。這也是為什麼需要50個箱子來明確分配分配的原因。

接下來，我們來看一下箱線圖來瞭解分佈。箱線圖可以透過以下方式繪製：

df.boxplot(column='ApplicantIncome')

這證實了許多異常值/極端值的存在。這可歸因於社會的收入差距。部分原因可能是由於我們研究了不同教育水平的人。透過教育變數將其分離開：

df.boxplot(column='ApplicantIncome', by = 'Education')

我們可以看到大學學歷和非大學學歷的平均收入之間沒有實質性差異。但是，高學歷中高收入人數更多，這似乎是離群值。

現在，我們來看看變數LoanAmount的直方圖和boxplot，使用以下命令：

df['LoanAmount'].hist(bins=50)
df.boxplot(column='LoanAmount')

再次，有一些離群值。顯然，ApplicantIncome和LoanAmount都需要一定量的資料清洗。 LoanAmount有缺失值和離群值，同時，ApplicantIncome有一些離群值，接下來我們將分幾個部分，做更深入的瞭解。

分類變數的分析

現在我們瞭解ApplicantIncome和LoanIncome的分佈，為了更詳細地理解分類變數，我們將使用Excel的透視表和交叉表。例如，我們來看根據信用記錄獲得貸款的機會，這可以在MS Excel中使用資料透視表來實現：

註意：這裡的貸款狀態重編碼了，1代表是，0代表否，平均值表示貸款的機率。

現在我們將看看使用Python生成類似洞察所需的步驟。

temp1 = df['Credit_History'].value_counts(ascending=True)

temp2=df.pivot_table(values='Loan_Status',index=['Credit_History'],aggfunc=lambda x: x.map({'Y':1,'N':0}).mean())

print 'Frequency Table for Credit History:'

print temp1

print '\nProbility of getting loan for each Credit History class:'

print temp2

現在可以看到，我們得到一個類似MS Excel一樣的透視表，這可以使用“matplotlib”庫，用以下程式碼畫條形圖：

import matplotlib.pyplot as plt

fig = plt.figure(figsize=(8,4))

ax1 = fig.add_subplot(121)

ax1.set_xlabel('Credit_History')

ax1.set_ylabel('Count of Applicants')

ax1.set_title("Applicants by Credit_History")

temp1.plot(kind='bar')

ax2 = fig.add_subplot(122)

temp2.plot(kind = 'bar')

ax2.set_xlabel('Credit_History')

ax2.set_ylabel('Probability of getting loan')

ax2.set_title("Probability of getting loan by credit history")

這表明如果申請人有有效的信用記錄，獲得貸款的機會是沒有有效信用記錄的8倍。你可以透過已婚，自僱，居住地區等繪製相似的圖表。

或者，這兩個圖也可以透過將它們組合在堆疊圖表中來進行視覺化：

temp3 = pd.crosstab(df['Credit_History'], df['Loan_Status'])

temp3.plot(kind='bar', stacked=True, color=['red','blue'], grid=False)

還可以新增性別（類似於Excel中的資料透視表）：

如果你還沒有意識到，我們在這裡建立了兩個基本的分類演演算法，一個基於信用記錄，另一個基於2分類變數（包括性別）。你可以快速編碼，以便在AV Datahacks上建立你的第一次提交版本。

我們看到如何在Python中使用pandas進行探索性資料分析，希望你對pandas（熊貓）的愛將會增加，pandas庫為你的資料集分析提供一些幫助。

接下來，我們進一步探討ApplicantIncome和LoanStatus變數，執行資料運算並建立一個資料集以應用各種建模技術。強烈建議再選擇一個資料集和問題，閱讀一個獨立的例子，然後再做進一步分析。

python資料清洗：Pandas

對於從事資料分析的人來說，下麵這些是你必須要做的。

資料清洗 – 重構資料

在資料探索時，為了構建一個好的模型，需要先解決掉資料集中發現了的一些問題。這個過程通常稱為“資料清洗”。針對以下問題，我們看到：

1.變數缺失值。我們應該根據缺失值的數量和變數的預期重要性明智地估計這些值。

2.在分析這些分佈的同時，我們看到變數ApplicantIncome和LoanAmount似乎都包含了離群值。雖然他們可能會有直觀的意義，但應該得到適當的處理。

除了這些數值型的資料問題之外，我們還應該關註非數值型資料，如性別、區域、已婚、教育程度和贍養人數，用以挖掘任何有用的資訊。

檢查資料集中的缺失值

一起看看所有變數中的缺失值，因為大多數模型不能使用含缺失值的資料，缺失值填補很重要。所以，我們檢查資料集中的null / NaN的數量。

 df.apply(lambda x: sum(x.isnull()),axis=0)

如果值為null則isnull（）傳回1，那麼該命令計算出每個列中缺失值的數量。

雖然缺失值數量不是很多，但是大多變數都有缺失值，需要估算並填補缺失值。

註意：缺失值可能並不總是NaN。例如，如果Loan_Amount_Term為0，那麼是否有意義，或者是否是缺失值？我想你的答案是缺失值，你是對的。所以我們應該檢查資料是否有實際意義。

如何填補LoanAmount中的缺失值？

有許多方法來填補貸款額度的缺失值，最簡單的是用均值替換，可以透過以下程式碼來完成：

 df['LoanAmount'].fillna(df['LoanAmount'].mean(), inplace=True)

另外也可以是建立一個監督學習模型，以其他變數如年齡等為基礎預測貸款額度。

既然現在是資料清洗的步驟，我寧願採取介於兩者之間的一種方法。一個關鍵的假設是，一個人教育程度或者個體經營戶與否，可以結合起來給出一個很好的貸款額度的估計。

首先，我們來看一下箱線圖，看看是否存在趨勢規律：

因此，我們看到每個組的貸款額中位數有一些變化，可以用來作估算值。但是，我們必須先確保Self_Employed和Education變數中的每一個都不應該有缺少值。

如前所述，Self_Eployee有一些缺失的值。看看頻率表：

大約86％的值為“No”，將缺失值估計為“No”是安全的，因為正確的機率會更高。可以使用以下程式碼完成：

df['Self_Employed'].fillna('No',inplace=True)

現在，我們將建立一個資料透視表，它提供了貸款額度中位數按Self_Eployed和Education交叉分組。接下來，我們定義一個函式，它傳回這些單元格的值並應用它來填補貸款金額的缺失值：

table = df.pivot_table(values='LoanAmount', index='Self_Employed' ,columns='Education', aggfunc=np.median)

# Define function to return value of this pivot_table

def fage(x):

 return table.loc[x['Self_Employed'],x['Education']]

# Replace missing values

df['LoanAmount'].fillna(df[df['LoanAmount'].isnull()].apply(fage, axis=1), inplace=True)

這樣為你提供一個很好的方式來估算貸款額度的缺失值。

如何處理LoanAmount和ApplicantIncome分佈中的極端值？

我們首先分析LoanAmount。 極端值可能有實際意義的，有些人可能因為特殊需要才申請高額貸款，所以不用把它們視為離群值，我們來嘗試用對數變換來消除它們的影響：

df['LoanAmount_log'] = np.log(df['LoanAmount'])

df['LoanAmount_log'].hist(bins=20)

再次檢視直方圖：

df['TotalIncome'] = df['ApplicantIncome'] + df['CoapplicantIncome']

df['TotalIncome_log'] = np.log(df['TotalIncome'])

df['LoanAmount_log'].hist(bins=20)

from sklearn.preprocessing import LabelEncoder

var_mod = ['Gender','Married','Dependents','Education','Self_Employed','Property_Area','Loan_Status']

le = LabelEncoder()

for i in var_mod:

    df[i] = le.fit_transform(df[i])

df.dtypes

#Import models from scikit learn module:

from sklearn.linear_model import LogisticRegression

from sklearn.cross_validation import KFold   #For K-fold cross validation

from sklearn.ensemble import RandomForestClassifier

from sklearn.tree import DecisionTreeClassifier, export_graphviz

from sklearn import metrics

#Generic function for making a classification model and accessing performance:

def classification_model(model, data, predictors, outcome):

  #Fit the model:

  model.fit(data[predictors],data[outcome])

  #Make predictions on training set:

  predictions = model.predict(data[predictors])

  #Print accuracy

  accuracy = metrics.accuracy_score(predictions,data[outcome])

  print "Accuracy : %s" % "{0:.3%}".format(accuracy)

  #Perform k-fold cross-validation with 5 folds

  kf = KFold(data.shape[0], n_folds=5)

  error = []

  for train, test in kf:

    # Filter training data

    train_predictors = (data[predictors].iloc[train,:])

    # The target we're using to train the algorithm.

    train_target = data[outcome].iloc[train]

    # Training the algorithm using the predictors and target.

    model.fit(train_predictors, train_target)

    #Record error from each cross-validation run

      error.append(model.score(data[predictors].iloc[test,:],data[outcome].iloc[test]))

  print "Cross-Validation Score : %s" % "{0:.3%}".format(np.mean(error))

  #Fit the model again so that it can be refered outside the function:

  model.fit(data[predictors],data[outcome])

outcome_var = 'Loan_Status'

model = LogisticRegression()

predictor_var = ['Credit_History']

classification_model(model, df,predictor_var,outcome_var)

#We can try different combination of variables:

predictor_var = ['Credit_History','Education','Married','Self_Employed','Property_Area']

classification_model(model, df,predictor_var,outcome_var)

model = DecisionTreeClassifier()

predictor_var = ['Credit_History','Gender','Married','Education']

classification_model(model, df,predictor_var,outcome_var)

#We can try different combination of variables:

predictor_var = ['Credit_History','Loan_Amount_Term','LoanAmount_log']

classification_model(model, df,predictor_var,outcome_var)

隨機森林的一個優點是我們可以將所有特徵放在一起，並傳回一個可用於選擇的特徵重要性矩陣。

model = RandomForestClassifier(n_estimators=100)

predictor_var = ['Gender', 'Married', 'Dependents', 'Education',

       'Self_Employed', 'Loan_Amount_Term', 'Credit_History', 'Property_Area',

        'LoanAmount_log','TotalIncome_log']

classification_model(model, df,predictor_var,outcome_var)

#Create a series with feature importances:

featimp = pd.Series(model.feature_importances_, index=predictor_var).sort_values(ascending=False)

print featimp

model = RandomForestClassifier(n_estimators=25, min_samples_split=25, max_depth=7, max_features=1)

predictor_var = ['TotalIncome_log','LoanAmount_log','Credit_History','Dependents','Property_Area']

classification_model(model, df,predictor_var,outcome_var)