從阿裡巴巴筆試試題看資料分析師的職業要求

以下試題是來自阿裡巴巴2011年招募實習生的一次筆試題，從筆試題的幾個要求我們一起來看看資料分析的職業要求。

一、異常值是指什麼？請列舉1種識別連續型變數異常值的方法？

異常值（Outlier） 是指樣本中的個別值，其數值明顯偏離所屬樣本的其餘觀測值。在數理統計裡一般是指一組觀測值中與平均值的偏差超過兩倍標準差的測定值。

Grubbs’ test（是以Frank E. Grubbs命名的），又叫maximum normed residual test，是一種用於單變數資料集異常值識別的統計檢測，它假定資料集來自正態分佈的總體。

未知總體標準差σ，在五種檢驗法中，優劣次序為：t檢驗法、格拉布斯檢驗法、峰度檢驗法、狄克遜檢驗法、偏度檢驗法。

點評：考察的內容是統計學基礎功底。

二、什麼是聚類分析？聚類演演算法有哪幾種？請選擇一種詳細描述其計算原理和步驟。

聚類分析(cluster analysis)是一組將研究物件分為相對同質的群組(clusters)的統計分析技術。 聚類分析也叫分類分析(classification analysis)或數值分類(numerical taxonomy)。聚類與分類的不同在於，聚類所要求劃分的類是未知的。

聚類分析計算方法主要有： 層次的方法（hierarchical method）、劃分方法（partitioning method）、基於密度的方法（density-based method）、基於網格的方法（grid-based method）、基於模型的方法（model-based method）等。其中，前兩種演演算法是利用統計學定義的距離進行度量。

k-means 演演算法的工作過程說明如下：首先從n個資料物件任意選擇 k 個物件作為初始聚類中心；而對於所剩下其它物件，則根據它們與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類；然 後再計算每個所獲新聚類的聚類中心（該聚類中所有物件的均值）；不斷重覆這一過程直到標準測度函式開始收斂為止。一般都採用均方差作為標準測度函式. k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。

其流程如下：

（1）從 n個資料物件任意選擇 k 個物件作為初始聚類中心；

（2）根據每個聚類物件的均值（中心物件），計算每個物件與這些中心物件的距離；並根據最小距離重新對相應物件進行劃分；

（3）重新計算每個（有變化）聚類的均值（中心物件）；

（4）迴圈（2）、（3）直到每個聚類不再發生變化為止（標準測量函式收斂）。

優點：本演演算法確定的K 個劃分到達平方誤差最小。當聚類是密集的，且類與類之間區別明顯時，效果較好。對於處理大資料集，這個演演算法是相對可伸縮和高效的，計算的複雜度為 O(NKt)，其中N是資料物件的數目，t是迭代的次數。一般來說，K<

缺點：1. K 是事先給定的，但非常難以選定；2. 初始聚類中心的選擇對聚類結果有較大的影響。

點評：考察的內容是常用資料分析方法，做資料分析一定要理解資料分析演演算法、應用場景、使用過程、以及優缺點。

三、根據要求寫出SQL

表A結構如下：

Member_ID（使用者的ID，字元型）

Log_time（使用者訪問頁面時間，日期型（只有一天的資料））

URL（訪問的頁面地址，字元型）

要求：提取出每個使用者訪問的第一個URL（按時間最早），形成一個新表（新表名為B，表結構和表A一致）

createtable B asselectMember_ID, min(Log_time), URL from Agroup byMember_ID ;

點評：SQL陳述句，簡單的資料獲取能力，包括表查詢、關聯、彙總、函式等。

另外，這個答案其實是不對的，實現有很多方法，任由大家去發揮吧。

四、銷售資料分析

以下是一家B2C電子商務網站的一週銷售資料，該網站主要使用者群是辦公室女性，銷售額主要集中在5種產品上，如果你是這家公司的分析師，

a) 從資料中，你看到了什麼問題？你覺得背後的原因是什麼？

b) 如果你的老闆要求你提出一個運營改進計劃，你會怎麼做？

表如下：一組每天某網站的銷售資料

a) 從這一週的資料可以看出，週末的銷售額明顯偏低。這其中的原因，可以從兩個角度來看：站在消費者的角度，週末可能不用上班，因而也沒有購買該產品的慾望；站在產品的角度來看，該產品不能在週末的時候引起消費者足夠的註意力。

b) 針對該問題背後的兩方面原因，我的運營改進計劃也分兩方面：一是，針對消費者週末沒有購買慾望的心理，進行引導提醒消費者週末就應該準備好該產品；二是，透過該產品的一些類似於打折促銷等活動來提升該產品在週末的人氣和購買力。

點評：資料解讀能力，獲取資料是基本功，僅僅有資料獲取能力是不夠的，其次是對資料的解讀能力。

五、使用者調研

某公司針對A、B、C三類客戶，提出了一種統一的改進計劃，用於提升客戶的周消費次數，需要你來制定一個事前試驗方案，來支援決策，請你思考下列問題：

a) 試驗需要為決策提供什麼樣的資訊？

c) 按照上述目的，請寫出你的資料抽樣方法、需要採集的資料指標項，以及你選擇的統計方法。

a) 試驗要能證明該改進計劃能顯著提升A、B、C三類客戶的周消費次數。

b) 根據三類客戶的數量，採用分層比例抽樣；

需要採集的資料指標項有：客戶類別，改進計劃前周消費次數，改進計劃後周消費次數；

選用統計方法為：分別針對A、B、C三類客戶，進行改進前和後的周消費次數的，兩獨立樣本T-檢驗（two-sample t-test）。

點評：業務理解能力和資料分析思路，這是資料分析的核心競爭力。

綜上所述：一個合格的資料分析應該具備統計學基礎知識、資料分析方法、資料獲取、資料解讀和業務理解、資料分析思想幾個方面能力，即將成為資料分析師的親們，你們準備好了嗎？

來源：PPV大資料