做決定前別拍腦袋：兩個成功案例看懂A/B測試

你的假期已餘額不足

這些天你都幹嘛了？

宅在家裡吃吃喝喝？

去旅遊景點看人？

走親訪友接受靈魂拷問？

其實，你的假期可以不那麼無聊

這是一個靜下心來開啟深度閱讀的好機會

大資料（ID：hzdashuju）在長假期間

將推送6篇入門級科普，包括：

未來世界 | 健康生活 | 電動汽車

無人駕駛 | AI凜冬 | A/B測試

在豬年的最開頭

來一波高能充電！

今天是我們一起充電的第6天

作者：彭耀

如需轉載請聯絡大資料（ID：hzdashuju）

01 建立A/B測試

我們再來看一個故事。

二戰時英國空軍為了降低飛機的損失，決定給飛機的機身進行裝甲加固。由於當時條件所限，只能用裝甲加固飛機上的少數部位。他們對執行完轟炸任務返航的飛機進行仔細的觀察、分析、統計。發現大多數的彈孔，都集中在飛機的機翼上；只有少數彈孔位於駕駛艙。從資料上說，加固機翼的價效比最高。

但實際情況缺恰恰相反，駕駛艙才是最應加固的地方，因為駕駛艙被擊中的飛機幾乎都沒能飛回來。“發聲”的資料是最好獲取的，但如果沒把這些沉默的資料考慮進來，那麼這種資料分析是不靠譜的。所以除了資料的結果，還得嘗試解讀這些資料。而解讀資料就完全依賴人了。

人們在做出判斷的時候，經常只會看見一個區域性的點，而錯失了真相。大部分的產品認知，和這個故事所闡釋的幾乎一樣，就是人們看到了一點，就做出了一個新的判斷，而事實並不是這樣。

所以資料是一個系統工程，人們在採取行動之前，需要先進行測試。資料分析的方法，也是同樣的原理，資料分析實踐的四個關鍵步驟：

指標——>假設——>試驗——>行動

這和做學問的基本原理是一致的。透過打造A/B測試平臺，來驗證觀念。

A/B測試是為Web或App介面或流程製作兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組隨機的訪問這些版本，收集各群組的使用者體驗資料和業務資料，最後分析評估出最好版本正式採用。

▲使用者A/B測試

A/B測試的好處，主要如下：

1. 消除客戶體驗（UX）設計中不同意見的紛爭，根據實際效果確定最佳方案；

2. 透過對比試驗，找到問題的真正原因，提高產品設計和運營水平；

3. 建立資料驅動、持續不斷最佳化的閉環過程；

4. 透過A/B測試，降低新產品或新特性的釋出風險，為產品創新提供保障。

A/B測試的一般步驟如下：

步驟1：找出最佳化指標

要重點關註第一關鍵指標，要確定最佳化指標是留存率、轉化率、病毒性分享率，還是營收類指標等。這個指標的選擇尤其關鍵，不同指標的選擇會導致不同的行動。

步驟2：提出假設

這種假設，是來自運營，來自增長團隊的靈感。可能會是一次具體的推廣、一次價格的調整、一個操作的最佳化、一個介面按鈕的位置調整、一個圖片的修改、一個文案的推出、一個新功能的推出等。

步驟3：建立試驗

找出標的受眾，確定試驗內容與試驗標的，並且確切地瞭解到試驗的標的能夠幫助到他們，對他們是有價值的。

以MVP或者線上功能等方式分析試驗的結果。

步驟4：具體行動

當結果清晰以後，就知道試驗是不是成功的，如果成功就可以在更大的群體中使用。如果不成功，就繼續假設，繼續試驗。

02 A/B測試的兩個案例

我們來看一些具體的示例，看他們是如何建立自己的A/B測試。

1. Airbnb資料分析決策實踐的故事

2007年，住在美國舊金山的兩位設計師——Brian Chesky與Joe Gebbia正在為他們付不起房租而困擾。為了賺點外塊，他們計劃將閣樓出租出去。傳統的做法是在網站發帖子，但因為感覺在網站發帖子太冷冰冰了，所以就自己動手建了一個網站。

當時城裡正好舉辦一個設計展，周邊的旅館都被訂滿了。他們便很快搭建好了一個簡易的網站，開起了“家庭旅店”的生意。網站上包含地板上擺放的三張空氣床墊的照片，以及供應家庭自製早餐服務的承諾。很快他們獲得了3個租客，每位支付了80美金。

一週後，他們開始陸續收到世界各地人們的電子郵件，詢問何時能在世界其他熱門旅遊目的地享受這樣的服務，包括布宜諾斯艾利斯、倫敦、日本。於是他們將這一做法複製到其他大型集會，並允許人們透過信用卡線上支付。

在2008年民主黨全國集會期間，奧巴馬在科羅拉多州的丹佛發表十萬人演說。當時全市只有三萬餘個旅館房間，於是Airbnb適時地選擇再度在公眾面前高調曝光，一度獲得了極高的流量和關註，促使Airbnb快速發展。

但是，發展的過程中並沒有那麼順利。在2012年一次產品大會上，產品主管喬·扎德向大家講述了Airbnb的曲折歷程，尤其介紹了公司的專業攝影服務。在發展過程中，Airbnb就是根據資料分析實踐的四個環節來試驗的，尤其以攝影服務為代表。

主要包括如下四個步驟：

• 步驟1：找出最佳化指標

Airbnb 想最佳化的指標是房屋租賃天數。因為只有房屋租賃出去了，對於房東來說，才是最關鍵的事情。所以就要解決房屋預訂量問題。那到底要怎麼做呢？不知道。

2010年，Airbnb透過資料分析，看到紐約的房源量一直不斷增長，但是訂單量卻沒有增長。按正常應該是同比增長，為了找到原因，Airbnb創始人飛到紐約，去找房東一家家溝通，以便找到問題的關鍵所在。

經過交流之後發現，原來房東都是直接用手機來拍攝房子，而且不同人拍的效果也不同，有的比較好的漂亮房子拍出來的效果卻很一般，整體的房源照片都不是太好。

於是他推斷，這有可能是導致用戶不選擇入住的重要原因。因為現在使用者對於居住的要求越來越高，照片如果效果不好，使用者的居住意願就會降低。

• 步驟2：提出假設

根據實際觀察，發現熱門租住房屋的照片看起來更專業，常見的投訴是房子的照片和實際上不一樣，人們在看了照片之後就放棄了。

於是，就有了一個初步的假設，是不是圖片越好看，房子租得越好？更深入的一種假設，即“附有專業攝影照片的房源要更搶手”。這一假設出自Airbnb創始團隊的直覺，他們感覺專業攝影服務將有助於業務的開展。

不過，他們並沒有立即將想法付諸實踐，而是由主動來分析，以MVP的方式來驗證假設。

• 步驟3：實驗

最終方案是由Airbnb一家家去拍成漂亮圖片，並標準化尺寸，逐步批次上傳到網站上去。MVP最初的測試表明，附有專業攝影照片的房源所獲訂單數是市場平均值的2~3倍。這驗證了創始團隊最初的假設。

• 步驟4：行動

到了2011年下半年，Airbnb僱用了20名專業攝影師，以幫助平臺上的房主拍攝房屋照片。幾乎就在同一時間段，Airbnb的訂單量呈現出了我們常說的“曲棍球棒曲線”式的增長。

▲20人的攝影團隊加之房主的空閑房屋，訂單訪問量大增

結果是，一個月左右，訂單量翻了2倍。就這樣以紐約為範本，往各地複製，整個網站的訂單量都獲得了大幅提升。Airbnb培養了一支專業的攝影隊伍，為房源提供了專業漂亮的圖片，自此以後Airbnb獲得了快速發展。

▲Airbnb旅行中，像當地人一樣生活

七年之後，Airbnb享譽全球，其夜間租住的房間預定量甚至一舉超過了酒店巨頭希爾頓。

Airbnb的資料驅動文化，是提出假設，從假設開始演繹，獲得方案，並透過資料來驗證，以此來為決策提供依據。每一個決策都應該透過資料來驗證。

2. Pinterest的資料分析實踐

Pinterest是美國的一個圖片分享類社交網站，Pinterest（Pin+Interest）意為把自己感興趣的東西用圖釘釘在釘板（PinBoard）上，使用者可以按主題新增和管理自己的圖片收藏，並與好友分享，頁面底端自動載入無須翻頁，可讓使用者不斷發現新圖片。

Pinterest就是家庭婦女和歐美主婦的天堂，它是一家以興趣為基礎的社交網路，透過圖片牆Pinboard釋出圖片。Pinterest以圖片瀑布流展示圖片。2011被評為“美國最受歡迎的十大社交網路”，並以月增長45%的速度趕超Google+，成為了2011年美國社交網路中的一匹黑馬。

▲Pinterest手機端

作為一家資料驅動的公司，Pinterest非常依賴試驗來指導產品和功能迭代。Pinterest建立了一個支撐日均1000+次試驗的A/B測試平臺。隨時都有大約1000個試驗在進行，並且試驗的數量每天都在增加。

因為試驗數量和相應記錄資料的持續增加，為了讓試驗更加簡單方便，於是向工程師提供一個可靠易用的A/B測試平臺。 

測試平臺可以達到如下標的：

1. 透過初始設定建立試驗，建立假說，記錄驗證該假說的方法。

2. 將試驗披露給 Pinners ，增加新群組和禁用組，透過篩選器來最佳化使用者。

3. 結束試驗時，將程式碼提交給所有的 Pinners ，或者回滾程式碼並記錄試驗結果（根據試驗結果決定提交新程式碼或回滾）。

這個平臺非常方便業務和分析團隊快速做測試，幫助他們檢查規劃與假設，檢視關鍵結果，以及觸發邏輯，結果驗證等。