職業爬蟲之道——選擇比努力更重要

最近幾年隨著人工智慧和大資料的火爆，Python 這門語言也逐漸進入主流視野。如果說 2014 到 2017 是移動開發的天下，那麼現在可以說是人工智慧和大資料的時代。程式設計行業就是如此，技術日新月異，學習上稍有懈怠就會跟不上這個時代。但要記住選擇比努力更加重要。

選擇比努力重要

在我還在上大學的時候，如果你想當一名程式員，未來以程式設計為職業，首選的方向就是移動程式設計，移動程式設計即 Android 和 iOS 兩大手機作業系統。但 iOS 開發需要 mac 系統環境，所以你需要買臺 mac 電腦。而一臺好點的 mac 電腦都要 1W 以上，這對於大多數人來說成本太高了。

相反的 Android 開發，你一臺 2，3K 的電腦就可以進行開發。所以 Android 開發就成了當時超級火爆的方向，火爆的程度就如同當今的人工智慧一樣。那時候我首選方向也是 Android 開發。最開始學的時候技術還非常的菜，Android 開發環境我硬是折騰了一週的時間。又是看技術書籍，又是跟著影片敲程式碼。但我總是學了就忘，一點程式碼都編寫不出來。

而那時候的我對於如何學程式設計又沒有什麼好的辦法，我就用最笨最費時間和精力的辦法，即我把看過的技術文或者部落格，自己一個字一個字的敲打一遍，這個笨方法我還用了有 3 個月的時間。在認真學了一年之後，自己覺得可以出師找工作之時，才發現移動江湖早已物是人非。

曾經你只要會在手機上寫個 hello world 的 app，就可以找到工作。而在 2017 之後你不僅要會 MVC、MVVM 各種樣式，還要求看過各種原始碼。曾經各大公司搶著要移動開發的人才，而如今很多公司早已沒有移動開發類的招聘資訊。

好不容易學了一年多的移動程式設計，到了最後才發現對於我這樣的初級移動開發者來說，根本就找不到任何的工作機會。我過去一年所有的努力，連一個最基礎的崗位都勝任不了，市場根本就沒有初級的機會。

這時候時間已經來到我大三下學期，馬上面臨著畢業。如果我還是繼續學移動開發，我即將面臨的就是畢業即失業。

很多時候不是大家不夠努力，只是大家努力錯了方向。就像當初我學移動開發一樣，最初選錯了方向，到了最後一切都是白費。但還好我及時發現，那時候 Python 慢慢有火起來的苗頭，我也及時把握住了機會，馬上調整自己的心態重新選擇 Python 做為我未來職業發展道路。

我的爬蟲之道

Python 這門語言非常好上手，如果你有一點程式設計基礎一週就可以把 Python 用的得心應手。但如果你是零基礎，學習一個月也能把 Python 所有的基礎知識都掌握。而 Python 最容易就業的方向就是爬蟲方向。

為什麼說爬蟲是 Python 最容易就業的？

一 市場需求大

市場對於資料的需求非常的旺盛，除了一些大廠能自己收集資料，其他的公司想要獲取一些資料，都是靠爬蟲去爬取。

二 爬蟲易上手

爬蟲的技術並不是非常的複雜，你只要有一定的 Python 基礎，然後再認真把爬蟲的技術學上 3 個月的時間，就可以勝任爬蟲的崗位。爬蟲這門技術我學習的時間非常的短，也不過就 3 個月的時間。

我也很幸運抓住了這波 Python 的紅利，我在學了爬蟲技術不過 3 個月的時間裡，就在上海找到一份爬蟲開發的工作。工資雖然不是非常的高，但至少讓我能夠在上海立足發展，我也很喜歡爬蟲這份工作。

但當一份興趣成為你的職業的時候，你才會發現原來想要做好是有多麼困難。

在我成為職業爬蟲師之後，工作上第一份工作就是寫個瀏覽器外掛爬蟲。

WTF！什麼？瀏覽器外掛也可以做爬蟲？我當時腦海裡第一反應就是懵逼，這叫我怎麼做。但這又是老闆給我佈置的第一個任務，我不可能說我不會做，我只好硬著頭去一點點的去摸索。

職業爬蟲師或者說職業程式設計者，學習能力一定是最重要的能力之一。因為工作上會遇到非常多你不熟悉的領域，就比如瀏覽器外掛爬蟲。瀏覽器外掛完全是用前端的語言來程式設計，這就需要你懂得 html、js、css 程式碼。你說你只會 Python 不會這些？對不起，那你只好走人。但還好爬蟲的一些邏輯是通用的，我在藉助谷歌摸爬滾打最後也寫了出來。

職業爬蟲師

職業爬蟲師日常的工作肯定是幫公司獲取各種各樣的資料，維護已有的爬蟲程式碼，讓爬蟲每天都可以抓取到公司所需的資料。但職業爬蟲與平時編寫的爬蟲有著本質的區別。

平常練習編寫的爬蟲，抓不到資料，可能你折騰了幾個小時就放棄了。但真正工作上，不管你用什麼辦法，老闆最後一定要看到資料。平常編寫的爬蟲，可能最多就 100 行程式碼。但職業爬蟲程式，一個解析函式裡的 xpath 陳述句就要寫上上千行的程式碼。我就是那個用了一天的時間寫了上千行 xpath 陳述句的人，差點沒被 xpath 給寫趴下。

平常編寫的爬蟲被封了就被封了，大不了換個網站爬。但職業爬蟲一個賬號有可能註冊就要幾千、幾萬快，被封了經濟損失非常大，可能就是因為這一個賬號，你一個月的工資就沒有了，還少不了老闆一頓大罵。所以老闆明確跟你說寫這個爬蟲，要求是一個永不被封的爬蟲，但還要抓到很多資料。我的內心：***

而這些不過是我成為職業爬蟲師 3 個月所經歷的事。

爬蟲技術五花八門，市面上比比皆是，但是真正能做到極致的寥寥無幾，特別是能達到商業爬蟲級別的幾乎沒有。

所謂商業級別，短平快地解釋就是：隨心所欲，想爬誰就爬誰！

現在好多網站都有反爬策略，例如IP限制、訪問頻次限定、User-Agent驗證、資料加密、驗證碼限制、登入限制等。碰到這些情況，一般的爬蟲就會束手無策，黔驢技窮。

回想我最初學習 Python 爬蟲到現在，一路上也是經歷了許多彎路和誤區，下麵總結一下我學習 Python 爬蟲的幾點經驗供大家分享（第7條是重點）。

1、學習Python基礎

2、初識Python資料分析

3、初學Python網路爬蟲

4、研讀《從零開始學Python網路爬蟲》，系統學習爬蟲

5、初識機器學習，研讀《機器學習Python實踐》

6、研讀《利用Python進行資料分析》

7、研究廖雪峰大佬的部落格、官網、學習教程等

說到 Python 學習，首推 大牛Python 教父廖雪峰 的教程！

鑒於此，暢銷書《Spring 2.0核心技術與最佳實踐》作者，Python教父-廖雪峰 老師團隊官方出了一版爬蟲課程，幫你成為IT江湖中的Python爬蟲高手！

另外文末可免費領取廖雪峰老師總結的Python教程（前300名免費贈送）。

廖雪峰老師 ：曾任職西門子、摩托羅拉、火幣網等知名公司高階技術專家；其官方部落格是很多技術人常用的參考教程，日訪問量達5萬+。

之前咱們在廖神部落格看到的都是文字版的Python教程，這次不一樣，直接開課，有影片、有筆記、有案例實戰！！！

話不多說看內容：

這個爬蟲課程包含13個專案案例實戰，不僅教會你最專業的商業爬蟲，還教會你怎麼反爬蟲，更會教會你怎麼破解反爬蟲。

所有的一切都只有一個目的：讓天下沒有爬不到的資料！

掃描下麵二維碼，新增小助理的微信即可免費領取廖雪峰老師總結的Python教程，有想瞭解專業商業爬蟲課程的諮詢小助理有驚喜。由於透過之後會逐個傳送資源，精力有限，僅免費贈送300名，先到先得！

友情提示：這套影片由廖雪峰老師傾力打造，不僅有理論，更包含了廖雪峰老師多年開發經驗總結的案例講解，希望你領到資料之後能認真學習！