需求背景：
最近誤入一個免費（daoban）資源的分享群（正經臉），群裡每天都在刷資源連結。但是大家都知道，百度雲的分享連結是很容易被河蟹的，群裡除了分享連結外，就是各種抱怨 “怎麼又失效了”，“又河蟹了…”。本著學習技術的初心，於是我就開始研究怎樣自動爬取微信群的訊息並自動轉存到自己的雲盤。

需求：
1、爬取微信群裡的百度雲分享連結
2、將資源轉存到自己的網盤

涉及：
1、正則運算式
2、如何分析cookie和api
3、selenium（webdriver）

本篇文章目錄：
1.、爬取微信群聊資訊裡的網盤資源
2、尋找並分析百度雲的轉存api
3、爬取shareid、from、filelist，傳送請求轉存到網盤
4、完整程式碼
5、參考

爬取微信群聊資訊裡的網盤資源

爬取微信群聊資訊可以用微信網頁版的api，這裡推薦一個高度封裝，使用簡單的工具：wxpy: 用 Python 玩微信

這是個不錯的工具，可以實現網頁版微信的所有功能，之前博主利用它還實現了機器人聊天功能，自己的個人賬號華麗轉變 微軟小冰 。雖然微軟還沒有公開小冰的 api ，不過我們完全可以利用這個工具的轉發功能來實現，思路很簡單，微信上領養一個小冰，把別人說的話轉發給小冰，再把小冰說的話轉發回去。

扯遠了，總之利用這個工具，就可以對微信群聊裡的資訊進行監聽，接著就是利用正則運算式把網盤連結抓取出來。具體的程式碼我就不貼了，使用起來很簡單。

尋找並分析百度雲的轉存api

這個部分才是我們的重點，首先你得有一個百度雲盤的賬號，然後登入，用瀏覽器（這裡用火狐瀏覽器做示範）開啟一個分享連結。F12開啟控制檯進行抓包。手動進行轉存操作：全選檔案->儲存到網盤->選擇路徑->確定。點選【確定】前建議先清空一下抓包記錄，這樣可以精確定位到轉存的api，這就是我們中學時學到的【控制變數法】2333。

可以看到上圖中抓到了一個帶有 “transfer” 單詞的 post 請求，這就是我們要找的轉存（transfer）api 。接下來很關鍵，就是分析它的請求頭和請求引數，以便用程式碼模擬。

https://pan.baidu.com/share/transfer?shareid=3927175953&from;=140959320&ondup;=newcopy&async;=1&bdstoken;=xxx&channel;=chunlei&clienttype;=0&web;=1&app;_id=250528&logid;=xxx

點選它，再點選右邊的【Cookies】就可以看到請求頭裡的 cookie 情況。

cookie分析：
因為轉存是登入後的操作，所以需要模擬登入狀態，將與登入有關的 cookie 設定在請求頭裡。我們繼續使用【控制變數法】，先將瀏覽器裡關於百度的 cookie 全部刪除（在右上角的設定裡面，點選【隱私】，移除cookies。具體做法自己百度吧。）

然後登入，右上角進入瀏覽器設定->隱私->移除cookie，搜尋 “bai” 觀察 cookie 。這是所有跟百度相關的 cookie ，一個個刪除，刪一個掃清一次百度的頁面，直到刪除了 BDUSS ，掃清後登入退出了，所以得出結論，它就是與登入狀態有關的 cookie 。

同理，刪除掉 STOKEN 後，進行轉存操作會提示重新登入。所以，這兩個就是轉存操作所必須帶上的 cookie 。

弄清楚了 cookie 的情況，可以像下麵這樣構造請求頭。

def __init__(self,bduss,stoken,bdstoken):
        self.bdstoken = bdstoken
        self.essay-headers = {
            'Accept': '*/*',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Connection': 'keep-alive',
            'Content-Length': '161',
            'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
            'Cookie': 'BDUSS=%s;STOKEN=%s;' % (bduss, stoken),
            'Host': 'pan.baidu.com',
            'Origin': 'https://pan.baidu.com',
            'Referer': 'https://pan.baidu.com/s/1dFKSuRn?errno=0&errmsg;=Auth%20Login%20Sucess&&bduss;=&ssnerror;=0',           
            'User-Agent': self.pro.get_user_agent(),# 作為應對反爬蟲機制的策略，這是博主寫的一個隨機抽取user_agent的方法，你也可以自己到網上去搜集一些，寫一個隨機方法。
            'X-Requested-With': 'XMLHttpRequest',
        }

除了上面說到的兩個 cookie ，其他的請求頭引數可以參照手動轉存時抓包的請求頭。這兩個 cookie 預留出來做引數的原因是 cookie 都是有生存週期的，過期了需要更新，不同的賬號登入也有不同的 cookie 。

引數分析：
接下來分析引數，點選【Cookies】右邊的【Params】檢視引數情況。如下：

上面的query string（也就是？後跟的引數）裡，除了框起來的shareid、from、bdstoken需要我們填寫以外，其他的都可以不變，模擬請求的時候直接抄下來。

前兩個與分享的資源有關，bdstoken與登入的賬號有關。下麵的form data裡的兩個引數分別是資源在分享使用者的網盤的所在目錄和剛剛我們點選儲存指定的目錄。

所以，需要我們另外填寫的引數為：shareid、from、bdstoken、filelist 和 path，bdstoken 可以手動轉存抓包找到，path 根據你的需要自己定義，前提是你的網盤裡有這個路徑。其他三個需要從分享連結裡爬取，這個將在後面的【爬取shareid、from、filelist，傳送請求轉存到網盤】部分中進行講解。

搞清楚了引數的問題，可以像下麵這樣構造轉存請求的 url 。

def transfer(self,share_id,uk,filelist_str,path_t_save):# 需要填寫的引數，分別對應上圖的shareid、from、filelist 和 path
        # 通用引數
        ondup = "newcopy"
        async = "1"
        channel = "chunlei"
        clienttype = "0"
        web = "1"
        app_id = "250528"
        logid = "你的logid"

        url_trans = "https://pan.baidu.com/share/transfer?shareid=%s" \
                    "&from;=%s" \
                    "&ondup;=%s" \
                    "&async;=%s" \
                    "&bdstoken;=%s" \
                    "&channel;=%s" \
                    "&clienttype;=%s" \
                    "&web;=%s" \
                    "&app;_id=%s" \
                    "&logid;=%s" % (share_id, uk, ondup, async, self.bdstoken, channel, clienttype, web, app_id, logid)

        form_data = {
            'filelist': filelist_str,
            'path': path_t_save,
        }

        proxies = {'http': self.pro.get_ip(0, 30, u'國內')}# 為了應對反爬蟲機制，這裡用了代理，稍後做解釋

        response = requests.post(url_trans, data=form_data, proxies = proxies,essay-headers=self.essay-headers)
        print response.content

        jsob = json.loads(response.content)

        if "errno" in jsob:
            return jsob["errno"]
        else:
            return None

爬取shareid、from、filelist，傳送請求轉存到網盤

https://pan.baidu.com/s/1jImSOXg

以上面這個資源連結為例（隨時可能被河蟹，但是沒關係，其他連結的結構也是一樣的），我們先用瀏覽器手動訪問，F12 開啟控制檯先分析一下原始碼，看看我們要的資源資訊在什麼地方。控制檯有搜尋功能，直接搜 “shareid”。

定位到4個shareid，前三個與該資源無關，是其他分享資源，最後一個定位到該 html 檔案的最後一個