用Python爬蟲拉勾招聘，來看看2019市場行情

事情的起源是這樣的，某個風和日麗的下午… 習慣性的開啟知乎準備劃下水，看到一個問題剛好邀請回答

於是就萌生了採集下某招聘網站Python崗位招聘的資訊，看一下目前的薪水和崗位分佈，說乾就乾。

先說下資料採集過程中遇到的問題，首先請求頭是一定要偽裝的，否則第一步就會給你彈出你的請求太頻繁，請稍後再試，其次網站具有多重反爬策略，解決方案是每次先獲取session然後更新我們的session進行抓取，最後拿到了想要的資料。

Chrome瀏覽器右鍵檢查檢視network，找到連結https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false

可以看到傳回的資料正是頁面的Python招聘詳情，於是我直接開啟發現直接提示{"status":false,"msg":"您操作太頻繁,請稍後再訪問","clientIp":"124.77.161.207","state":2402}，機智的我察覺到事情並沒有那麼簡單

真正的較量才剛剛開始，我們先來分析下請求的報文，

可以看到請求是以post的方式傳遞的，同時傳遞了引數

datas = {
            'first': 'false',
            'pn': x,
            'kd': 'python',
        }

同時不難發現每次點選下一頁都會同時傳送一條get請求

經過探索，發現這個get請求和我們post請求是一致的，那麼問題就簡單許多，整理一下思路

關鍵詞：python
搜尋範圍：全國
資料時效：2019.05.05

#!/usr/bin/env python3.4
# encoding: utf-8
"""
Created on 19-5-05
@title: ''
@author: Xusl
"""
import json
import requests
import xlwt
import time


# 獲取儲存職位資訊的json物件，遍歷獲得公司名、福利待遇、工作地點、學歷要求、工作型別、釋出時間、職位名稱、薪資、工作年限
def get_json(url, datas):
    my_essay-headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
        "Referer": "https://www.lagou.com/jobs/list_Python?city=%E5%85%A8%E5%9B%BD&cl;=false&fromSearch;=true&labelWords;=&suginput;=",
        "Content-Type": "application/x-www-form-urlencoded;charset = UTF-8"
    }
    time.sleep(5)
    ses = requests.session()    # 獲取session
    ses.essay-headers.update(my_essay-headers)  # 更新
    ses.get("https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl;=false&fromSearch;=true&labelWords;=&suginput;=")
    content = ses.post(url=url, data=datas)
    result = content.json()
    info = result['content']['positionResult']['result']
    info_list = []
    for job in info:
        information = []
        information.append(job['positionId'])  # 崗位對應ID
        information.append(job['city'])  # 崗位對應城市
        information.append(job['companyFullName'])  # 公司全名
        information.append(job['companyLabelList'])  # 福利待遇
        information.append(job['district'])  # 工作地點
        information.append(job['education'])  # 學歷要求
        information.append(job['firstType'])  # 工作型別
        information.append(job['formatCreateTime'])  # 釋出時間
        information.append(job['positionName'])  # 職位名稱
        information.append(job['salary'])  # 薪資
        information.append(job['workYear'])  # 工作年限
        info_list.append(information)
        # 將串列物件進行json格式的編碼轉換,其中indent引數設定縮排值為2
        # print(json.dumps(info_list, ensure_ascii=False, indent=2))
    # print(info_list)
    return info_list


def main():
    page = int(input('請輸入你要抓取的頁碼總數：'))
    # kd = input('請輸入你要抓取的職位關鍵字：')
    # city = input('請輸入你要抓取的城市：')

    info_result = []
    title = ['崗位id', '城市', '公司全名', '福利待遇', '工作地點', '學歷要求', '工作型別', '釋出時間', '職位名稱', '薪資', '工作年限']
    info_result.append(title)
    for x in range(1, page+1):
        url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
        datas = {
            'first': 'false',
            'pn': x,
            'kd': 'python',
        }
        try:
            info = get_json(url, datas)
            info_result = info_result + info
            print("第%s頁正常採集" % x)
        except Exception as msg:
            print("第%s頁出現問題" % x)
        
        # 建立workbook,即excel
        workbook = xlwt.Workbook(encoding='utf-8')
        # 建立表,第二引數用於確認同一個cell單元是否可以重設值
        worksheet = workbook.add_sheet('lagouzp', cell_overwrite_ok=True)
        for i, row in enumerate(info_result):
            # print(row)
            for j, col in enumerate(row):
                # print(col)
                worksheet.write(i, j, col)
        workbook.save('lagouzp.xls')


if __name__ == '__main__':
    main()

當然儲存於excel當然是不夠的，之前一直用matplotlib做資料視覺化，這次換個新東西pyecharts。

就業寒冬來臨，我們需要的是理性客觀的看待，而不是盲目地悲觀或樂觀。從以上資料分析，如果愛好Python，仍舊可以入坑，不過要註意一個標簽有工作經驗，就算沒有工作經驗，自己在學習Python的過程中一定要嘗試獨立去做一個完整的專案，爬蟲也好，資料分析也好，亦或者是開發，都要嘗試獨立去做一套系統，在這個過程中培養自己思考和解決問題的能力。持續不斷的學習，才是對自己未來最好的投資，也是度過寒冬最正確的姿勢。