咱們今天就爬取某國的國粹愛情動作電影系列
準備好了,就上車了呀
滴~學生卡~
開發環境: python3.6.1+window64+idea14
使用到的第三方庫:
pymysql xlrd xlwt xlutils beautifulsoup requests
-
宣告一個爬蟲類Crawer,requests負責抓取標的網頁資訊
-
獲取到標的資訊後,使用beautifulsoup解析
-
判斷新增到資料庫
現在寫requests爬取資料:
我們把儲存資料的操作寫了,最後再把涉及到html解析的部分補上來。。
最後就到獲取到的html解析過程了:
使用谷歌瀏覽器F12-右鍵標的html程式碼-copy-選擇copy selector,會得到標的程式碼的html相對位置資訊
body > div:nth-child(10) > div > ul > li:nth-child(1) > li
根據這些資料來進行beautifulsoup定位
okay,寫完,我是不會告訴你們網址的。。。
作者:MarcoHorse
源自:
https://www.jianshu.com/p/b39e58dbde46
宣告:文章著作權歸作者所有,如有侵權,請聯絡小編刪除