使用 shell 構建多行程的 CommandlineFu 爬蟲 | Linux 中國

CommandlineFu[1] 是一個記錄指令碼片段的網站，每個片段都有對應的功能說明和對應的標簽。我想要做的就是嘗試用 shell 寫一個多行程的爬蟲把這些程式碼片段記錄在一個 org 檔案中。

引數定義

這個指令碼需要能夠透過 -n 引數指定併發的爬蟲數（預設為 CPU 核的數量），還要能透過 -f 指定儲存的 org 檔案路徑（預設輸出到 stdout）。

1. #!/usr/bin/env bash
3. proc_num=$(nproc)
4. store_file=/dev/stdout
5. while getopts :n:f: OPT; do
6. case $OPT in
7. n|+n)
8. proc_num="$OPTARG"
9. ;;
10. f|+f)
11. store_file="$OPTARG"
12. ;;
13. *)
14. echo "usage: ${0##*/} [+-n proc_num] [+-f org_file} [--]"
15. exit 2
16. esac
17. done
18. shift $(( OPTIND - 1 ))
19. OPTIND=1

解析命令瀏覽頁面

我們需要一個行程從 CommandlineFu 的瀏覽串列中抽取各個指令碼片段的 URL，這個行程將抽取出來的 URL 存放到一個佇列中，再由各個爬蟲行程從行程中讀取 URL 並從中抽取出對應的程式碼片段、描述說明和標簽資訊寫入 org 檔案中。

這裡就會遇到三個問題:

實現行程之間的通訊佇列

這個問題比較好解決，我們可以透過一個命名管道來實現：

1. queue=$(mktemp --dry-run)
2. mkfifo ${queue}
3. exec 99<>${queue}
4. trap "rm ${queue} 2>/dev/null" EXIT

從頁面中抽取想要的資訊

從頁面中提取元素內容主要有兩種方法：

這裡我們使用 html-xml-utils 工具來提取：

1. function extract_views_from_browse_page()
2. {
3. if [[ $# -eq 0 ]];then
4. local html=$(cat -)
5. else
6. local html="$*"
7. fi
8. echo ${html} |hxclean |hxselect -c -s "\n" "li.list-group-item > div:nth-child(1) > div:nth-child(1) > a:nth-child(1)::attr(href)"|sed 's@^@https://www.commandlinefu.com/@'
9. }
11. function extract_nextpage_from_browse_page()
12. {
13. if [[ $# -eq 0 ]];then
14. local html=$(cat -)
15. else
16. local html="$*"
17. fi
18. echo ${html} |hxclean |hxselect -s "\n" "li.list-group-item:nth-child(26) > a"|grep '>'|hxselect -c "::attr(href)"|sed 's@^@https://www.commandlinefu.com/@'
19. }

這裡需要註意的是：hxselect 對 HTML 解析時要求遵循嚴格的 XML 規範，因此在用 hxselect 解析之前需要先經過 hxclean 矯正。另外，為了防止 HTML 過大，超過引數串列長度，這裡允許透過管道的形式將  HTML 內容傳入。

迴圈讀取下一頁的瀏覽頁面，不斷抽取程式碼片段 URL 寫入佇列

這裡要解決的是上面提到的第三個問題: 多行程對管道進行讀寫時如何保障不出現亂序? 為此，我們需要在寫入檔案時對檔案加鎖，然後在寫完檔案後對檔案解鎖，在 shell 中我們可以使用 flock 來對檔案進行枷鎖。 關於 flock 的使用方法和註意事項，請參見另一篇博文 Linux shell flock 檔案鎖的用法及註意事項[4]。

由於需要在 flock 子行程中使用函式 extract_views_from_browse_page，因此需要先匯出該函式：

1. export -f extract_views_from_browse_page

由於網路問題，使用 curl 獲取內容可能失敗，需要重覆獲取：

1. function fetch()
2. {
3. local url="$1"
4. while ! curl -L ${url} 2>/dev/null;do
5. :
6. done
7. }

collector 用來從種子 URL 中抓取待爬的 URL，寫入管道檔案中，寫操作期間管道檔案同時作為鎖檔案：

1. function collector()
2. {
3. url="$*"
4. while [[ -n ${url} ]];do
5. echo "從$url中抽取"
6. html=$(fetch "${url}")
7. echo "${html}"|flock ${queue} -c "extract_views_from_browse_page >${queue}"
8. url=$(echo "${html}"|extract_nextpage_from_browse_page)
9. done
10. # 讓後面解析程式碼片段的爬蟲行程能夠正常退出，而不至於被阻塞.
11. for ((i=0;i<${proc_num};i++))
12. do
13. echo >${queue}
14. done
15. }

這裡要註意的是， 在找不到下一頁 URL 後，我們用一個 for 迴圈往佇列裡寫入了 =proc_num= 個空行，這一步的目的是讓後面解析程式碼片段的爬蟲行程能夠正常退出，而不至於被阻塞。

解析指令碼片段頁面

我們需要從指令碼片段的頁面中抽取標題、程式碼片段、描述說明以及標簽資訊，同時將這些內容按 org 樣式的格式寫入儲存檔案中。

1. function view_page_handler()
2. {
3. local url="$1"
4. local html="$(fetch "${url}")"
5. # headline
6. local headline="$(echo ${html} |hxclean |hxselect -c -s "\n" ".col-md-8 > h1:nth-child(1)")"
7. # command
8. local command="$(echo ${html} |hxclean |hxselect -c -s "\n" ".col-md-8 > div:nth-child(2) > span:nth-child(2)"|pandoc -f html -t org)"
9. # description
10. local description="$(echo ${html} |hxclean |hxselect -c -s "\n" ".col-md-8 > div.description"|pandoc -f html -t org)"
11. # tags
12. local tags="$(echo ${html} |hxclean |hxselect -c -s ":" ".functions > a")"
13. if [[ -n "${tags}" ]];then
14. tags=":${tags}"
15. fi
16. # build org content
17. cat <<EOF |flock -x ${store_file} tee -a ${store_file}
18. * ${headline} ${tags}
20. :PROPERTIES:
21. :URL: ${url}
22. :END:
24. ${description}
25. #+begin_src shell
26. ${command}
27. #+end_src
29. EOF
30. }

這裡抽取資訊的方法跟上面的類似，不過程式碼片段和描述說明中可能有一些 HTML 程式碼，因此透過 pandoc 將之轉換為 org 格式的內容。

註意最後輸出 org 樣式的格式並寫入儲存檔案中的程式碼不要寫成下麵這樣：

1. flock -x ${store_file} cat <<EOF >${store_file}
2. * ${headline}\t\t ${tags}
3. ${description}
4. #+begin_src shell
5. ${command}
6. #+end_src
7. EOF

它的意思是使用 flock 對 cat 命令進行加鎖，再把 flock 整個命令的結果透過重定向輸出到儲存檔案中，而重定向輸出的這個過程是沒有加鎖的。

spider 從管道檔案中讀取待抓取的 URL，然後實施真正的抓取動作。

1. function spider()
2. {
3. while :
4. do
5. if ! url=$(flock ${queue} -c 'read -t 1 -u 99 url && echo $url')
6. then
7. sleep 1
8. continue
9. fi
11. if [[ -z "$url" ]];then
12. break
13. fi
14. view_page_handler ${url}
15. done
16. }

這裡要註意的是，為了防止發生死鎖，從管道中讀取 URL 時設定了超時，當出現超時就意味著生產行程趕不上消費行程的消費速度,因此消費行程休眠一秒後再次檢查佇列中的 URL。

組合起來

1. collector "https://www.commandlinefu.com/commands/browse" &
3. for ((i=0;i<${proc_num};i++))
4. do
5. spider &
6. done
7. wait

抓取其他網站

透過重新定義 extract_views_from_browse_page、 extract_nextpage_from-browse_page、 view_page_handler 這幾個函式， 以及提供一個新的種子 URL，我們可以很容易將其改造成抓取其他網站的多行程爬蟲。

例如透過下麵這段程式碼，就可以用來爬取 xkcd[5] 上的漫畫：

1. function extract_views_from_browse_page()
2. {
3. if [[ $# -eq 0 ]];then
4. local html=$(cat -)
5. else
6. local html="$*"
7. fi
8. max=$(echo "${html}"|hxclean |hxselect -c -s "\n" "#middleContainer"|grep "Permanent link to this comic" |awk -F "/" '{print $4}')
9. seq 1 ${max}|sed 's@^@https://xkcd.com/@'
10. }
12. function extract_nextpage_from_browse_page()
13. {
14. echo ""
15. }
17. function view_page_handler()
18. {
19. local url="$1"
20. local html="$(fetch "${url}/")"
21. local image="https:$(echo ${html} |hxclean |hxselect -c -s "\n" "#comic > img:nth-child(1)::attr(src)")"
22. echo ${image}
23. wget ${image}
24. }
26. collector "https://xkcd.com/" &