2017年排名Top 100的Java類庫——在分析了259,885份原始碼之後得出的結論

文章開通我們提及過，今年我們使用Google的BigQuery來處理資料。我們透過GitHub提供的API拉取了1000份倉庫程式碼。在過濾掉Android、Arduino和一些過時的倉庫後，我們還剩餘259,885份Java源檔案。我們對同一個倉庫中使用的類庫進行去重後，還剩餘25,788份類庫。

我們實際是怎麼做的呢？

首先，我們建立一個倉庫表，用來儲存star數排名靠前的哪些類庫，命名為java_top_repos_filtered：

SELECT
  full_name
FROM
  java_top_repos_1000
WHERE NOT ((LOWER(full_name) CONTAINS 'android') OR
           (LOWER(full_name) CONTAINS 'arduino'))
      AND ((description IS null) OR
           (NOT ((LOWER(description) CONTAINS 'android') OR
                 (LOWER(description) CONTAINS 'arduino') OR
                 (LOWER(description) CONTAINS 'deprecated'))));

現在，我們有了排名靠前的類庫的名字，然後我們把他們都拉取下來：

SELECT
  repo_name,
  content
FROM
  [bigquery-public-data:github_repos.contents] AS contents
INNER JOIN
(
  SELECT
    id,
    repo_name
  FROM
    [bigquery-public-data:github_repos.files] AS files
  INNER JOIN
    java_top_repos_filtered AS top_repos
  ON
    files.repo_name = top_repos.full_name
  WHERE
    path LIKE '%.java'
) AS files_filtered
ON
  contents.id = files_filtered.id;

至此，我們有了每個專案的原始碼，我們就要把去重後的import的陳述句過濾出來，然後在提取包名稱。

SELECT
  package,
  COUNT(*) count
FROM
( //extract package name (exclude last point of data) and group with repo name (to count each package once per repo)
  SELECT
    REGEXP_EXTRACT(import_line, r' ([a-z0-9\._]*)\.') package,
    repo_name
  FROM
  ( //extract only 'import' code lines from *.java files
    SELECT
      SPLIT(content, '\n') import_line,
      repo_name
    FROM
      java_relevant_data
    HAVING
      LEFT(import_line, 6) = 'import'
  )
  GROUP BY
    package,
    repo_name
)
GROUP BY
  package
ORDER BY
  count DESC;

最後，我們再進行一次過濾，確保沒有Android, Arduino、過時的或者Java提供的原生的類庫。

SELECT
  *
FROM
  java_top_package_count
WHERE
  NOT ((LEFT(package, 5) = 'java.') OR
       (LOWER(package) CONTAINS 'android'))
ORDER BY
  count DESC;

至此，你就得到了一份2017年排名Top 100的Java類庫的串列了。