Google推出資料集搜尋！百度，你怎麼看？

作者：非主流

來源：AI科技大本營（ID：rgznai100）

網址：

https://toolbox.google.com/datasetsearch

為什麼說這款產品如此重要？因為資料從未如此重要。由於深度學習的興起，AI 研究員需要大量的資料來訓練他們的模型，吳恩達就曾表示，深度學習像火箭，計算是引擎，資料是燃料。有時候，資料可能比演演算法更重要。

然而，資料集和相關資料往往分佈在網上的多個資料儲存區中。在大多數情況下，搜尋引擎既無法提供這些資料庫相關資訊的連結，也不會將這些資訊編入索引，這會導致資料尋找變得無比繁瑣，或者在某些情況下無法實現。

一些掌握了大量資料的網際網路公司也因此擁有很大的優勢，而高校的學者除了一些公開的知名資料集，想要擁有大量的資料則非常困難，因此 Google 的這款產品可謂是及時雨。當然，其他需要各種資料的工作者也能從中受益。

Google Dataset Search 為使用者提供了能夠同時搜尋多個儲存區的單個介面，希望藉此改變使用者釋出和運用資料的方式。

現在，就讓我們來一起看下這款搜尋工具。

與 Google Scholar 類似，Google Dataset Search 可方便使用者查詢託管在任何位置的資料集，無論是出版網站、數字圖書館還是作者的個人網頁。

為了建立 Dataset Search，Google 還為資料集提供方制定了一套資料指南（https://developers.google.com/search/docs/data-types/dataset）。這些指南包括有關資料集的重要資訊：資料集的作者，釋出時間，資料收集方式，使用資料的條款等等。然後，Google 收集並連結這些資訊，分析同一資料集的不同版本可能在哪裡，並找到可能描述或討論這一資料集的出版物。

Google 的指南是基於一個資料集的開放標準（schema.org），任何釋出資料的人都可以透過這種方式描述他們的資料集。

在這個新版本中，使用者可以找到很多環境和社會科學相關的資料集，以及其他學科的資料，包括政府資料和新聞機構提供的資料，如 ProPublica。隨著越來越多的資料倉庫使用 schema.org 標準來描述他們的資料集，Google Dataset Search 能夠搜尋到的資料集的種類和改寫面將持續增長。

目前 Google Dataset Search 已經支援多種語言，筆者嘗試了下，除了英文，還支援中文。

我們先嘗試下英文搜尋，如果你想分析天氣記錄，那麼就可以在 Google Dataset Search 的輸入欄裡嘗試輸入“daily weather”，結果如下圖所示：

可以看到，左邊欄呈現的是各種資料源，右邊則是相應的介紹，包括資料集的名稱、下載連結、更新日期、提供者、說明等等，非常清晰。

現在，我們來嘗試下中文，在搜尋欄輸入“房價”，第一條就是中國房價的資料集，該資料集由 CEIC 提供，涵蓋的時間段從 2017年7月1日  — 2018 年 6 月 1 日，算是非常新的資料了。

開啟該資料集的連結，嗯，是個收費網站。不過，花錢能解決的事，總比毫無頭緒來得好。

Dataset Search 的釋出凸顯了 Google 對資料集的重視。最近，Google 也對自家的 Google Search 也進行了改進，使得使用者搜尋結果中發現表格資料變得更加容易，不過該計劃更側重於新聞機構和資料記者，而 Dataset Search 的受眾則更加廣泛。

Google 表示，這個專案能夠帶來下列好處：

1. 形成資料共享生態系統，鼓勵資料釋出者依照最佳做法來儲存和釋出資料；

2. 為科學家提供相應平臺，方便大眾取用他們建立的資料集，展現他們的研究成果所帶來的影響力。

當然，Google Dataset Search 的搜尋質量取決於資料釋出者，因此，如果大家都用開放標準來描述自己的資料，那麼搜尋結果肯定會越來越好。

Google Dataset Search 目前仍處於測試階段，雖然支援中文搜尋，但中國大陸的使用者想要使用依然需要“梯子”，不過這麼好的工具，錯過豈不可惜！

針對 Google Scholar，2014 年 6 月百度上線了“百度學術”，不過大家似乎仍對 Google Scholar 情有獨鐘。這次，百度怎麼看？