歡迎光臨
每天分享高質量文章

歐洲核子研究組織(CERN)是如何使用 Linux 和開源的 | Linux 中國

歐洲核子研究組織(簡稱 CERN)依靠開源技術處理大型強子對撞機生成的大量資料。ATLAS(超環面儀器,如圖所示)是一種探測基本粒子的通用探測器。
— Swapnil Bhartiya


致謝
編譯自 | 
https://www.linux.com/blog/2018/5/how-cern-using-linux-open-source
 
 作者 | Swapnil Bhartiya
 譯者 | jessie-pang ???共計翻譯:13 篇 貢獻時間:208 天

歐洲核子研究組織(簡稱 CERN)依靠開源技術處理大型強子對撞機生成的大量資料。ATLAS(超環面儀器,如圖所示)是一種探測基本粒子的通用探測器。

CERN[1] 無需過多介紹了吧。CERN 建立了全球資訊網World Wide Web(WWW)和大型強子對撞機Large Hadron Collider(LHC),這是世界上最大的粒子加速器particle accelerator,就是透過它發現了 希格斯玻色子Higgs boson[2]。負責該組織 IT 作業系統和基礎架構的 Tim Bell 表示,他的團隊的標的是“為全球 13000 名物理學家提供計算設施,以分析這些碰撞,瞭解宇宙的構成以及是如何運轉的。”

CERN 正在進行硬核科學研究,尤其是大型強子對撞機,它在執行時 生成大量資料[3]。“CERN 目前儲存大約 200 PB 的資料,當加速器執行時,每月有超過 10 PB 的資料產生。這必然會給計算基礎架構帶來極大的挑戰,包括儲存大量資料,以及能夠在合理的時間範圍內處理資料,對於網路、儲存技術和高效計算架構都是很大的壓力。“Bell 說到。

Tim Bell, CERN

大型強子對撞機的運作規模和它產生的資料量帶來了嚴峻的挑戰,但 CERN 對這些問題並不陌生。CERN 成立於 1954 年,已經 60 餘年了。“我們一直面臨著難以解決的計算能力挑戰,但我們一直在與開源社群合作解決這些問題。”Bell 說,“即使在 90 年代,當我們發明全球資訊網時,我們也希望與人們共享,使其能夠從 CERN 的研究中受益,開源是做這件事的再合適不過的工具了。”

使用 OpenStack 和 CentOS

時至今日,CERN 是 OpenStack 的深度使用者,而 Bell 則是 OpenStack 基金會的董事會成員之一。不過 CERN 比 OpenStack 出現的要早,多年來,他們一直在使用各種開源技術透過 Linux 伺服器提供服務。

“在過去的十年中,我們發現,與其自己解決問題,不如找到面臨類似挑戰的上游開源社群進行合作,然後我們一同為這些專案做出貢獻,而不是一切都由自己來創造和維護。“Bell 說。

一個很好的例子是 Linux 本身。CERN 曾經是 Red Hat Enterprise Linux 的客戶。其實,早在 2004 年,他們就與 Fermilab 合作一起建立了自己的 Linux 發行版,名為 Scientific Linux[4]。最終他們意識到,因為沒有修改核心,耗費時間建立自己的發行版是沒有意義的,所以他們遷移到了 CentOS 上。由於 CentOS 是一個完全開源和社群驅使的專案,CERN 可以與該專案合作,併為 CentOS 的構建和分發做出貢獻。

CERN 幫助 CentOS 提供基礎架構,他們還組織了 CentOS DoJo 活動(LCTT 譯者註:CentOS Dojo 是為期一日的活動,匯聚來自 CentOS 社群的人分享系統管理、最佳實踐及新興科技。),工程師可以匯聚在此共同改進 CentOS 的封裝。

除了 OpenStack 和 CentOS 之外,CERN 還是其他開源專案的深度使用者,包括用於配置管理的 Puppet、用於監控的 Grafana 和 InfluxDB,等等。

“我們與全球約 170 個實驗室合作。因此,每當我們發現一個開源專案的改進之處,其他實驗室便可以很容易地採納使用。”Bell 說,“與此同時,我們也向其他專案學習。當像 eBay 和 Rackspace 這樣大規模的裝機量提高瞭解決方案的可擴充套件性時,我們也從中受益,也可以擴大規模。“

解決現實問題

2012 年左右,CERN 正在研究如何為大型強子對撞機擴充套件計算能力,但難點是人員而不是技術。CERN 僱用的員工人數是固定的。“我們必須找到一種方法來擴充套件計算能力,而不需要大量額外的人來管理。”Bell 說,“OpenStack 為我們提供了一個自動的 API 驅動和軟體定義的基礎架構。”OpenStack 還幫助 CERN 檢查與服務交付相關的問題,然後使其自動化,而無需增加員工。

“我們目前在日內瓦和佈達佩斯的兩個資料中心執行大約 280000 個處理器核心和 7000 臺伺服器。我們正在使用軟體定義的基礎架構使一切自動化,這使我們能夠在保持員工數量不變的同時繼續新增更多的伺服器。“Bell 說。

隨著時間的推移,CERN 將面臨更大的挑戰。大型強子對撞機有一個到 2035 年的藍圖,包括一些重要的升級。“我們的加速器運轉三到四年,然後會用 18 個月或兩年的時間來升級基礎架構。在這維護期間我們會做一些計算能力的規劃。 ”Bell 說。CERN 還計劃升級高亮度大型強子對撞機,會允許更高光度的光束。與目前的 CERN 的規模相比,升級意味著計算需求需增加約 60 倍。

“根據摩爾定律,我們可能只能滿足需求的四分之一,因此我們必須找到相應的擴充套件計算能力和儲存基礎架構的方法,並找到自動化和解決方案,例如 OpenStack,將有助於此。”Bell 說。

“當我們開始使用大型強子對撞機並觀察我們如何提供計算能力時,很明顯我們無法將所有內容都放入 CERN 的資料中心,因此我們設計了一個分散式網格結構:位於中心的 CERN 和圍繞著它的級聯結構。”Bell 說,“全世界約有 12 個大型一級資料中心,然後是 150 所小型大學和實驗室。他們從大型強子對撞機的資料中收集樣本,以幫助物理學家理解和分析資料。”

這種結構意味著 CERN 正在進行國際合作,數百個國家正致力於分析這些資料。歸結為一個基本原則,即開源不僅僅是共享程式碼,還包括人們之間的協作、知識共享,以實現個人、組織或公司無法單獨實現的標的。這就是開源世界的希格斯玻色子。


via: https://www.linux.com/blog/2018/5/how-cern-using-linux-open-source

作者:SWAPNIL BHARTIYA [6] 譯者:jessie-pang 校對:wxy

本文由 LCTT 原創編譯,Linux中國 榮譽推出

贊(0)

分享創造快樂