分享主題:TalkingData的Spark On Kubernetes實踐
分享人介紹:徐蓓,TalkingData雲端計算架構師,負責雲端計算、OpenStack、Kubernetes和容器平臺的研發與架構。曾在HP、Face++等公司任職,從事雲端計算研發5年有餘。同時也是OpenStack與Kubernetes的contributor。崇尚工程師文化,以目的為導向,致力於推動技術落地與實踐。
分享摘要:眾所周知,Spark作為快速、通用的資料處理引擎,已經成為大資料計算的事實標準。 而計算作業的資源分配和排程是Spark叢集的重中之重。在TalkingData的計算資源平臺化過程中,我們使用Kubernetes作為Spark的資源排程管理,利用Kubernetes的原生排程、資源配額、Namespace和Admission Controller,為使用者提供了可租戶隔離、動態伸縮和即拿即用的大資料計算平臺。
主要內容:
-
如何部署可用於生產的Kubernetes叢集
-
Spark與Kubernetes整合
-
如何實現租戶與資源隔離
-
Spark On Kubernetes待解決的問題
分享群:DockOne技術交流微信群
DockOne每週都會組織定向的技術分享,歡迎感興趣的同學加微信:liyingjiesa,或者掃描下方二維碼加群主微信,進群參與分享,進群暗號『加群』。如果已經在DockOne技術交流群那等待晚上的分享即可。