分享主題:Hulu大規模容器排程系統Capos
分享摘要:Hulu是美國領先的網際網路專業影片服務平臺,目前在美國擁有超過2000萬付費使用者。Hulu總部位於美國洛杉磯,北京辦公室是僅次於總部的第二大研發中心,也是從Hulu成立伊始就具有重要戰略地位的分支辦公室,獨立負責播放器開發,搜尋和推薦,廣告精準投放,大規模使用者資料處理,影片內容基因分析,人臉識別,影片編解碼等核心專案。在影片領域我們有大量的影片轉碼任務;在廣告領域當我們需要驗證一個投放演演算法的效果時,我們需要為每種新的演演算法執行一個模擬的廣告系統來產出投放效果對比驗證;在AI領域我們需要對影片提取幀,利用一些訓練框架產出模型用於線上服務。這一切都需要執行在一個計算平臺上,Capos是Hulu內部的一個大規模分散式任務排程和執行平臺。
主要內容:
-
Capos系統模組設計
-
Capos使用方式以及作業啟動流程
-
Scheduler的任務排程和offer match策略
-
Metadata的raft-based key value store
-
程式設計方式的AppMaster
分享群:DockOne技術交流微信群
DockOne每週都會組織定向的技術分享,歡迎感興趣的同學加微信:liyingjiesd,或者掃描下方二維碼加群主微信,進群參與分享,進群暗號『加群』。如果已經在DockOne技術交流群那等待晚上的分享即可。