本期主題:
大資料架構與資料技術應用實踐
擁有超過十億使用者的美圖公司積累了海量的使用者資料,如何利用大資料技術充分挖掘併發揮這些資料的價值是一個很有意思也很有挑戰的問題。美圖的大資料團隊在近幾年的發展中,逐步演進和發展出美圖的大資料體系,以及在美圖業務場景下資料技術應用的最佳實踐。
本期沙龍,我們邀請了來自美圖公司的大資料負責人、架構師、魅族的資料技術專家、以及來自Apache kylin的PMC。美圖的大資料技術負責人和架構師會為大家分享美圖在大資料技術上的探索、大資料的架構、以及資料技術的應用落地。魅族的資料技術專家會為介紹魅族的DMP系統的架構設計以及系統的演進歷程。來自Apache頂級專案kylin的架構師會為大家分享kylin的技術原理與應用實踐。四位技術專家會從多個角度不同層次,為大家分享各自在大資料技術上的實踐經驗。
議題一
美圖大資料平臺架構實踐
議題介紹:
美圖擁有十億級使用者,每天產生百億級使用者資料。我們經歷過從0到1的資料平臺建設過程,從資料收集、資料落地儲存、資料加工清洗,再到資料平臺建設,近幾年也逐步構建了穩定可靠的資料平臺以及資料基礎服務,驅動美圖各業務更高效穩定地使用資料,挖掘資料價值,驅動業務增長。本次分享會給大家介紹美圖大資料平臺架構以及在平臺演進過程的思考和實踐。
分享嘉賓:
盧榮斌
美圖大資料技術總監,畢業於廈門大學,14年加入美圖,主導美圖大資料平臺架構設計與開發工作,負責美圖大資料平臺架構建設,經歷過美圖大資料平臺從無到有的搭建與架構演進,長期關註大資料相關技術體系,積累了多年大資料架構與實踐經驗。
議題二
魅族使用者洞察平臺架構
議題介紹:
魅族UIP(使用者洞察平臺)透過對三方受眾資料的匯聚、清洗、智慧運算,構建了龐大的精準人群資料中心,提供豐富的使用者畫像資料以及實時場景識別能力。本次分享將介紹魅族使用者洞察平臺的功能和架構,還原建設過程中遇到的技術難點和解決方式。以使用者洞察平臺的標的定位為出發點,綜合技術與業務需求的考量進行架構設計,使用者洞察平臺的功能包括人群管理、人群洞察分析、自定義標簽、人群擴充套件、畫像查詢服務等。並將介紹畫像標簽的生成、底層儲存、平臺功能以及在精準營銷中的應用。
分享嘉賓:
黃振賢
多年網際網路和大資料經驗,2016年加入魅族大資料團隊負責大資料應用的架構、核心設計和落地實現。
議題三
美圖分散式bitmap實踐
議題介紹:
大資料技術及其應用系統目前已在各行業中發揮著巨大的勢能,遍地開花的開源技術也給大資料從業人員帶來了便利。bitmap作為一種大資料需求下催生出的計算體系,有著計算速度快、資訊密度高、支援海量資料等優勢。
美圖擁有海量使用者,每天產生龐大的資料計算任務,而bitmap技術能大幅度削弱計算開銷,節省資料儲存成本。
不少公司做過bitmap的相關嘗試,但迄今為止還沒有出現相對成熟的分散式bitmap開源應用。在此基礎上美圖研發了自身的分散式bitmap系統,用於美圖各種場景下的相關資料計算任務。
本次分享將跟大家介紹美圖bitmap系統的迭代演進,探討美圖在bitmap系統中的實踐經驗,以及實踐過程中隨之產生的思考,與大家共勉。
分享嘉賓:
楊亞強
2016年作為資料架構師加入美圖資料平臺部。作為資深架構師,長期負責各類系統的架構和研發工作,具有多年的資料架構經驗,也作為主程參與過多個大型系統的研發。對於分散式系統、大規模資料處理等大資料元件有著豐富的研發和最佳化經驗。目前在美圖的資料平臺部負責資料架構設計與核心模組程式碼的編寫,主要負責資料基礎設施的構建和最佳化。
議題四
Apache Kylin大資料視覺化分析實踐
議題介紹:
Apache Kylin是領先的開源大資料OLAP分析引擎,能夠為超過PB規模資料提供亞秒級的查詢能力,並支援標準的ANSI SQL查詢介面,可無縫整合各種常見的視覺化BI分析工具。本次分享將介紹Apache Kylin技術原理和視覺化方案,並以Kyligence實踐的Apache Kylin+Superset方案為例,講述如何利用開源技術實現端到端的大資料視覺化分析,以及如何透過Docker快速獲取這一方案。
分享嘉賓:
李棟
Kyligence技術合夥人兼高階架構師,Apache Kylin核心開發者和專案管理委員會成員(PMC),專註於大資料技術研發和Kylin生態拓展。畢業於上海交通大學計算機系;曾任eBay全球分析基礎架構部高階工程師、微軟雲端計算和企業產品部軟體開發工程師。
活動流程
13:00-13:30 |
簽到(參會身份確認) |
13:30-14:20 |
美圖大資料平臺架構實踐 |
14:20-15:10 |
魅族-使用者洞察平臺架構 |
15:10-15:30 |
Geek探討&茶歇&抽獎 |
15:30-16:20 |
美圖分散式bitmap實踐 |
16:20-17:10 |
Apache Kylin大資料視覺化分析實踐 |
17:10-17:30 |
Geek探討&茶歇&離場 |
活動資訊
主辦方:美圖公司
時 間:2018年8月11日(週六) 13:00-17:30
參會物件:工程師、架構師(限100人)
地 址:深圳市南山區軟體產業基地4棟D座一樓創新谷咖啡
路線引導:
1、公交:72路、B964路、M562路、高峰138、高峰150、高峰92(步行6分鐘)
2、地鐵:深圳地鐵2號線科苑站A出口(步行約15分鐘)
3、開車:導航至“創新谷咖啡”
美圖網際網路技術沙龍介紹
美圖網際網路技術沙龍美圖網際網路技術沙龍是由美圖公司主辦的線下技術交流系列活動,每期沙龍都將會邀請到美圖內外部技術大咖蒞臨現場圍繞著最熱門的技術話題與大家進行交流和分享,努力為中高階技術人員打造一個高質量的技術交流圈。
報名方式:點選下方閱讀原文,填寫報名資訊進行審核(透過審核者會收到確認郵件和簡訊)
活動報名截止時間:2018年8月9日 18:00