TalkingData的Spark On Kubernetes實踐
眾所周知,Spark是一個快速、通用的大規模資料處理平臺,和Hadoop的MapReduce計算框架類似。但是相對於MapReduce,Spark憑藉其可伸縮、基於記憶體計算等特點,以及可以直接讀寫Hadoop上任何格式資料的優勢,使批處理...
眾所周知,Spark是一個快速、通用的大規模資料處理平臺,和Hadoop的MapReduce計算框架類似。但是相對於MapReduce,Spark憑藉其可伸縮、基於記憶體計算等特點,以及可以直接讀寫Hadoop上任何格式資料的優勢,使批處理...
本文針對分散式系統中的映象處理的痛點,提出了兩個潛在的可能的解決方案,一為Google Function與Serverless,二為Imageup微服務,相對而言,可能第二種解決方案更加適合目前的場景。 分散式的思想狀態 當建立分散式系統時...
程式員書庫(ID:OpenSourceTop) 編譯 連結:https://dzone.com/articles/5-spring-framework-books-experienced-java-develope Spring框架在過去幾...
在開始前,我想先介紹介紹一下我們在資料庫即服務(DBaaS)方向的努力過程。 我們是在2013年,當時雲端計算概念剛開始推廣,中國銀聯研究院需要完成一個資料庫雲的研究性專案。在當時很多雲端計算專案都是基於虛擬化,但是我們認為虛擬化不是未來,又由...
過去幾個月對Cilimu和BPF貢獻者來說是令人振奮的一段時間,我們見證了Cilium社群和BPF使用者快速增長的階段,社群由來自Google、Facebook、Netflix、紅帽和許多公司的開發人員構成。Linux核心社群正準備用BPF替...
(點選上方公眾號,可快速關註) 來源:唐尤華, github.com/tangyouhua/program-resource/blob/master/program-interview/java-baidu-200.md 基本概念 作業系統...
摘自【工匠小豬豬的技術世界】 1.這是一個系列,有興趣的朋友可以持續關註 2.如果你有HikariCP使用上的問題,可以給我留言,我們一起溝通討論 3.希望大家可以提供我一些案例,我也希望可以支援你們做一些調優 本文是 【追光者系列】Hik...
認證授權,作為服務的重要組成部分之一,在微服務/平臺化的背景下,迎來了新的挑戰。龐雜的業務應用 vs 精深的中臺服務,在許可權模型上有何異同?又該如何分而治之,且自洽呢?在鏈家網向貝殼找房平臺化的行程中,我們分別生產了”面向服務“和”面向使用者...
一位技術大牛在談到“技術人最重要的能力是什麼”時曾提出一個觀點:你所解決問題的複雜度決定了你技術實力的高度。 問題越複雜,解決問題所需要的技術實力就越高,也就越能體現一個人的價值。 大部分的技術人員在工作中主要是編寫業務邏輯程式碼,以至於不少...
導語: 微服務架構目前是各網際網路系統架構的首選,在使用微服務的過程中,除錯一個分散式系統是一項具有挑戰的任務, 事件溯源是一種非常好的方式來解決微服務可見性的一種手段。且看大名鼎鼎的couchbase如何使用事件溯源解決微服務的可見性問題。...