同樣的事務,當體驗了更快速優質的服務後,就再也難以去忍受較差的服務。就好比習慣了高鐵的人們無法再忍受長達數十小時的綠皮火車一樣,實時資料流分析對比傳統資料分析就是如此。
不論是以往的資料服務日誌資料,還是以物聯網、車聯網為代表的感測器資料,這些資料在各類智慧終端的普及的大背景下,原本體量非常大的資料流將進一步擴大。這些資料必須能夠被極快速的處理,和相關行業資料以及大量的爬蟲採集資料的第三方資料一起,從而讓企業的決策者能夠迅速的根據市場變化而改變戰略,這將成為未來商業,在滿足客戶不斷延伸的需求,提供差異化服務的利器。
實時資料流分析的無限商機
來自CIO|INSIGHT的調查資料顯示,實時資料分析的主要好處主要體現在增強客戶體驗、提高運營效率、保持競爭優勢和提高員工生產力等四方面。
伴隨著行動網路的發展,其連線範圍和連線能力激增,以及移動智慧終端裝置的迅速普及,讓更多型別,更大容量的資料迅速產生,Gartner的資料顯示,到2020年,使用的互聯裝置將達到204億臺;與此同時,在大資料計算處理框架的升級換代以及核心處理硬體計算能力提升的背景下,不管是資料中心還是雲端計算平臺,建立大規模的可擴充套件的大資料處理框架都變的唾手可及;除此之外,各種分析軟體工具已進行調整和演進,結合業務部門應用按需提供洞察,讓資料流分析從計算到應用成為可能。
在這樣的環境下,一方面實時資料流分析的業務背景,技術背景已然存在,另一方面企業對資料時效性的要求也越來越高,且資料的洞察價值伴隨其留存的時間將不斷貶值。在業務需求與技術的雙重驅動下,實時資料流分析勢必爆發出其無限商機。
實時代表了一種商業極速思想
要想將資料流分析的商業價值落地,除了擁有更廣泛的架構願景外,或許我還需要一套代表實時資料流分析的極速思想,以解決其在落地過程中種種阻礙。
- 對資料質量與安全的極致考量
“垃圾進,垃圾出”是資料分析界的一句諺語,其強調了資料質量的重要性。而對於實時的資料流分析而言,因為其實時性,對資料安全的考量因素則更多一些。從資料終端裝置的授權與連線,到裝置的更新與資訊治理的合規性,再到網路連線與傳輸的安全性。資料傳輸到了什麼階段,對什麼人員開發,都要從一開始做好資料許可權跟蹤與控制,只有從源頭把握住了資料安全與資料質量,才會有後面的資料洞察。
- 對資料節點的極致把控
對實時資料流的流轉各節點過程中的把控,資料在智慧感測器處,是將預先處理好的核心資料傳輸彙總還是將整體原資料集中傳輸,將核心計算過程是放在雲端還是各資料中心,對不同策略型別的儲存是以記憶體為主還是以記憶體與磁碟混編儲存,對每個關鍵資料節點都有著極致的追求,只有各關鍵節點達到極速,整體的資料流分析才能實現真正的實時。
- 對落地執行的極致把控
對整體資料流執行策略的把控,都有著極致的策略把控,是先從大局出發,逐步遞進,還是先尋找關鍵節點,以點帶面尋求突破,是首要考量的;其次根據不同企業的生產測試環境,還要考量小規模測試與大量實施的耦合連線,併在此過程中完成對未來洞察需求以及業務拓展的極限可拓展性;最後,在前期執行落地的情況下,如何將實時的資料洞察指導業務落地並反饋,如何形成一套完整的資料驅動閉環的把控。
英特爾——實時資料流分析的極速推動力 資料流分析需要一個面向未來的平臺,該平臺應該能夠支援複雜的資料管理、高效能、低時延,並且能夠大規模執行。英特爾作為軟硬體融合廠商,和眾多資料解決方案廠商均有合作,其對資料流分析的極速推動主要體現在以下幾方面: 未來,在經濟轉型過程中,一方面增強業務的增長,另一方面則保持成本的遏制。多倫多大學經濟學家Ajay Agrawal教授就曾講過:“機器智慧是一種預測技術,因此經濟轉型將以預測成本降低為中心並且有兩大已確認的經濟影響。首先,我們將利用預測技術探索之前未涉及的領域。第二,用於補充預測技術的其他事物的價值將增加。”機器智慧則在實時資料流分析中的重要一環。 英特爾一方面透過提供諸如英特爾至強可擴充套件處理器的硬體產品,透過其實現資源的利用率和敏捷性,並憑藉時鐘速度和英特爾技術提供出色的分析效能,進而無需依賴高核心數的處理器來降低成本;另一方面則透過諸如英特爾記憶體驅動技術,透明地擴充套件系統記憶體,並與英特爾傲騰固態盤(SSD) 相結合,將固態盤整合到記憶體子系統中,使固態盤看起來像DRAM,從而擴大記憶體容量,突破DRAM 的限制,進而無需使用昂貴的記憶體產品,達到對比降低成本的效果。 從移動計算比行動資料的原則出發,進一步拓展記憶體在流資料分析中的優勢地位。英特爾傲騰技術以獨特的方式將英特爾3D XPoint記憶體媒體、英特爾記憶體和儲存控制器、英特爾互連IP 和英特爾軟體組合在一起。對需要大容量和快儲存的工作負載,這些構建塊可共同減少時延並加快系統執行速度。 為進一步加快選擇和部署當今廣泛分析場景所需的硬體與軟體的過程,英特爾與實時資料流相關的各廠商聯合合作,這些廠商包括資料流分析的各個環節,比如聯想,SAP,SAS,透過不斷的探索實踐,為業界精選提供了大量提供大量靈活、易於部署且可擴充套件的解決方案,這些解決方案專門針對效能進行了最佳化聯合解決方案的出臺,在這個過程中英特爾以探路者的身份探索資料流分析未來可行之路。 未來可期,不論是從業務場景看商機,還是從其實施過程的極速衍進,以及各路廠商的極力探索,實時資料流分析都將踏上其“極速前進”的道路。