資料管理和分析趨勢正在改變世界

現在的資料世界正在發生什麼，它將如何影響2018年的市場?比如這些頭條新聞:人工智慧無處不在，並將改變一切;企業繼續將他們的基礎設施和資料轉移到雲端;GDPR將使資料保護成為每個公司的首要任務。你知道這些，但也許會對這種誇大其詞的說法有點懷疑。

那麼到底發生了什麼實質性的變化?在制定架構和採購策略併在這些領域做出決策時，你需要註意什麼?接下來我們會討論在分析領域發生的7個影響深遠的變化，並將它們一一呈現。

Hadoop始終是根基

是的，那些大資料專案的失敗率很高；並且Spark在某種程度上已經取代了Hadoop，越來越多的客戶開始獨立執行它，所以業界開始指責Hadoop…並且不再提到它的名字。所以你認為Hadoop一定已經過時了，對吧?

錯!現在每個人都在談論資料湖，很多時候，那隻是Hadoop的程式碼。而且，雖然許多公司正在雲儲存中實現他們的資料湖，也經常使用Hadoop生態系統技術來分析這些資料。除此之外，當開始使用雲儲存來模擬HDFS、Hadoop的檔案系統時，你就會意識到雲資料湖和Hadoop資料湖並沒有本質區別。

好訊息是，今年Hadoop將會做它一直應該做的事情:低調地被很多企業接受，並將成為眾多資料工具之一，發揮其戰略作用。正是這些資料技術的結合，包括Hadoop、Spark、Business Intelligence (BI)和資料倉庫，使得當前的分析市場如此令人興奮。

再見！企業級商業智慧棧

今年早些時候，作為一家企業級商業智慧公司，MicroStrategy宣佈向其前端競爭對手做出讓步，引入他們的產品。MicroStrategy相信可以透過利用後端OLAP平臺以及相關的資料處理來盈利。該公司似乎意識到了在資料視覺化和儀錶板方面的競爭是比較困難的，即使能夠取得成功，也會帶來收益遞減。

那麼後端是否足以維持企業收入並持續增長？我們拭目以待。但有一點是肯定的，單一的企業級商業智慧堆疊已經開始解體，新的挑戰即將開始。

資料分層

也許你熟悉資料分層的概念，比如資料儲存與其訪問頻率的相關性。“熱門”資料，即最常用的資料，有時訪問請求會被路由到非常快的儲存，比如固態硬碟，甚至是CPU快取中；而冷門資料通常儲存在更老的，但更便宜的旋轉硬碟驅動器之中。

隨著儲存層次的完善，我們將在今年看到其他層次結構被逐漸認可。例如，分析涉及從與特定團隊或業務單位相關的實驗資料集到對整個企業都有用的高度結構化，審核和共識驅動的資料。 中間是結構化資料集，可能由於大小或清潔程度而被視為略低於生產水平。

實驗資料集儲存在資料湖中最好；邏輯上，高度審查的資料集最好儲存在資料倉庫中。中級資料集可能比較適合放在Hadoop或雲儲存中，但通常會使用IBM Big SQL，Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具從關係型資料庫中進行查詢。

還有一種層次結構可能會根據資料是用於設計機器學習模型還是僅用於分析來對資料進行分層，其他的層次結構可能由資料源的可信度來定義。

層次結構之所以重要，是因為相應的工具和技術也存在分級，包括查詢端的商業智慧和大資料分析工具，以及儲存庫端的事務型資料庫，NoSQL資料庫，資料倉庫和資料湖。雖然最終，層次結構可能會得到簡化，技術可能會趨於整合，但是現在有了這麼多的技術選擇，我們就需要資料中的層次結構來規定我們在工具鏈部署中的最佳實踐。

視覺化商品

MicroStrategy宣佈與Tableau，Qlik和Power BI進行合作不僅僅是對競爭對手的讓步。事實上，這三種自助商業智慧工具現在已經成為行業標準，進一步為其他想在視覺化領域大顯身手的公司設定了障礙。

他們也對整個行業實現了商品化。在Tableau Public，Qlik Sense Cloud Basic和Power BI Desktop（以及Power BI雲服務的免費層）之間，可以免費體驗入門級分析功能，隨著新增像plotly這樣的視覺化工具，體驗D3生態系統和開源的地理空間/地圖平臺，你會發現你的分析能力從受時間限制變成了受金錢限制，你需要透過付費來獲得更好的產品功能。

如今，使用者已經將良好的資料處理能力看作理所當然，他們雖然對此印象深刻，但並不滿足於此，好的產品不會具有很明顯的競爭優勢，但差的產品必然處於競爭劣勢。

資料治理

雖然在過去的一段時間裡，資料治理技術並未受到應有的重視，但如今也開始獲得了一些尊重。歐盟的“通用資料保護條例”（GDPR）就是一個例子-而最終，缺乏足夠的治理是今年對有效治理工具需求的一個非常重要的痛點。

即使遵循法規是催化劑，但治理背後還有其他驅動因素。其中最大的一項是資料分類，它們使資料湖中的資料集更有條理，並且更易於發現。資料發現工具可以幫助您透過檢視資料庫和資料湖，報告其資料內部和資料之間的關係和資料流。從另一個角度來講，這些工具使資料湖本身更具有可用性，對其投資更加有效。隨著公司對前幾年投資尋求更好的回報，資料分類和發現工具將越來越受歡迎，進一步推動了治理技術的發展。

雲資料湖 = 雲資料鎖定

我們已經談到了基於雲儲存的資料湖的發展趨勢。但事實是，這不是一個隨機出現的有趣的上雲案例，這是主要雲供應商的中心賣點和銷售策略。

在特定的雲平臺上，你儲存的資料越多，你就會在這個平臺上針對這些資料做更多的工作，包括但不限於資料準備，分析，預測建模和模型訓練(在高階的gpu加速虛擬機器上)。雲之戰是資料儲存之戰，贏家可能會讓你深陷其中。

容器革命

大家都知道，基於Docker的容器技術在資料中心和軟體開發領域正在改變一切。這種變革影響巨大且不容小覷。

但是您是否知道資料和分析世界中也在發生著類似的變化？這很難說，因為儘管這種轉變不太明顯，但它是真實發生的：

• MapR已經透過其PACC（持久應用客戶端容器）重新定位了融合資料平臺

• 雲提供商利用容器技術更快地部署節點，並促進更多資源共享 – 從而使臨時叢集看起來更持久

• Hadoop最近剛剛釋出了3.0版本，它很快就會支援在Docker容器中執行YARN資源管理器，從而使Hadoop作業程式碼的依賴項可以根據叢集中每個節點上安裝的程式碼而不同。

• 越來越清楚的是，每個軟體供應商，其產品都依賴於其他軟體的基礎版本，都逐漸意識到容器可以消除版本衝突問題 – 為他們和他們的客戶。

下一步，做決定

對大趨勢進行識別和預測是非常有趣的。那些行業中發生的具體而突出的變化，以及供應商和客戶追求的策略，可以幫助您制定自己的發展計劃，他們為您的決定提供了依據：你今年要做什麼，你不會做什麼，以及你合理期待的結果。對於像資料分析這樣的創新熱點，您需要不斷規劃您的方案併進行大筆投註，但您也需要採取一定的保障措施。我們希望並相信這七個趨勢分析可以幫助您做到這兩點。

原文連結：http://www.dataversity.net/data-management-analytics-trends-changing-data-world/

作者簡介：張媛，某雲端計算公司不務正業服務工程師一枚。喜歡下雨天，讀閑書，缺乏技術細胞，欣賞並喜歡有態度有立場的人，愛浪漫，註重儀式感，喜歡記錄。最近的願望是擁有自己的小窩，給想念的人寫一封信。

關聯閱讀：