站在風口上的大資料，究竟被什麼拖了後腿？

作者：房龍江

來源：TalkingData（ID：TalkingData）

01 資料的獲取難度增加

從早期PC端各種型別的cookie資料及使用者網站瀏覽、點選、停留等資料，到使用者移動端裝置相關的型號、位置及應用使用時長、次數、型別等資料，再到應用內的點選、停留、瀏覽、搜尋等資料，資料量雖然越來越大，可獲取變得越來越難。

早期，使用者對這些所謂的“不敏感資料”並不瞭解，或著不太在意。但隨著各種型別的資料商業樣式興起，一些資料收集方過度、越線收集使用者資料，又有人利用這些資料進行過度營銷，嚴重損害了使用者體驗和信任度。

使用者的資料保護意識快速提升，而資料收集方也有保護自身資料資產的需求，這就產生了多方面的矛盾，使得大規模的資料收集和應用變得更加困難。

為解決這些問題，應該建立全面的機制和標準，使得資料的獲取、加工、儲存、應用、共享更加規範和有序，打破資料孤島困境，共同構建生態健康、持續成長的市場。

02 資料應用與個人隱私的問題沒有很好的解決

大資料時代，每個人透過網際網路留下了大量的各種型別的資料，綜合這些資料資訊能夠反映出人的行為樣式：包括應用興趣偏好、常去地點、工作及居住地、社交關係、收入水平、消費偏好、品牌偏好等。

善用這些資料原本能夠更好的為使用者服務，比如提供更符合使用者偏好的產品及服務，能夠有效降低使用者的選擇時間，甚至規劃建設更高效的城市、讓生活更便捷。

但是，一方面頻繁的作業系統升級和裝置更替讓使用者更加註重資料的安全問題；同時，某些資料收集行為越過了對個人網際網路特徵資料的紅線，資料是否會造成個人隱私的洩露、是否會帶來過度的營銷、是否有可能被精準的侵入，給使用者造成大量的困擾，甚至是經濟損失。

為解決資料隱私問題，在對已有法律法規繼續進行完善的基礎上，也應該有行業規範和行業自律要求，雙管齊下，促使資料產業鏈各方參與者共同打造良好的網路資料空間，增加對使用者隱私和資料安全的保護，也透過更加人性化的服務產生資料應用的價值。

03 資料加工處理的速度與資料產生的速度不同步

大資料時代，每人每天產生的資料高達數GB，圍繞社交、金融交易、網路購物、生活記錄等各種應用，全世界每天能夠產生數ZB的資料，這龐大的資料量需要更加龐大的處理能力才能實現有效利用。

但是以目前的計算方法和計算能力，每秒處理的速度遠小於資料產生的速度，只能選擇小範圍的嘗試，像Spark/Hadoop/Flink/Kafka等廣泛應用的計算方法均有待提升。

同樣的，對於所需的硬體基礎設施，目前最快的CPU/GPU/NPU其每秒所能提供的計算速度僅達數百MB/s，也無法更快的提升計算能力。這些都限制了資料處理的快速發展。

鑒於此，應該針對不同型別的資料提供不同的處理演演算法，比如專門針對常規結構化資料或文字資料、音影片等非結構化資料等的專用計算方法。透過基於各類資料的特點進行平行計算，如結構化資料的小資料、文字資料的資料塊資料、音影片的取樣壓縮資料等，針對每一種資料進行專門的效率提升。

同時，在現有計算晶片的基礎上增加各種型別的協處理器，有效提升資料計算任務的並行處理能力，提升晶片的利用率。

04 資料應用落地難度增加

雖然我們處在大資料時代，但能夠得到有效應用的資料還不足1/10，而其應用方向大部分僅僅是圍繞營銷、風控等方面。

這些主要面向市場的應用雖然幫助企業提升了收入，但是越來越多人對這種缺少選擇空間的應用充滿懷疑，也導致應用水平的下降。而且，這些只看一時、不看長遠的應用方式也有可能導致效果適得其反，使用者被教育之後就會明顯的進行反抗，將會影響到資料的未來應用。

資料應用落地目前顯然受到了環境發展及資料孤島等方面的影響，很多好的想法無法付諸實踐。但是可以考慮透過新興的區塊鏈技術實現行業合作、資源互換、消費者互利等，促進各方的信任，以開放心態，在保護資料安全的前提下更多的釋放資料價值，打造智慧空間的各種應用。

05 資料價值發掘方向不明確

大資料的發展離不開各方參與者，其價值的實現也需要各方通力合作。但是目前大量掌握資料的企業圈地自封，而生產資料的使用者卻成為了被收割的物件。這也引發了圍繞資料價值的喋喋不休的爭論——到底是為了提升使用者體驗，還是收割所剩無幾的網際網路流量紅利？

但是這些都無法阻擋歷史前進的車輪。在資料應用領域，諸如快速響應客戶各類需求、降低產品設計成本、降低製造及倉儲成本、降低運輸及配送成本、精準預判投資規劃、圍繞使用者行為的預測快速迭代更新、預測競品營銷策略及市場變化等提升自身競爭力水平的應用，有著巨大的市場空間。

綜上，相信有遠見的企業得以一窺未來的輪廓，也會積極佈局未來的主要賽道。基於精細化的行業屬性、資料特徵、消費場景的各類應用會層出不窮，屆時將進入嶄新的數字世界——即智慧空間。