2017年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展趨勢(shì)是非結(jié)構(gòu)化開(kāi)放的,Hadoop繼續(xù)稱霸,外加數(shù)據(jù)可視化使用垃圾數(shù)據(jù)謎續(xù),具體預(yù)測(cè)如下:
1.非結(jié)構(gòu)化高于結(jié)構(gòu)化數(shù)據(jù)量
一類信息能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示,我們稱之為結(jié)構(gòu)化數(shù)據(jù),如數(shù)字、符號(hào);而另一類信息無(wú)法用數(shù)字或統(tǒng)一的結(jié)構(gòu)表示,如文本、圖像、聲音、網(wǎng)頁(yè)等,我們稱之為非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù),是非結(jié)構(gòu)化數(shù)據(jù)的特例,今年非結(jié)構(gòu)化數(shù)據(jù)將要凸顯占領(lǐng)結(jié)構(gòu)化高度廣度。
2.結(jié)構(gòu)化數(shù)據(jù)安全性高于非機(jī)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化數(shù)據(jù)的存在至少有40年之久,這種數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)數(shù)據(jù),因此加密方式多樣化,安全性高,相比非結(jié)構(gòu)化數(shù)據(jù)最近幾年才興起,它是以圖片,音頻,視頻,文檔形式存在,加密繁瑣困難,安全性低,然而二者屬于包含的關(guān)系,多數(shù)企業(yè)更傾向于以結(jié)構(gòu)化數(shù)據(jù)的形態(tài)存在。
3.大數(shù)據(jù)產(chǎn)生在非結(jié)構(gòu)化數(shù)據(jù)庫(kù)里
結(jié)構(gòu)化數(shù)據(jù)分析的歷史已經(jīng)很久了,至少在計(jì)算機(jī)數(shù)值計(jì)算開(kāi)始的時(shí)候就有了,說(shuō)已經(jīng)有四十年也不為過(guò),新聞,視頻,圖片,音頻,網(wǎng)頁(yè)這些形態(tài)每天在數(shù)以萬(wàn)計(jì)的產(chǎn)生龐大的數(shù)據(jù)量,而這些數(shù)據(jù)不是以符號(hào)數(shù)字的形式存在的,大型的社交網(wǎng)絡(luò),媒體網(wǎng)絡(luò),都是以視頻,圖片,音頻,網(wǎng)頁(yè)形式存在,今年的大數(shù)據(jù)產(chǎn)品將在非結(jié)構(gòu)化中日益增加。
4.Hadoop沒(méi)有可以抗衡的程序出現(xiàn)
Hadoop這個(gè)單詞如今鋪天蓋地,幾乎成了大數(shù)據(jù)的代名詞。僅僅數(shù)年時(shí)間,Hadoop從邊緣技術(shù)迅速成長(zhǎng)為一個(gè)事實(shí)標(biāo)準(zhǔn)。如今想玩轉(zhuǎn)大數(shù)據(jù),搞企業(yè)分析或者商業(yè)智能,沒(méi)有Hadoop還真不行。Hadoop實(shí)質(zhì)上更多是一個(gè)分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將巨大的數(shù)據(jù)集分派到一個(gè)由普通計(jì)算機(jī)組成的集群中的多個(gè)節(jié)點(diǎn)進(jìn)行存儲(chǔ),意味著您不需要購(gòu)買和維護(hù)昂貴的服務(wù)器硬件。
同時(shí),Hadoop還會(huì)索引和跟蹤這些數(shù)據(jù),讓大數(shù)據(jù)處理和分析效率達(dá)到前所未有的高度。Spark,則是那么一個(gè)專門用來(lái)對(duì)那些分布式存儲(chǔ)的大數(shù)據(jù)進(jìn)行處理的工具,它并不會(huì)進(jìn)行分布式數(shù)據(jù)的存儲(chǔ)。雖然現(xiàn)在Spark很火,但是今年還是沒(méi)有能力和Hadoop抗衡。
5.大數(shù)據(jù)實(shí)現(xiàn)可視化趨勢(shì)
數(shù)據(jù)可視化技術(shù)讓隱藏在大數(shù)據(jù)資源背后的真相呈現(xiàn)在眾人面前。無(wú)論數(shù)據(jù)怎樣形成,無(wú)論數(shù)據(jù)資源在哪里,圖形數(shù)據(jù)可視化可以讓企業(yè)組織在業(yè)務(wù)繁忙的同時(shí)對(duì)數(shù)據(jù)進(jìn)行檢索與處理。可視化數(shù)據(jù)不需要任何編程基礎(chǔ)。只需要上傳你的數(shù)據(jù),便能輕松地創(chuàng)建和發(fā)布圖表,目前國(guó)際上已經(jīng)有一些企業(yè)在發(fā)展大數(shù)據(jù)可視化做深入的研究,今年會(huì)有專門提供大數(shù)據(jù)可視化服務(wù)公司出現(xiàn)。
6.消費(fèi)垃圾數(shù)據(jù)將繼續(xù)
人們將繼續(xù)追尋大數(shù)據(jù),一直追到垃圾堆看到垃圾數(shù)據(jù),詐騙電話、免費(fèi)WiFi竊取用戶信息等關(guān)系到消費(fèi)者權(quán)益的問(wèn)題被逐一曝光,針對(duì)廣大中國(guó)網(wǎng)民,就各種假貨和欺詐行為通過(guò)更直接的方式進(jìn)行采樣和分析判斷,這些都將是無(wú)用的垃圾數(shù)據(jù),甚至是有害的數(shù)據(jù)。
在另一項(xiàng)調(diào)查中,國(guó)產(chǎn)手機(jī)成為預(yù)裝垃圾軟件的重災(zāi)區(qū),55.3%的用戶表示國(guó)產(chǎn)手機(jī)中預(yù)裝垃圾軟件最多產(chǎn)生的垃圾無(wú)用數(shù)據(jù)也最多,12.1%用戶則認(rèn)為國(guó)外品牌在垃圾軟件數(shù)據(jù)產(chǎn)生更嚴(yán)重,今年乃至未來(lái)將有很長(zhǎng)一段時(shí)間消費(fèi)者將要繼續(xù)忍受消費(fèi)垃圾數(shù)據(jù)。
7.數(shù)字智慧城市與大數(shù)據(jù)接軌
智慧城市相對(duì)于數(shù)字城市概念,最大的區(qū)別在于對(duì)感知層獲取的數(shù)據(jù)進(jìn)行大數(shù)據(jù)處理,從而獲得支撐和保障智慧城市順利運(yùn)營(yíng)的多元信息,要實(shí)現(xiàn)對(duì)數(shù)字信息的智慧處理,前提是引入大數(shù)據(jù)處理技術(shù),從而來(lái)整合分析跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)的處理,將特定的信息應(yīng)用于特定的行業(yè)和特定的解決方案中,智慧城市的應(yīng)用過(guò)程實(shí)際上就是對(duì)數(shù)據(jù)采集、分析、存儲(chǔ)和利用的過(guò)程,大數(shù)據(jù)是智慧城市各個(gè)領(lǐng)域都能夠?qū)崿F(xiàn)"智慧化"的關(guān)鍵性支撐技術(shù)。
在大數(shù)據(jù)時(shí)代,智慧城市建設(shè)應(yīng)大力推進(jìn)大數(shù)據(jù)基礎(chǔ)平臺(tái)和基礎(chǔ)網(wǎng)絡(luò)建設(shè),積極推進(jìn)信息資源數(shù)據(jù)交換和共享體系建設(shè),今年智慧城市開(kāi)始要與大數(shù)據(jù)接軌。
8.數(shù)據(jù)造假存仍然在安全隱患
醫(yī)藥臨床數(shù)據(jù)造假,環(huán)保數(shù)據(jù)造假,市場(chǎng)調(diào)查數(shù)據(jù)報(bào)告造假,經(jīng)濟(jì)數(shù)據(jù)造假,大數(shù)據(jù)造假給企業(yè)挖了一個(gè)大坑,大數(shù)據(jù)和以前的數(shù)據(jù)分析有3個(gè)明顯的區(qū)別:一是原來(lái)的數(shù)據(jù)分析針對(duì)部分樣本,大數(shù)據(jù)是所有的數(shù)據(jù)都要參與計(jì)算;二是大數(shù)據(jù)中,相關(guān)關(guān)系重于因果關(guān)系;三是大數(shù)據(jù)允許混雜數(shù)據(jù)甚至錯(cuò)誤數(shù)據(jù)。
大數(shù)據(jù)允許混雜數(shù)據(jù)甚至錯(cuò)誤數(shù)據(jù)。這是因?yàn),大?shù)據(jù)能夠通過(guò)造假數(shù)據(jù)的特征將其辨識(shí)出來(lái)。造假的數(shù)據(jù)和平常的數(shù)據(jù)不一樣,可以通過(guò)環(huán)比、同比、類比,發(fā)現(xiàn)數(shù)據(jù)中的異動(dòng),判斷企業(yè)是否存在數(shù)據(jù)造假行為,即便如此,數(shù)據(jù)造假問(wèn)題在今年是不可能消失的,同時(shí)帶來(lái)的安全隱患,從而為各個(gè)行業(yè)指導(dǎo)錯(cuò)誤的方向,失之毫厘,差之千里。
9.企業(yè)不需要大數(shù)據(jù)執(zhí)行官
到目前為止,企業(yè)人事任免注意力大多聚焦于填補(bǔ)中低層職位空缺,但填補(bǔ)大數(shù)據(jù)首席執(zhí)行官、在今年未來(lái)很長(zhǎng)一段日子里還是不需要填補(bǔ)的。
當(dāng)前可以指引公司的發(fā)展方向的責(zé)任才重大,作為回報(bào),相當(dāng)多的公司利潤(rùn)落入管理層的腰包。如果在這一級(jí)別上做出錯(cuò)誤的人事任命,發(fā)生災(zāi)難的可能性將非常明顯。因此,目前企業(yè)不會(huì)填補(bǔ)大數(shù)據(jù)執(zhí)行官,大數(shù)據(jù)還沒(méi)有發(fā)展到人人皆知的地步。
10.大數(shù)據(jù)服務(wù)公司進(jìn)入資本市場(chǎng)
最近發(fā)數(shù)據(jù)的行業(yè)應(yīng)用也開(kāi)始火熱起來(lái)。"微眾銀行"的大數(shù)據(jù)金融概念深得國(guó)家支持,符合"普惠銀行"的政策。相信以后會(huì)有更多的行業(yè)跟大數(shù)據(jù)扯上關(guān)系,走向資本市場(chǎng)。
隨著境外大數(shù)據(jù)企業(yè)近年在美國(guó)資本市場(chǎng)的落地開(kāi)花,相信今年會(huì)為國(guó)內(nèi)的信息產(chǎn)業(yè)帶來(lái)新的靈感及發(fā)展方向。作為世界上其中一個(gè)數(shù)據(jù)使用量最大的國(guó)家,我們期待的是國(guó)內(nèi)大數(shù)據(jù)企業(yè)在未來(lái)資本市場(chǎng)的大爆發(fā)。 |