5-15 美國社會(huì)思想家托夫勒在 《第三次浪潮》中提出,“如果說IBM的主機(jī)拉開了信息化革命的大幕,那么‘大數(shù)據(jù)’才是第三次浪潮的華彩樂章。”大數(shù)據(jù)以其“淺顯易懂”的概念、廣泛的潛在應(yīng)用需求和可展望的巨大經(jīng)濟(jì)社會(huì)效益,正成為繼云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點(diǎn),并將在社會(huì)經(jīng)濟(jì)各領(lǐng)域產(chǎn)生深刻影響。
麥肯錫全球研究院 (MGI)于2011年6月發(fā)布了題為《大數(shù)據(jù):下一個(gè)創(chuàng)新、競爭和生產(chǎn)力的前沿》的研究報(bào)告,最早提出“大數(shù)據(jù)時(shí)代已經(jīng)到來”,并從經(jīng)濟(jì)角度引發(fā)全球?qū)Υ髷?shù)據(jù)的關(guān)注。報(bào)告指出,當(dāng)前大數(shù)據(jù)規(guī)模以及其存儲(chǔ)容量正在迅速增長,已經(jīng)滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為可以與物質(zhì)資產(chǎn)和人力資本相提并論的重要的生產(chǎn)要素。大數(shù)據(jù)是繼傳統(tǒng)IT之后下一個(gè)提高生產(chǎn)率的技術(shù)前沿。只要具有適當(dāng)?shù)恼咄苿?dòng),大數(shù)據(jù)的使用將成為未來提高競爭力、生產(chǎn)力、創(chuàng)新能力以及創(chuàng)造消費(fèi)者盈余的關(guān)鍵要素,成為領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著差別。那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè),不太可能成為其行業(yè)的領(lǐng)軍者。
2012年3月,美國奧巴馬政府宣布推出 “大數(shù)據(jù)的研究和發(fā)展計(jì)劃”。該計(jì)劃涉及美國國家科學(xué)基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級(jí)研究計(jì)劃局、美國地質(zhì)勘探局等6個(gè)聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù),以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見的能力。美國奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域,是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)各個(gè)層面、各個(gè)領(lǐng)域都開始受到重視。
大數(shù)據(jù)的三重內(nèi)涵
大數(shù)據(jù)在業(yè)內(nèi)并沒有統(tǒng)一的定義。不同廠商、不同用戶,站的角度不同,對(duì)大數(shù)據(jù)的理解也不一樣。麥肯錫報(bào)告中對(duì)大數(shù)據(jù)的基本定義是:大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集合。賽迪智庫指出,大數(shù)據(jù)是一個(gè)相對(duì)的概念,并沒有一個(gè)嚴(yán)格的標(biāo)準(zhǔn)限定多大規(guī)模的數(shù)據(jù)集合才稱得上是大數(shù)據(jù)。事實(shí)上,隨著時(shí)間推移和數(shù)據(jù)管理與處理技術(shù)的進(jìn)步,符合大數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)集合的規(guī)模也在并將繼續(xù)增長。同時(shí),對(duì)于不同行業(yè)領(lǐng)域和不同應(yīng)用而言,“大數(shù)據(jù)”的規(guī)模也不統(tǒng)一。
雖然“大數(shù)據(jù)”直接代表的是數(shù)據(jù)集合這一靜態(tài)對(duì)象,但賽迪智庫經(jīng)過深入研究認(rèn)為,目前所提到的“大數(shù)據(jù)”,并不僅僅是大規(guī)模數(shù)據(jù)集合本身,而應(yīng)當(dāng)是數(shù)據(jù)對(duì)象、技術(shù)與應(yīng)用三者的統(tǒng)一:
1.從對(duì)象角度看,大數(shù)據(jù)是大小超出典型數(shù)據(jù)庫軟件采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集合。需要注意的是,大數(shù)據(jù)并非大量數(shù)據(jù)簡單、無意義的堆積,數(shù)據(jù)量大并不意味著一定具有可觀的利用前景。由于最終目標(biāo)是從大數(shù)據(jù)中獲取更多有價(jià)值的“新”信息,所以必然要求這些大量的數(shù)據(jù)之間存在著或遠(yuǎn)或近、或直接或間接的關(guān)聯(lián)性,才具有相當(dāng)?shù)姆治鐾诰騼r(jià)值。數(shù)據(jù)間是否具有結(jié)構(gòu)性和關(guān)聯(lián)性,是 “大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”的重要差別。
2.從技術(shù)角度看,大數(shù)據(jù)技術(shù)是從各種各樣類型的大數(shù)據(jù)中,快速獲得有價(jià)值信息的技術(shù)及其集成?!?/strong>大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”、“海量數(shù)據(jù)”等類似概念間的最大區(qū)別,就在于“大數(shù)據(jù)”這一概念中包含著對(duì)數(shù)據(jù)對(duì)象的處理行為。為了能夠完成這一行為,從大數(shù)據(jù)對(duì)象中快速挖掘更多有價(jià)值的信息,使大數(shù)據(jù)“活起來”,就需要綜合運(yùn)用靈活的、多學(xué)科的方法,包括數(shù)據(jù)聚類、數(shù)據(jù)挖掘、分布式處理等,而這就需要擁有對(duì)各類技術(shù)、各類軟硬件的集成應(yīng)用能力??梢姡髷?shù)據(jù)技術(shù)是使大數(shù)據(jù)中所蘊(yùn)含的價(jià)值得以發(fā)掘和展現(xiàn)的重要工具。
3.從應(yīng)用角度看,大數(shù)據(jù)是對(duì)特定的大數(shù)據(jù)集合、集成應(yīng)用大數(shù)據(jù)技術(shù)、獲得有價(jià)值信息的行為。正由于與具體應(yīng)用緊密聯(lián)系,甚至是一對(duì)一的聯(lián)系,才使得“應(yīng)用”成為大數(shù)據(jù)不可或缺的內(nèi)涵之一。
需要明確的是,大數(shù)據(jù)分析處理的最終目標(biāo),是從復(fù)雜的數(shù)據(jù)集合中發(fā)現(xiàn)新的關(guān)聯(lián)規(guī)則,繼而進(jìn)行深度挖掘,得到有效用的新信息。如果數(shù)據(jù)量不小,但數(shù)據(jù)結(jié)構(gòu)簡單,重復(fù)性高,分析處理需求也僅僅是根據(jù)已有規(guī)則進(jìn)行數(shù)據(jù)分組歸類,未與具體業(yè)務(wù)緊密結(jié)合,依靠已有基本數(shù)據(jù)分析處理技術(shù)已足夠,則不能算作是完全的“大數(shù)據(jù)”,只是“大數(shù)據(jù)”的初級(jí)發(fā)展階段。
大數(shù)據(jù)對(duì)信息產(chǎn)業(yè)的影響
大數(shù)據(jù)的熱潮興起于新一代信息技術(shù)的融合發(fā)展,物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等應(yīng)用使得數(shù)據(jù)規(guī)??焖贁U(kuò)大,對(duì)大數(shù)據(jù)的處理和分析的需求日益旺盛,推動(dòng)了大數(shù)據(jù)領(lǐng)域的發(fā)展。反過來,大數(shù)據(jù)的分析、優(yōu)化結(jié)果又反饋到這些應(yīng)用中,進(jìn)一步改善其使用體驗(yàn),支撐和推動(dòng)新一代信息技術(shù)產(chǎn)業(yè)的發(fā)展。
賽迪智庫 《軟件與信息服務(wù)研究》指出,大數(shù)據(jù)將為信息產(chǎn)業(yè)帶來新的增長點(diǎn)。IDC預(yù)測,全球數(shù)據(jù)在2015年將達(dá)到10萬億TB。面對(duì)爆發(fā)式增長的海量數(shù)據(jù),基于傳統(tǒng)架構(gòu)的信息系統(tǒng)已難以應(yīng)對(duì),同時(shí)傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件面對(duì)以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主的大數(shù)據(jù)時(shí),也缺少有效的分析工具和方法。信息系統(tǒng)普遍面臨升級(jí)換代的迫切需求為信息產(chǎn)業(yè)帶來新的、更為廣闊的增長點(diǎn)。
同時(shí),大數(shù)據(jù)將加速信息技術(shù)產(chǎn)品的創(chuàng)新融合發(fā)展。大數(shù)據(jù)面臨著有效存儲(chǔ)、實(shí)時(shí)分析等挑戰(zhàn),必將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響,將推動(dòng)一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等產(chǎn)品的升級(jí)創(chuàng)新。對(duì)數(shù)據(jù)快速處理和分析的需求,將推動(dòng)商業(yè)智能、數(shù)據(jù)挖掘等軟件在企業(yè)級(jí)的信息系統(tǒng)中得到融合應(yīng)用,成為業(yè)務(wù)創(chuàng)新的重要手段。
大數(shù)據(jù)對(duì)經(jīng)濟(jì)領(lǐng)域的影響
大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn),已經(jīng)不同程度地滲透到每個(gè)行業(yè)領(lǐng)域和部門,其深度應(yīng)用不僅有助于企業(yè)經(jīng)營活動(dòng),還有利于推動(dòng)國民經(jīng)濟(jì)發(fā)展。麥肯錫研究表明,在醫(yī)療、零售和制造業(yè)領(lǐng)域,大數(shù)據(jù)可以每年提高勞動(dòng)生產(chǎn)率0.5—1個(gè)百分點(diǎn)。
賽迪智庫 《軟件與信息服務(wù)研究》指出,在宏觀層面,大數(shù)據(jù)使經(jīng)濟(jì)決策部門可以更敏銳地把握經(jīng)濟(jì)走向,制定并實(shí)施科學(xué)的經(jīng)濟(jì)政策。事實(shí)表明,電子商務(wù)集團(tuán)阿里巴巴就從其掌握的大量交易數(shù)據(jù)中更早發(fā)現(xiàn)了國際金融危機(jī)的到來,而其基于每天實(shí)時(shí)交易數(shù)據(jù)提供的數(shù)據(jù)分析,也為制定并實(shí)施經(jīng)濟(jì)政策提供了重要參考。聯(lián)合國發(fā)起的“全球脈動(dòng)”(GlobalPulse)項(xiàng)目,使用自然語言解密軟件分析社交網(wǎng)站和文本消息中的信息,從而幫助預(yù)測某個(gè)地區(qū)的失業(yè)率、支出削減或是疾病爆發(fā)等現(xiàn)象,目標(biāo)在于利用數(shù)字化的早期預(yù)警信號(hào)來提前指導(dǎo)援助項(xiàng)目,以阻止某個(gè)地區(qū)重新陷入貧困等困境。
而在微觀方面,大數(shù)據(jù)可以提高企業(yè)經(jīng)營決策水平和效率,推動(dòng)創(chuàng)新,給企業(yè)、行業(yè)領(lǐng)域帶來價(jià)值。一是增加收入。零售商可通過對(duì)海量數(shù)據(jù)的實(shí)時(shí)分析掌握市場動(dòng)態(tài)并迅速做出應(yīng)對(duì),通過精準(zhǔn)營銷增加營業(yè)收入;二是提高效率。在制造業(yè),通過整合來自研發(fā)、工程和制造部門的數(shù)據(jù)以便實(shí)行并行工程,可以顯著縮短產(chǎn)品上市時(shí)間并提高質(zhì)量;在市場和營銷方面,大數(shù)據(jù)能夠幫助消費(fèi)者在更合理的價(jià)格范圍內(nèi)找到更合適的產(chǎn)品來滿足自身的需求,提高附加值。三是推動(dòng)創(chuàng)新。企業(yè)可從產(chǎn)品開發(fā)、生產(chǎn)和銷售的歷史大數(shù)據(jù)中找到創(chuàng)新的源泉,從客戶和消費(fèi)者的大數(shù)據(jù)中尋找新的合作伙伴,以及從售后反饋的大數(shù)據(jù)中發(fā)現(xiàn)額外的增值服務(wù),從而改善現(xiàn)有產(chǎn)品和服務(wù),創(chuàng)新業(yè)務(wù)模式。
對(duì)大數(shù)據(jù)發(fā)展的總體判斷
賽迪智庫認(rèn)為,數(shù)據(jù)分析是大數(shù)據(jù)的核心,數(shù)據(jù)分析技術(shù)是大數(shù)據(jù)技術(shù)的核心。但由于數(shù)據(jù)分析技術(shù)與人工智能、商業(yè)智能等相關(guān)聯(lián),而這些領(lǐng)域在過去若干年內(nèi)的進(jìn)展相對(duì)遲緩,并未進(jìn)入成熟應(yīng)用階段,在未來是否能夠?qū)崿F(xiàn)長足發(fā)展也未可知。這就決定了大數(shù)據(jù)發(fā)展也處于起步期,而當(dāng)前所設(shè)想的美好應(yīng)用藍(lán)圖能否快速實(shí)現(xiàn)也難以確定。
對(duì)于大數(shù)據(jù)發(fā)展,應(yīng)借鑒“大膽假設(shè)、小心求證”的科學(xué)研究思路,既高度重視大數(shù)據(jù)發(fā)展的戰(zhàn)略意義,盡早布局,搶位發(fā)展,又要正視大數(shù)據(jù)發(fā)展面臨的巨大困難和挑戰(zhàn),確定科學(xué)、現(xiàn)實(shí)的發(fā)展目標(biāo)和任務(wù)內(nèi)容,把握大數(shù)據(jù)發(fā)展核心環(huán)節(jié)和關(guān)鍵領(lǐng)域,堅(jiān)持“數(shù)據(jù)、技術(shù)、應(yīng)用”三位一體的發(fā)展策略,穩(wěn)步推進(jìn)。同時(shí),堅(jiān)持“有所為有所不為”和“適時(shí)而動(dòng)”的科學(xué)態(tài)度,對(duì)有一定基礎(chǔ)的工作加速推進(jìn),對(duì)大數(shù)據(jù)相關(guān)政策法規(guī)、標(biāo)準(zhǔn)規(guī)范制定等條件尚不成熟的工作,先跟蹤研究,以便今后條件成熟時(shí)能及時(shí)開展。
同時(shí),鑒于大數(shù)據(jù)應(yīng)用具有“一對(duì)一”的特性,且各行業(yè)領(lǐng)域、各部門和各地區(qū)的大數(shù)據(jù)強(qiáng)度都不同,務(wù)必需要結(jié)合自身的發(fā)展實(shí)際,不盲目跟風(fēng),在已有基礎(chǔ)設(shè)施條件和軟件配備下,循序漸進(jìn)地開展相關(guān)工作,使“大數(shù)據(jù)”工作有名有實(shí)。
VIA:中國經(jīng)濟(jì)時(shí)報(bào)