2013年1月,維克托的《大數(shù)據(jù)時(shí)代》出版,由于正逢互聯(lián)網(wǎng)思維、大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新概念的風(fēng)起云涌,這件遠(yuǎn)涉重洋來到中國的舶來品,一時(shí)引得洛陽紙貴。
從維克托界定的大數(shù)據(jù)使用的三個(gè)原則來看(要整體不要抽樣;要效率不要絕對(duì)精確;要相關(guān)不要因果),大數(shù)據(jù)的界定似乎正是針對(duì)小數(shù)據(jù)使用缺陷來界定的,而這些所謂的缺陷正是我們線下傳統(tǒng)數(shù)據(jù)收集和處理的基本原則。
在大數(shù)據(jù)大行其道之時(shí),我們積累了幾十年、上百年的小數(shù)據(jù)處理方法是否就意味著過時(shí)了呢?
要回答這個(gè)問題,我們還是要先從小數(shù)據(jù)的定義入手。
目前
網(wǎng)絡(luò)和行業(yè)都缺乏對(duì)小數(shù)據(jù)的標(biāo)準(zhǔn)定義,在美國、乃至臺(tái)灣有一種關(guān)于小數(shù)據(jù)的定義,認(rèn)為相對(duì)于服務(wù)趨勢(shì)和
戰(zhàn)略的大數(shù)據(jù)而言,那些服務(wù)于個(gè)體而形成的數(shù)據(jù)指標(biāo),應(yīng)該稱之為小數(shù)據(jù)。舉例來說,谷歌根據(jù)人們?cè)谒阉饕媸褂玫年P(guān)鍵詞的相關(guān)性,判斷H1N1流感趨勢(shì),為衛(wèi)生防疫部門提供預(yù)防決策屬于大數(shù)據(jù)的典型應(yīng)用;而耐克和蘋果合作開發(fā)的“Nike+”軟件,為個(gè)人的
健康和鍛煉提供的數(shù)據(jù)指標(biāo)和參考,就屬于小數(shù)據(jù)的典型范疇。
我想說的是,如果從維克托的大數(shù)據(jù)使用的三個(gè)原則和標(biāo)準(zhǔn),我們可以清楚的看到,他所意指的小數(shù)據(jù)更多的是我們沿用傳統(tǒng)方法收集和整理的數(shù)據(jù)。而這本書的序作者之一的謝文也明確表示,在互聯(lián)網(wǎng)技術(shù)席卷的今天,整個(gè)世界會(huì)明顯地劃分為大數(shù)據(jù)時(shí)代、小數(shù)據(jù)時(shí)代、無數(shù)據(jù)時(shí)代,小數(shù)據(jù)的時(shí)代指向更加明顯。
所以,我們定義的小數(shù)據(jù),應(yīng)該是在信息和數(shù)據(jù)不完整的情況下,通過科學(xué)抽樣和技術(shù)調(diào)整,為個(gè)體或某類具體問題提供數(shù)據(jù)參考的數(shù)據(jù)包。
弄清楚了小數(shù)據(jù)的定義,我們來看看小數(shù)據(jù)相對(duì)于大數(shù)據(jù),是不是真的已經(jīng)out了?
一、整體數(shù)據(jù)是不是一定優(yōu)于抽樣數(shù)據(jù)?
互聯(lián)網(wǎng)技術(shù)的發(fā)展,為收集整體數(shù)據(jù)而產(chǎn)生的成本下降直至忽略不計(jì)提供了可能,而傳統(tǒng)數(shù)據(jù)的收集方法是在平衡成本和精確之下,選擇規(guī)范的抽樣方法,兩者在數(shù)量級(jí)的比較上就不在一個(gè)體量級(jí)。從統(tǒng)計(jì)的精確度上來說,數(shù)據(jù)越大,精確度越高,結(jié)果也會(huì)更加逼近于真相。當(dāng)年傳統(tǒng)的數(shù)據(jù)處理,正是受制于數(shù)據(jù)越多成本越大,或者某些現(xiàn)實(shí)條件,無法窮盡數(shù)據(jù),才不得已采取了抽樣分析的折中辦法。從數(shù)量的角度講,大數(shù)據(jù)確實(shí)要優(yōu)于小數(shù)據(jù)。
但是,小數(shù)據(jù)分析方法,比如樣本方差,盡可能用各類參數(shù)將樣本與整體之間的差異縮小,讓結(jié)果無限逼近真實(shí),在趨勢(shì)和策略判斷上,抽樣判斷和整體判斷,其實(shí)很多時(shí)候都是五十步和一百步的區(qū)別;另一方面,小數(shù)據(jù)時(shí)代積累的各類數(shù)據(jù)處理方法,也仍然是大數(shù)據(jù)時(shí)代數(shù)據(jù)處理的基礎(chǔ)和原則,拋棄小數(shù)據(jù)來談大數(shù)據(jù),大數(shù)據(jù)也將是無源之水、無本之木。
二、小數(shù)據(jù)處理數(shù)據(jù)的原則是效率優(yōu)先、精確為輔。
大數(shù)據(jù)使用的第二個(gè)原則追求效率而不是絕對(duì)精確,需要重點(diǎn)提到的是,小數(shù)據(jù)處理體系的存在,正是建立在追求效率而不是絕對(duì)精確之上。小數(shù)據(jù)營銷一般是針對(duì)某類具體問題,在特定的時(shí)間段里,需要開展數(shù)據(jù)的收集、整理和分析,并得出結(jié)論以做行動(dòng)參考。小數(shù)據(jù)營銷更符合實(shí)戰(zhàn)營銷中,不可能在信息完整情況下再進(jìn)行判斷的現(xiàn)實(shí)。今天乃至以后很長一段時(shí)間的營銷現(xiàn)實(shí)是:我們必須在競(jìng)爭對(duì)手信息不完整、消費(fèi)者信息不完整、
市場(chǎng)信息不完整等諸多現(xiàn)實(shí)情況下,在指定的時(shí)間前,做出判斷和決策,并付諸于行動(dòng)。時(shí)機(jī)就是戰(zhàn)機(jī),等到所有信息都完整了,黃花菜也涼了。所以,小數(shù)據(jù)才會(huì)有用抽樣代替整體的選擇。
另一個(gè)現(xiàn)實(shí)情況是,在現(xiàn)階段甚至很長的一段時(shí)間里,靠互聯(lián)網(wǎng)自動(dòng)采集所有數(shù)據(jù)還不現(xiàn)實(shí),技術(shù)的發(fā)展和普及需要時(shí)間,很多數(shù)據(jù)還無法實(shí)現(xiàn)
網(wǎng)絡(luò)化,比如因?yàn)楝F(xiàn)實(shí)的
財(cái)務(wù)、稅務(wù)問題,采集經(jīng)銷商的數(shù)據(jù)就一直是個(gè)難點(diǎn),ERP喊了多少年,進(jìn)銷存喊了多少年,在上了系統(tǒng)的企業(yè)里面,經(jīng)銷商的相關(guān)數(shù)據(jù)有多少水分,每個(gè)企業(yè)都心知肚明。
三、小數(shù)據(jù)具體問題的個(gè)性化處理,更偏重于因果關(guān)系而不是相關(guān)關(guān)系。
維克托提到大數(shù)據(jù)的第三個(gè)原則,就是大數(shù)據(jù)更注重相關(guān)關(guān)系而不是因果關(guān)系,即兩組數(shù)據(jù)的相關(guān)性是數(shù)據(jù)處理的第一要?jiǎng)?wù),至于為什么相關(guān),這個(gè)問題交給計(jì)算機(jī)自己處理。相關(guān)性和因果性,孰輕孰重,《大數(shù)據(jù)時(shí)代》的譯者周濤也曾表達(dá)了不同觀點(diǎn)。我們常說某人讀書不求甚解,通常是指其知其然,而不知其所以然。今天大數(shù)據(jù)將“所以然”的東西交給計(jì)算機(jī),使用者只對(duì)“然”負(fù)責(zé),我和朋友調(diào)侃說,這也許是機(jī)器統(tǒng)治人類的第一步。
在高度繁榮的信息社會(huì),你要確保計(jì)算機(jī)“所以然”是可控的,得有兩個(gè)前提:一個(gè)是計(jì)算編程的邏輯在開始設(shè)定時(shí)就是正確的;一個(gè)是機(jī)器進(jìn)行海量數(shù)據(jù)處理時(shí),自身不會(huì)因?yàn)椤捌凇钡纫蛩卦斐捎?jì)算錯(cuò)誤,而這正是大數(shù)據(jù)面臨的問題。
小數(shù)據(jù)由于是針對(duì)特定問題開展的數(shù)據(jù)收集、處理和分析,人的因素比較大,大數(shù)據(jù)的短處正好成為了TA的長處,在數(shù)據(jù)的處理過程當(dāng)中,目的的指向性和人與數(shù)據(jù)的互動(dòng)會(huì)更加有效。
關(guān)于大數(shù)據(jù)相關(guān)性的問題,我曾看到一個(gè)網(wǎng)上的段子,問影響人壽命長短的因素有哪些,有人通過相關(guān)分析得出,一個(gè)人慶祝生日的次數(shù)與壽命的長短成正比,換句話說,一個(gè)人要長壽就要多慶祝生日。稍有常識(shí)的人,都知道這是一個(gè)逗比的笑話,但是當(dāng)計(jì)算機(jī)給出其他的錯(cuò)誤相關(guān)結(jié)果時(shí),我們有多少人能夠用常識(shí)判斷出,這是否是又一個(gè)逗比的結(jié)果?
用小數(shù)據(jù)抵制甚至漠視大數(shù)據(jù)時(shí)代的到來,是逆潮流而動(dòng)的掩耳盜鈴;但用大數(shù)據(jù)時(shí)代來否認(rèn)小數(shù)據(jù)的價(jià)值,是將大數(shù)據(jù)的歷史和未來進(jìn)行割裂,依然停留在偽數(shù)據(jù)時(shí)代。