FB“大數(shù)據(jù)”45天耗100萬:不是所有公司都需要

　　也許你并不需要大數(shù)據(jù)

　　2012年“大數(shù)據(jù)”的發(fā)展如火如荼，然而本文的作者，數(shù)據(jù)分析公司SiSense副總裁Bruno Aziza卻認為并不是每個人都需要大數(shù)據(jù)。

　　“大數(shù)據(jù)”無處不在。從社交媒體初創(chuàng)公司到紐約的中央公園，每個公司似乎都在部署大數(shù)據(jù)分析。

　　著名數(shù)據(jù)分析公司Gartner的數(shù)據(jù)似乎也在證明這一點：最近的一份報告顯示，大數(shù)據(jù)將帶動2012年全球280億美元的IT支出，到2016年這個數(shù)字將超過2300億美元。2300億美元幾乎是葡萄牙全年的國內(nèi)生產(chǎn)總值。

　　但是，你需要花大價錢來部署大數(shù)據(jù)技術解決方案。大多數(shù)公司都沒有這么多IT預算，也請不起數(shù)據(jù)科學家或者數(shù)據(jù)分析團隊。

　　如果那些提供大數(shù)據(jù)服務的公司想為各種規(guī)模的企業(yè)提供服務，那么有幾個問題必須認識到并加以解決。

　　大數(shù)據(jù)太貴了！

　　您可能聽說過那些使用大數(shù)據(jù)的輝煌案例：Facebook每天要存儲大約100TB的用戶數(shù)據(jù)；NASA每天要處理約24TB的數(shù)據(jù)。這些數(shù)字確實令人印象深刻。

　　那么處理這些數(shù)據(jù)所需的成本是多少呢？按照亞馬遜Redshift的定價，NASA需要為45天數(shù)據(jù)存儲服務支付超過100萬美元。

　　根據(jù)最近的一項調(diào)查，大多數(shù)企業(yè)的CIO稱他們的預算支付不起大數(shù)據(jù)部署的成本。數(shù)據(jù)存儲和處理的成本實在太高，我們需要尋求其他的解決方案，讓規(guī)模較小的公司不被“大數(shù)據(jù)”拒之門外。

　　大數(shù)據(jù)的關鍵不是“大”

　　目前全球最大的科技公司都需要和PB級規(guī)模的數(shù)據(jù)打交道。然而，SAP的研究表明，95%的企業(yè)通常只需要使用0.5TB到40TB的數(shù)據(jù)。

　　Facebook和NASA的例子是個例外，而不是常態(tài)。事實是，處理數(shù)據(jù)并不是大公司的專利。如果你研究一下美國公司的規(guī)模，你會發(fā)現(xiàn)有超過50000家公司只有20至500名員工，其中大部分都有解決數(shù)據(jù)問題的需求。所以大數(shù)據(jù)市場最大的需求并不是來自那些《財富》50強的大企業(yè)，而是來自《財富》500000強。為什么我們只關注那些少數(shù)的例外，而忽視了那些大多數(shù)有數(shù)據(jù)處理需求，但既不是《財富》50強也沒有PB級規(guī)模數(shù)據(jù)的公司？

　　有時候我在想，如果我們改變了大數(shù)據(jù)的定義會發(fā)生什么？通常人們用3V(velocity，volume，variety)來描述大數(shù)據(jù)，我們不妨換一個說法：“大數(shù)據(jù)是一種主觀狀態(tài)，它描述的是一個公司的基礎架構無法滿足其數(shù)據(jù)處理需求時的情形。”

　　這個定義可能沒有那么光鮮，但它肯定會更接近今天的現(xiàn)實。