青島游戲機(jī)構(gòu) 什么是大數(shù)據(jù)
什么是大數(shù)據(jù)，也就是大數(shù)據(jù)概念A(yù)的定義，是大數(shù)據(jù)概念的核心。目前，大數(shù)據(jù)的概念尚未形成統(tǒng)一的認(rèn)識(shí)。一些文獻(xiàn)從技術(shù)分析、應(yīng)用價(jià)值、社會(huì)發(fā)展影響等角度對(duì)大數(shù)據(jù)概念進(jìn)行了不同的定義。這些多樣化的定義可以統(tǒng)一到廣義的大數(shù)據(jù)概念中，即大數(shù)據(jù)是數(shù)據(jù)、技術(shù)、人才和組織的組合。例如，大數(shù)據(jù)發(fā)展、大數(shù)據(jù)建設(shè)、大數(shù)據(jù)政策等，使用廣義的大數(shù)據(jù)概念。一般來(lái)說(shuō)，大數(shù)據(jù)是指數(shù)據(jù)本身，這是一個(gè)狹義的大數(shù)據(jù)概念。其中，麥肯錫最權(quán)威、最有影響力的定義是:大數(shù)據(jù)是指超出典型數(shù)據(jù)庫(kù)軟件采集、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。這個(gè)定義以數(shù)據(jù)規(guī)模為衡量大數(shù)據(jù)的標(biāo)準(zhǔn)，強(qiáng)調(diào)大數(shù)據(jù)的大，從而區(qū)分大數(shù)據(jù)和小數(shù)據(jù)。
大數(shù)據(jù)被標(biāo)榜為大數(shù)據(jù)，認(rèn)為大數(shù)據(jù)是所有數(shù)據(jù)(N=all)，即使用手頭的所有數(shù)據(jù)，而不是其中的一小部分。然而，N=all只是一個(gè)誘人的假象。首先，并不是所有的信息源都能生成數(shù)據(jù)。以人為例，無(wú)論P(yáng)C、平板、智能手機(jī)、可穿戴設(shè)備如何普及，還是有相當(dāng)一部分人錯(cuò)過(guò)了這些設(shè)備，在數(shù)據(jù)上屬于沉默者。因此，基于互聯(lián)網(wǎng)和智能終端的數(shù)據(jù)不是所有數(shù)據(jù)。尤其是人的思想、心理、情緒、意識(shí)等。，通常不能以數(shù)據(jù)的形式表達(dá)出來(lái)，而且除了所有數(shù)據(jù)。其次，數(shù)據(jù)收集受公民隱私、商業(yè)秘密或國(guó)家安全等客觀條件的制約，導(dǎo)致數(shù)據(jù)空白和數(shù)據(jù)不足。第三，大數(shù)據(jù)本身不是全面數(shù)據(jù)。受有意操縱、誘導(dǎo)或無(wú)意識(shí)主觀偏見(jiàn)的影響，獲得的大數(shù)據(jù)可能是片面的、局部的。另外，數(shù)據(jù)公開(kāi)，數(shù)據(jù)共享并非絕對(duì)的，而數(shù)據(jù)壁壘，數(shù)據(jù)孤島仍將長(zhǎng)期存在。所以，大數(shù)據(jù)并不等于全部數(shù)據(jù)，它仍然是部分?jǐn)?shù)據(jù)，局部數(shù)據(jù)。此外，大數(shù)據(jù)之所以如此大，是因?yàn)閿?shù)字圖片和數(shù)字圖像的興起導(dǎo)致了數(shù)據(jù)量空間的膨脹，其中包含了大量無(wú)用的數(shù)據(jù)，遠(yuǎn)沒(méi)有很多人想象的那么重要。追求所有數(shù)據(jù)只會(huì)增加成本和算法的難度，不一定能產(chǎn)生實(shí)際效果。
大數(shù)據(jù)的大，即數(shù)據(jù)量，是否有明確的標(biāo)準(zhǔn)？英特爾和美國(guó)國(guó)家科學(xué)基金會(huì)提出，一個(gè)機(jī)構(gòu)每周產(chǎn)生和分析500TB以上的數(shù)據(jù)可以稱(chēng)為大數(shù)據(jù)。另一種說(shuō)法是，大數(shù)據(jù)的數(shù)量級(jí)通常應(yīng)該達(dá)到太字節(jié)(TB)的數(shù)量級(jí)。這兩種觀點(diǎn)對(duì)大數(shù)據(jù)量的描述差異很大。事實(shí)上，數(shù)據(jù)量是大數(shù)據(jù)的外在特征，并非衡量大數(shù)據(jù)的唯一標(biāo)準(zhǔn)。在2011年的一項(xiàng)調(diào)查中，美國(guó)《科學(xué)》雜志發(fā)現(xiàn)，在科學(xué)研究中，48.3%的受訪者不到1GB，92.4%的受訪者使用的數(shù)據(jù)不到1TB。事實(shí)上，日常大數(shù)據(jù)分析不需要大規(guī)模的數(shù)據(jù)集，Hadoop運(yùn)行處理輸入的數(shù)據(jù)集往往小于14GB。即便是Facebook，90%的任務(wù)，數(shù)據(jù)集也不到100GB。大數(shù)據(jù)的大數(shù)據(jù)的大用Big表達(dá)，而不是Large或Vast。后者是指具體直觀的體積，而B(niǎo)ig是指抽象意義。可見(jiàn)，不要拘泥于從數(shù)據(jù)量上理解大數(shù)據(jù)。在大數(shù)據(jù)應(yīng)用中，不要迷戀大，盲目追求完美，盲目收集大數(shù)據(jù)；而是要根據(jù)自己的數(shù)據(jù)能力和價(jià)值目標(biāo)選擇所需的核心數(shù)據(jù)。
