大數(shù)據(jù)從何而來

Tecode 發(fā)布于2022-06-28 18:59 / 2162人閱讀

摘要：到年，這一數(shù)據(jù)將急劇上升至。為了了解當(dāng)今大數(shù)據(jù)的背景，重要的是要了解每個(gè)階段如何對(duì)大數(shù)據(jù)的當(dāng)代意義做出貢獻(xiàn)。數(shù)據(jù)庫(kù)管理和數(shù)據(jù)倉(cāng)庫(kù)被視為大數(shù)據(jù)第階段的核心組件。

自1990年代初以來，一直使用“大數(shù)據(jù)”一詞。盡管尚不清楚最初使用該術(shù)語的人是誰，但大多數(shù)人都贊揚(yáng)John R. Mashey（當(dāng)時(shí)在Silicon Graphics工作）。

從本質(zhì)上講，大數(shù)據(jù)不是全新的東西，也不只是過去二十年的東西。幾個(gè)世紀(jì)以來，人們一直在嘗試使用數(shù)據(jù)分析和分析技術(shù)來支持他們的決策過程。公元前300年左右的古埃及人已經(jīng)嘗試捕獲亞歷山大圖書館中所有現(xiàn)有的“數(shù)據(jù)”。此外，羅馬帝國(guó)過去曾仔細(xì)分析其軍隊(duì)的統(tǒng)計(jì)數(shù)據(jù)，以確定其軍隊(duì)的最佳分配。

但是，在過去的二十年中，生成數(shù)據(jù)的數(shù)量和速度發(fā)生了變化-超出了人類的理解范圍。2013年，全球數(shù)據(jù)總量為4.4 ZB。到2020年，這一數(shù)據(jù)將急劇上升至44 ZB。從這個(gè)角度來看，44 ZB相當(dāng)于44萬億千兆字節(jié)。即使采用當(dāng)今最先進(jìn)的技術(shù)，也無法分析所有這些數(shù)據(jù)。處理這些越來越大（和非結(jié)構(gòu)化）數(shù)據(jù)集的需求是過去十年中傳統(tǒng)數(shù)據(jù)分析如何轉(zhuǎn)變?yōu)椤按髷?shù)據(jù)”。

為了說明隨著時(shí)間的發(fā)展，大數(shù)據(jù)的發(fā)展大致可以分為三個(gè)主要階段。每個(gè)階段都有自己的特征和功能。為了了解當(dāng)今大數(shù)據(jù)的背景，重要的是要了解每個(gè)階段如何對(duì)大數(shù)據(jù)的當(dāng)代意義做出貢獻(xiàn)。

大數(shù)據(jù)階段1.0

數(shù)據(jù)分析，數(shù)據(jù)分析和大數(shù)據(jù)源于數(shù)據(jù)庫(kù)管理的長(zhǎng)期領(lǐng)域。它在很大程度上依賴于關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）中存儲(chǔ)的數(shù)據(jù)中常見的存儲(chǔ)，提取和優(yōu)化技術(shù)。

數(shù)據(jù)庫(kù)管理和數(shù)據(jù)倉(cāng)庫(kù)被視為大數(shù)據(jù)第1階段的核心組件。它使用諸如數(shù)據(jù)庫(kù)查詢，在線分析處理和標(biāo)準(zhǔn)報(bào)告工具之類的眾所周知的技術(shù)，為我們今天所知的現(xiàn)代數(shù)據(jù)分析奠定了基礎(chǔ)。

大數(shù)據(jù)階段2.0

自2000年代初以來，Internet和Web開始提供獨(dú)特的數(shù)據(jù)收集和數(shù)據(jù)分析機(jī)會(huì)。隨著網(wǎng)絡(luò)流量和在線商店的擴(kuò)展，雅虎，亞馬遜和eBay等公司開始通過分析點(diǎn)擊率，特定于IP的位置數(shù)據(jù)和搜索日志來分析客戶行為。這為可能性開辟了一個(gè)全新的世界。

從數(shù)據(jù)分析，數(shù)據(jù)分析和大數(shù)據(jù)的角度來看，基于HTTP的Web流量導(dǎo)致半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的大量增加。除了標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)類型，組織現(xiàn)在還需要找到新方法和存儲(chǔ)解決方案來處理這些新數(shù)據(jù)類型，以便對(duì)其進(jìn)行有效分析。社交媒體數(shù)據(jù)的到來和增長(zhǎng)極大地加劇了對(duì)工具，技術(shù)和分析技術(shù)的需求，這些工具，技術(shù)和分析技術(shù)能夠從這種非結(jié)構(gòu)化數(shù)據(jù)中提取出有意義的信息。

大數(shù)據(jù)階段3.0

盡管基于Web的非結(jié)構(gòu)化內(nèi)容仍然是許多組織在數(shù)據(jù)分析，數(shù)據(jù)分析和大數(shù)據(jù)中的主要重點(diǎn)，但是從移動(dòng)設(shè)備中發(fā)現(xiàn)了檢索有價(jià)值的信息的當(dāng)前可能性。

移動(dòng)設(shè)備不僅可以分析行為數(shù)據(jù)（例如點(diǎn)擊和搜索查詢），而且還可以存儲(chǔ)和分析基于位置的數(shù)據(jù)（GPS數(shù)據(jù)）。隨著這些移動(dòng)設(shè)備的進(jìn)步，可以跟蹤運(yùn)動(dòng)，分析身體行為甚至健康相關(guān)數(shù)據(jù)（每天要執(zhí)行的步驟數(shù)）。這些數(shù)據(jù)為交通，城市設(shè)計(jì)和醫(yī)療保健提供了全新的機(jī)會(huì)。

同時(shí)，基于傳感器的基于Internet的設(shè)備的興起正以前所未有的速度增加了數(shù)據(jù)的生成。成千上萬的電視，恒溫器，可穿戴設(shè)備，甚至是冰箱，都被稱為“物聯(lián)網(wǎng)”（IoT），現(xiàn)在每天都在生成ZB數(shù)據(jù)。從這些新數(shù)據(jù)源中提取有意義和有價(jià)值的信息的競(jìng)賽才剛剛開始。

下圖列出了大數(shù)據(jù)的三個(gè)階段的摘要：