摘要：大數據大數據是用于描述海量的具有各種結構并且高速生成的數據的一個術語這類數據對用于存儲和處理數據傳統即關系數據庫管理系統提出了挑戰大數據為處理和存儲數據的新途徑鋪平了道路在本章節中我們將探討大數據基礎來源以及挑戰將介紹大數據的三個數量

大數據是用于描述海量的,具有各種結構并且高速生成的數據的一個術語.這類數據對用于存儲和處理數據傳統RDBMS(即關系數據庫管理系統)提出了挑戰.大數據為處理和存儲數據的新途徑鋪平了道路.
在本章節中,我們將探討大數據基礎、來源以及挑戰,將介紹大數據的三個V---數量(volume)、速率(velocity)和多樣性(variety).

供應給大眾使用的互聯網和電子設備,其數量每天都在增長.尤其是,智能手機、社交網絡站點以及像平板電腦和傳感器這樣的其他數據生成設備都在導致數據爆炸性增長.
智能手機、社交網絡站點以及其他媒體都在創造數據洪流以便這些公司能夠處理和存儲.當數據的大小對典型軟件工具捕獲、處理、存儲和管理數據的能力提出挑戰時,我們就面臨大數據的處理.

大數據是具有高容量的、高速生成的并且具有多種樣式的數據.
IDC的分析表明,一年中所產生的數字數據量要比整個世界用于存儲它的總體容量還大,這意味著沒有辦法存儲所產生的所有數據.
大數據的商業和經濟潛力以及其廣闊的影響是很重要的問題,商業領袖和政策制定者必須應對該問題.

有些行業展現出了遠高于其他行業的數據強度水平;在這里,數據強度指的是該行業中跨公司/企業所累積的數據的平均量,這表明這些公司/企業擁有更多的從大數據中獲得價值的潛力.
金融服務行業,其中包括銀行、投資以及安全服務,都是高度交易導向的;根據法規,它們也被要求存儲數據.
通信和媒體公司、公用事業以及政府,這些領域中的每家企業或組織同樣存儲了大量的數字數據.
離散型和流程式制造業具有以字節方式存儲的最高水平的聚合數據,不過,這些行業在強度排名要遠低得多.

數據存儲的類型也會因行業而異.例如,
零售業和批發業、政府的行政管理部門以及金融服務都會產生大量的文本和數值數據,其中包括客戶數據、交易信息以及數學建模和模擬.
制造、醫療衛生、媒體和通信這樣的行業都要負責處理和存儲較高比例的多媒體數據.
在大數據的地理性傳播方面,目前北美和歐洲占據了全球總量的70%.幸虧有云計算,一個地區產生的數據才能被存儲到另一個國家的數據中心.因此擁有大量云和主機服務提供商產品的國家往往具有大量的數據存儲.

正如MGI報告中所強調的,這些數據的主要來源是:

企業,如今它們正在收集更多粒度的數據,其中包含每筆交易的更多詳細信息,,以便理解消費者的行為.

跨行多媒體使用的增長,例如醫療衛生、商品量產公司等.

日益流行的社交媒體站點,例如facebook、Twitter等.

智能手機的迅速普及,它們使得用戶積極地使用社交媒體站點以及其他互聯網應用.

日常生活中傳感器和設備使用的增加,網絡將它們與計算機資源連接在一起.

數據的增長速度正在提高,并且其多樣性也是如此.另外,數據產生的模型已經從一種模式(一些公司產生數據,而其他公司消費這些數據)轉變為另一種模式(每個人都產生數據,而每個人也都消費這些數據).這是由于消費者信息技術和互聯網技術伴隨著像社交媒體這樣的潮流而滲透到人們的生活中所造成的.

我們已經用三個V定義了大數據:數量、速率以及多樣性."大"并不僅僅指數量

大數據中的數量意味著數據的大小.正如上述所討論過的,各種因素都會導致數據大小的增加.
這樣大量的數據對于大數據技術來說是最大的挑戰.用及時有效且低成本的方式來存儲、處理和訪問數據,其所需的存儲和處理能力是巨大的.

從各種設備和來源產生的數據并不遵循固定的格式或結構.如今無法對數據的結構進行控制.新的數據來源和結構正在被飛速創建.因此技術上的責任在于找到一個解決方案來分析和可視化所存在的大量各式各樣的數據.

大數據中的速率是指數據被創造的速度以及處理這些數據所需要的速度.如果無法按照所需的速度處理數據,它就失去了其意義.在處理數據的速率方面,能夠足夠快速地做出反應并且進行處理是大數據技術的另一個挑戰.
在討論大數據時都會談及第4個V.這第4個V就是真實性(veracity),它意味著并非所有的數據都是重要的,因此識別出哪些數據能夠提供有意義的見解,哪些應該被忽略是至關重要的.

傳統系統旨在處理結構化的數據,其中帶有列的表都是定義好的.保存在列中的數據格式也是預先就知道的.
由于大數據可以是非結構化的,因此被創建以執行快速查詢和分析的傳統系統就無法被用于保存或處理大數據.

傳統系統使用了大型服務器以及NAS和SAN系統來存儲數據.隨著數據的增長,就必須增加服務器的大小以及后端存儲大小.
傳統的舊式系統通常運行于可縱向拓展的模型中,需要為一臺服務器添加越來越多的計算資源、內存和存儲來滿足日益增長的數據需求.

傳統系統中的算法旨在處理結構化數據,比如字符串和整數.它們也受到數據大小的限制.
因此傳統系統無法應對非結構化數據和大量此類數據的處理,以及需要執行的處理所需達到的速度.

以下是讓組織能夠最大限度地利用其大數據的最新技術進步:

特別為大型非結構化數據設計的新的存儲和處理技術

并行處理

群集

大型網格環境

高連通性和高吞吐量

云計算和橫向拓展結構