采集記錄足夠多的數據，使工作更加針對化和精準化，這是大數據嗎？這不是大數據而只是數據化。

什么是大數據呢？例如洛杉磯警方曾對以往的刑事案件做了統計，通過算法得出了第二天的高概率犯罪地點，然后有針對性的派警察去該處巡邏，從而使得當地的犯罪現象下降20%。這是大數據。

再比如，經濟學家都認為股票無法預測，而一位劍橋大學畢業的博士搞了個公司，對有史以來幾乎所有的證券交易的數據進行記錄，然后通過算法進行分析。

他對什么國家政策、公司業績、行業走向等等一眼都不看，100%地排除主觀意志的，只根據計算結果來進行投資，最后賺了大錢。這是大數據。

大數據的精髓并不在于數據的精準和數量，而在于對內在規律的挖掘和對未來趨勢的預測。其思路是：一個結果是有很多原因的，原因作用的強度可能是隨機的，我們對其中作用的機理并不清楚。

我們難以找出規律性，但知道規律性就蘊含在結果數據之中，如果我們能建設合適的模型，寫出好的算法，就有可能把這個規律性提煉出來，從而能科學地發現真相和預測未來。

今天上午在貴州省大數據中心看到了大數據應用的事例。

金潤建設和鵬潤達這兩家企業分別投標200多次，一次也沒中過，依然積極地投。投標是要成本的，這兩家公司那里來的動力？

通過大數據的知識挖掘技術，發現了它們總是陪著固定的一家公司一同招標，最后總是那家公司中標。圍標、串標、陪標的秘密被大數據挖掘出來了????

數據蘊含著無窮的價值，大數據就是“鉆石礦”，但必須善于挖掘。

關于大數據，只需要了解這幾點。

第一：什么是大數據

簡而言之，大數據是指大數據集，這些數據集經過計算分析可以用于揭示某個方面相關的模式和趨勢。數據量不在多，只要足以得出可靠的結論即可。

第二：如何獲取大數據

大數據無處不在，隨著時間的推移，一個簡單的Google搜索就能夠找到幾乎所有的數據存儲庫。里面不知道有多少數據可用于訪問和分析。我現在這里提供一個可供學習的數據集列表：（https://www.kdnuggets.com/datasets/index.html）

第三：用這些數據做什么

數據采集、數據存儲、數據清洗、數據分析、數據可視化

1.數據采集

在發生任何事情之前，需要一些數據。這可以通過多種方式獲得，通常通過對公司Web服務的API調用。尤其是我們在工作中遇到的數據很多都是來自系統內的數據，來自數據庫的數據來自日志的數據。

數據采集常用的手段有：SQL／Python，其中SQL是數據分析的必備技能，Python是加分項。

2.數據存儲

大數據的主要難點在于如何管理數據的存儲。這完全取決于負責建立數據存儲的預算和個人具備的專業知識，因為大多數需要一些編程知識來實施，一個良好的數據庫能讓我們直接地存儲和查詢數據。

3.數據清理

采集來的數據一般是不規整的，字段缺失或者有錯誤是常有的事情，如果我們不對這些數據進行清洗，分析出的結果就會出現各種異常。在數據清洗這一塊就需要用到一些簡單的統計學基礎。

4.數據挖掘

數據挖掘是發現數據庫內的見解的過程。這樣做是為了能用掌握的數據提供預測和做出一些正確的決定，這部分往往涉及一些算法，也是最困難的部分。

5.數據分析

一旦收集完所有數據，就需要分析以尋找數據的模式和趨勢，發現一些不同尋常的地方，比如異常點或增長點、下降點。

6.數據可視化

也許最重要的是數據的可視化。這是先完成所有工作并輸出理想情況下任何人都能理解的可視化的部分。最常使用某種編程語言（如Plot.ly、d3.js）或軟件（Tableau）來完成。

第四：就業前景

就根據教育部近日公布的2017年度高校本科專業備案和審批結果顯示，新增2311個專業中，“數據科學與大數據技術”、“機器人工程”等專業熱度最高。大數據和人工智能一定是未來有美好前景的專業。從谷歌搜索熱度看，自2010年左右熱度只增不減。

歡迎各位或者各位的孩子們加入數據分析師的隊伍！

這里從大數據和AI人工智能關系層面做個簡單的分享！

大數據：人工智能背后的基石

大數據是人工智能的基石，目前的深度學習主要是建立在大數據的基礎上，即對大數據進行訓練，并從中歸納出可以被計算機運用在類似數據上的知識或規律。

簡單而言何為大數據？

雖然很多人將其定義為“大數據就是大規模的數據”。

但是，這個說法并不準確！

“大規模”只是指數據的量而言。

數據量大，并不代表著數據一定有可以被深度學習算法利用的價值。

例如：地球繞太陽運轉的過程中，每一秒鐘記錄一次地球相對太陽的運動速度、位置，可以得到大量數據。可如果只有這樣的數據，其實并沒有太多可以挖掘的價值！

大數據這里我們參閱馬丁·希爾伯特的總結，今天我們常說的大數據其實是在2000年后，因為信息交換、信息存儲、信息處理三個方面能力的大幅增長而產生的數據：

信息交換：據估算，從1986年到2007年這20年間，地球上每天可以通過既有信息通道交換的信息數量增長了約217倍，這些信息的數字化程度，則從1986年的約20%增長到2007年的約99.9%。在數字化信息爆炸式增長的過程里，每個參與信息交換的節點都可以在短時間內接收并存儲大量數據。

信息存儲：全球信息存儲能力大約每3年翻一番。從1986年到2007年這20年間，全球信息存儲能力增加了約120倍，所存儲信息的數字化程度也從1986年的約1%增長到2007年的約94%。1986年時，即便用上我們所有的信息載體、存儲手段，我們也不過能存儲全世界所交換信息的大約1%，而2007年這個數字已經增長到大約16%。信息存儲能力的增加為我們利用大數據提供了近乎無限的想象空間。

信息處理：有了海量的信息獲取能力和信息存儲能力，我們也必須有對這些信息進行整理、加工和分析的能力。谷歌、Facebook等公司在數據量逐漸增大的同時，也相應建立了靈活、強大的分布式數據處理集群。

大數據在應用層面：大數據往往可以取代傳統意義上的抽樣調查、大數據都可以實時獲取、大數據往往混合了來自多個數據源的多維度信息、大數據的價值在于數據分析以及分析基礎上的數據挖掘和智能決策。

美國《大西洋月刊》公布的一段A.I.聊天記錄截圖

延伸閱讀：聊天機器人竟自創語言“對話” 臉書將其緊急關停

實際上人工智能的發展，離不開海量數據進行訓練，究其根本大數據的循環往復無數次的訓練和深度學習才有了人工+智能！

實際上人工智能、大數據、物聯網以及云計算，彼此之間皆存在著千絲萬縷的“親緣”關系！！！

大數據是我的主要研究方向之一，同時也在帶大數據方向的研究生，所以我來回答一下這個問題。

首先，大數據技術是一系列圍繞數據價值化的技術總稱，包括數據采集技術、數據存儲技術、數據分析技術、數據呈現技術以及數據應用技術等，其中大數據技術與物聯網技術、云計算技術、邊緣計算技術和人工智能技術有緊密的聯系。

按照目前大數據產業鏈的分布來說，大數據技術是從數據采集技術開始的，目前主要的數據采集渠道包括物聯網系統（占比百分之90以上）、Web系統（含App）和傳統信息系統，比較常見的數據采集方式就是通常“爬蟲”等方式來實現，另外涉及到數據清洗技術，重點在于Sql語言的學習和掌握。

數據分析是目前大數據技術的重點，數據分析技術有兩種常見的方式，分別是機器學習方式和統計學方式，不論采用哪種方式都需要具備一定的數學基礎和編程基礎。以機器學習方式為例，首先要掌握常見的機器學習算法，包括決策樹、k-mean、SVM、Apriori、EM、PageRank、kNN、樸素貝葉斯等，接下來需要通過編程語言完成算法實現，目前Python語言在機器學習領域有廣泛的使用。

通過Python語言來進行數據分析需要掌握一些比較常見的庫，包括Numpy、Scipy、Matplotlib（用于結果呈現）、pandas等。Python語言借助于大量的庫能夠為數據分析人員節省大量的時間，而且調整起來也比較方便。目前大數據比較常見的落地應用就是數據分析，尤其是結合具體行業的場景大數據分析。

在產業互聯網領域，由于企業的數據具有高度的機密性，所以通常對于數據的應用邊界有嚴格的要求，此時就需要采用云計算和邊緣計算相結合的數據處理方式，讓數據在網絡邊緣進行處理，把結果返回到云端。

隨著大數據技術和5G網絡的逐漸落地應用，大數據技術也將被賦予更多的含義，相信未來大數據技術體系會越來越龐大，相關的研究方向也會越來越多。

我從事互聯網行業多年，目前也在帶計算機專業的研究生，主要的研究方向集中在大數據和人工智能領域，我會陸續寫一些關于互聯網技術方面的文章，感興趣的朋友可以關注我，相信一定會有所收獲。

如果有互聯網方面的問題，或者考研方面的問題，都可以咨詢我，謝謝！

最簡單和最常用的，淘寶推薦、頭條推薦，都是在數據篩查后，匯總用戶的喜好進行的針對性推薦，日常中應用非常廣泛。說的貼切點就是數據的收集、篩查、檢索和應用，通過關鍵詞的篩查，可以對事物的某一特質進行特征展示。

大數據的概念就不用過多介紹，海量的數據、廣泛的來源、眾多不同結構、快速的采集以及高頻的變化等等，大數據從概念上跟數據中臺、數據湖泊有密切關系，技術上跟Hadoop、Spark、ElasticSearch、MPP有直接關聯。

現在掌握大數據主要政府、互聯網廠商，比如：在抗擊疫情上大數據發揮很大優勢，雖然仍然還有不少有益的算法，大數據是對于疫情預測、預防、監控、研究做出不可忽略的貢獻。互聯網廠商對大數據的應用更是出神入化，甚至把你想的都能直接推送到手機上。海量數據背后是用戶畫像、強悍的算力、復雜的算法，以及眾多場景預設、不斷迭代優化的機器學習。

對于大眾而言，個體以及個體的各種行為更多只是采集的數據樣本，絕大多數情況下，大數據方便了我們的生活，有些時候也泄露了個體的隱私，國家也在強化這一方面管理。如果升級到更高層面，大數據的使用也關系到國家安全、數據國家主權，近期國家對滴滴的相關舉措也是跟大數據安全息息相關。

對于企業而言，自身產生的數據量未必到大數據的量級，但大數據的思維、大數據使用的模式是有必要借鑒的，除了常規的生產/管理/經營數據分析，對于信息挖掘、經營預測、成本預算、發展決策方面都可以有用武之地，來推動企業信息化升級到數據化、智能化階段。企業的大數據建設應該從數據治理開始，包括主數據管理、數據集成、數據倉庫、數據分析、數據場景、數據算法、數據服務等，數通暢聯主推的dPaaS數據中臺解決方案是公司核心產品：MDM主數據管理平臺 + ESB數據總線平臺 + DAP數據分析平臺的組合技術方案，跟K8S云平臺無縫結合，敏捷實現數據治理體系、加速企業數據價值呈現、助力企業數字化轉型。

數通暢聯專注于企業IT架構、SOA綜合集成、數據治理分析領域，感謝您的閱讀與關注。

大數據，

又稱巨量資料，指的是所涉及的數據資料量規模巨大到無法通過人腦甚至主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。

簡而言之，大數據就是數據量非常大、數據種類繁多、無法用常規歸類方法應用計算的數據集成。大數據的收集、開發和利用，已經成為了當今社會的潮流之一，人們都認為，對于大數據的分析應用，對于政府和企業的決策是非常積極的，影響也是非常深遠的。

大數據的采集、發掘與處理

大數據的采集與發掘與云計算是離不開的，與龐大的服務器空間也是分不開的。而現在的傾向就是租用云計算平臺進行大數據的整理運用，簡單快捷，還不占地方。

大數據的應用

一切皆可以大數據。

將人們所收集的各種數據分類匯總，最終通過高精尖的平臺運算，分析其中的規律所在，就是大數據的應用。如果數據收集得當，任何行業、任何事情都可以運用大數據尋找規律，最終做出最優的小抉擇。無論從公司營銷、政府決策、高速公路運營、農場管理、來年預算等等，大大小小的事情都可以應用大數據，并且從中獲利。

大數據的前景

大數據的前景并不僅僅是某一個行業的前景，一句話以蓋之——大數據時代已經來臨，并將從根本影響人類的生活。

大數據，在近幾年越來越受到人們的關注，盡管大數據概念已經在各個行業中應用逐漸變得廣泛起來，但是對于大多數的人來說，大數據概念在他們眼里還是模糊不清的，那么，什么叫大數據 大數據是什么意思？下面就由中國IDC圈專家從大數據基本的定義和通俗舉例來為大家講解什么叫大數據 大數據是什么意思？

簡單的來說大數據基本定義是，可以按字面理解就是大量的數據，大數據的關鍵在于這些大量數據中所包含的信息，可以幫助我們洞察過去甚至預測未來。大數據的意義不僅僅在于大量的數據本身，而在于基于它之上所進行的一系列的分析活動，比如分類匯總、趨勢預測、數據挖掘等等，從而產生有價值的信息，幫助我們去洞察過去和預測未來。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據進行分析處理。大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

什么是大數據的4V特點？

例如：網購

Volume(大量)：用戶進行網上購物，都能夠形成一系列隨時更新的數據，數據規模空前龐大，其中隱藏的價值也遠遠超出大部分人的預期。

Variety（多樣）：網上購物可以買很多東西，比如家具用品、數碼產品等等。大數據的結構也和網購一樣復雜，僅僅以文件類型為例，就有圖片、文字、聲音、視頻等等，還有各種非結構化數據，所以在利用這些資源之前，需要把他們進行分類、處理等。

Value（價值）：網上購物買的商品，有貴的，也有便宜的。比如貴的MacBook 電腦、便宜的毛巾等。在實際應用中，大數據可以用于提升優化企業的管理效率，發現新的商業機會，也能夠對事物的發展做出準確的分析、預測等等。

Velocity（高速）：大數據分析要快，這就要求我們要能對整個數據進行快速的掃描、篩選、處理。別人已經在實施，你整理出來就沒有任何意義了。

最近“大數據”這個詞非常熱門，我也來談談我對大數據的看法吧。到底什么是大數據呀？大數據這個詞為什么這么熱門？“大數據”已經滲透到當今每一個行業的領域當中，是生產因素的重要部分。人們對“大數據”的挖掘和運用，將迎來一個全新的社會面貌，給人們的生活帶來極大的便利。其實，“大數據”在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業早有應用，只是因為最近互聯網和信息行業的發展才引起人們的關注。

到底什么是“大數據”呢？為了讓大家知道“大數據”到底是什么。我先來說說什么是“數據”吧。數據其實并不單單是數字，如果認為數據只是數字的話那就大錯特錯了，其實數據有很多種，數據也可以是文字、圖像、聲音等，數據可以用于科學研究、設計、查證等。比較全面的解析是：數據是關于自然、社會現象和科學試驗的定量或定性的記錄，是科學研究最重要的基礎；研究數據就是對數據進行采集、分類、錄入、儲存、統計分析，統計檢驗等一系列活動的統稱。了解了什么是數據之后，那么“大數據”呢？“大數據”在“數據”前面加個“大”，無非就是龐大的數據，代表強大的數據量、數據流。現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。

大數據的核心內容其實指的是：1）全部數據，大數據時代，所有有關聯的數據都會被采集和保留，例如，網絡大數據時代，完全記錄了你在哪家網絡平臺貸過款，只要貸過款，大數據就會保留記錄等等；2）大數據是大體方向，不是精確的制導，因為大數據之間關聯的數據非常多，不需要追求精確，引導大體方向即可。比如你去醫院檢查身體，大數據就會記錄了你的身體狀況，如果你過度肥胖，當你吃想吃熱量過大的食品時，大數據會根據你的身體狀況提醒你，不讓你吃熱量高的食品，并督促你加強鍛煉身體。這就是大數據給出的大體方向；3）是相關關系，而不是因果關系：我們不再熱衷于找因果關系，尋找因果關系是人類長久以來的習慣，在大數據時代，我們無須再緊盯事物之間的因果關系，而應該尋找事物之間的相關關系;相關關系也許不能準確地告訴我們某件事情為何會發生，但是它會提醒我們這件事情正在發生。

大數據具有數據量大、類型繁多、價值密度低、速度快、時效高的特征。以后大數據的趨勢應該是：1）數據的資源化，大數據成為企業和社會關注的重要戰略資源，并已成為大家爭相搶奪的新焦點，搶占市場先機。2）與云計算的深度結合，大數據離不開云處理，云處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平臺之一，物聯網和移動互聯網與大數據密不可分。3）科學理論的突破，目前大數據概念還處于初步階段，隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。4）數據科學和數據聯盟的成立，大量數據的產生，必然會興起數據共享平臺，形成一條產業鏈。5）數據泄露泛濫，由于大數據興起階段，數據安全工作必然存在缺失，導致大量的數據相互流動的時候，泄露嚴重。既有的技術架構和路線，已經無法高效處理如此海量的數據，而對于相關組織來說，如果投入巨大采集的信息無法通過及時處理反饋有效信息，那將是得不償失的。可以說，大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。6）數據生態系統復合化程度加強，大數據的世界是由大量的各種有關聯的數據結合在一起，形成一種數據生態系統，隨著數據的激烈競爭，數據生態系統復合化程度必然增強。

近幾年才提出來“物聯網”概念，也是與大數據緊密結合在一起的，物聯網與大數據結合在一起，那將是一個全新的時代到來。 ucloud巴巴創辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數據科技，顯示大數據對于ucloud巴巴集團來說舉足輕重。

由此可見，大數據的到來，會給人們的生活帶來顛覆性的改變，人們對大數據的依賴性加強。科技更發達，人們的生活水平更美好。

很高興能夠回答這個問題！

大數據時代已經漫步在我們身邊，與我們的生活與工作已經密不可分。我將從大數據的生活與工作應用、大數據對生活與工作的影響兩個方面回答這個問題。

大數據的生活與工作應用

大數據，又可以稱為海量數據與巨量數據，它有以下幾個顯著的特性：

• 數據量大

• 速率快

• 數據多樣性強

• 價值密度低

• 數據的真實性強

對應在生活與工作中，大數據首先會通過互聯網的形式采取與收集我們生活與工作的大量數據，從而我們每個人間接地都是大數據時代的提供者。緊接著由于互聯網計算技術與機器學習技術的支撐，計算機會高效地精確地對我們這些產生的數據進行分析，從而為我們進行決策或者推薦。

在這樣一個過程中，也許我們產生的數據中有的是沒有價值的或者說價值的密度是很低的，所以需要我們采取數據挖掘，與此同時，我們產生的數據的種類是繁多的，包括音頻、文字、視頻、圖片等等，這些都是計算機分析的對象，然而之前，我們對這些數據是無法進行處理的。

大數據對生活與工作的影響

我們的生活習慣或者行為以前都是通過問卷調查的形式被捕捉的，但是這種方式獲取的價值是很低的，它們并不能真實的反應我們的偏好或者效用。但現在我們的行為都被記錄到互聯網中，并以數據的方式保存著，可以說，我們在互聯網時代一覽無余，這也是大數據時代的隱私安全所考慮的問題。

總的來說，大數據會給以讓計算機更懂我們，會給我們提供有效的決策支持與興趣推薦，會帶給我們快樂，但是這種快樂是建立在我們的隱私之上的。

生活中我們必須懂得舍得，那么究竟舍誰得誰了，正如，to be or not to be,it is a question！