資訊專欄INFORMATION COLUMN
摘要：今天就我和大家來談談大數據領域的一些新變化新趨勢。結語以上四個方面是數據科學在實踐發展中提出的新需求，誰能在這些方面得到好的成績，誰便會在這個大數據時代取得領先的位置。
從2012年開始，幾乎人人（至少是互聯網界）言必稱大數據，似乎不和大數據沾點邊都不好意思和別人聊天。從2016年開始，大數據系統逐步開始在企業中進入部署階段，大數據的炒作逐漸散去，隨之而來的是應用的蓬勃發展期，一些代表成熟技術的標志性IPO在國內外資本市場也不斷出現。轉眼間，大數據幾年前經歷的泡沫正在無可爭議地轉移到人工智能身上。可以說，在過去的一年，AI所經歷的共同意識“大爆炸”與當年的大數據相比，有過之而無不及。最近風口又轉移到區塊鏈上了，某種程度上也成為業內人士焦慮的一種誘因了。
但無論技術熱點如何變換，我們能看到的是，隨著行業沉下心來進行實質的落地，大數據生態也越來越細分。今天就我和大家來談談大數據領域的一些新變化、新趨勢。
一、數據治理與安全 Data Governance& Security
就發展趨勢而言，這個可以放在第一位來講講。
多年來，數據已經在企業中不斷快速積累。物聯網(IoT) 更是不斷加速數據的生成。
對于許多企業來說，大數據的解決方案就是利用類似于開源的Apache Hadoop等技術作為基礎支持，創建數據湖(Data Lake)，即創建整個企業的數據管理平臺，用于以本機格式存儲企業的所有數據。數據湖將通過提供一個單一的數據存儲庫來消除信息孤島，整個組織都可以使用該存儲庫來進行業務分析、數據挖掘等各種應用。當有了數據湖之后，大家會傾向于認為這東西將會成為一個全方位和萬能的大數據集，例如點擊流數據、物聯網數據、日志數據等都會被要求進入這個湖中，而這些數據很難處理的問題卻會被忽略。
但是，除非你知道數據湖里具體有什么，并且能夠訪問到合適的數據進行分析，否則數據湖再大也沒有意義。因此，最后大家都會意識到許多數據湖是表現不佳的資源，人們不知道其中存儲著什么內容，如何進行訪問，或者如何從這些數據中獲取洞察力。
但是，方便地找到想要的東西、同時管理好權限并不容易。除了數據湖以外，治理的另一個主題是以安全的、可審計的方式為任何人提供對可靠數據的便捷訪問。
所以，站在管理并使用好公司數據資產的角度而言，數據治理猶如公司的頂層制度和宣言一樣需要被重視，并且用相應的策略、流程等來進行落實。最終目的是通過實現數據治理，來提升數據管理、確保數據質量、形成開放共享的新局面等。此外，數據治理也是決策、職能以及操作流程有機組合的系統，并且人們對這些數據資產承擔責任。
二、致力于協作的數據工作臺發展
在大多數大型企業里，大數據的采用是從少數獨立項目開始的，個推也是如此：譬如這里做一點Hadoop集群，那里用一用分析工具，跑一個簡單業務模型，以及意識到需要設立一些新的職位（數據科學家、首席數據官）等等。
現在，業務場景越來越豐富，異質性也越來越突出，各種各樣的工具在整個企業范圍內得到了使用。在公司的組織范圍內，集中化的“數據科學部門”正在逐漸讓位于更加去中心化的組織，原因在于集中化的部門越來越走向瓶頸，也更容易造成資源的流失。
這個由數據科學家、數據工程師以及數據分析師組成的群體，正日益嵌入到不同的業務部門里。因此，對于平臺來說需求已經很明顯了，那就是要讓一切都能協作到一起來，因為大數據的成功正是建立在設立一條由技術、人以及流程組成的裝配線基礎之上的。
因此，一些全新的協作平臺類型（譬如 Jupyter等）正在加快出現，引領著所謂的DataOps（與DevOps對應）領域的發展。
三、數據科學自動化
數據科學家(Data Scientist)依然是市場上炙手可熱的爭奪對象。但是我們在周圍卻很少見到這類人，哪怕是財富前1000強的公司也為無法招到更多“數據科學家”而感到困擾。而在一些組織里，數據科學部門正在從使能者演變為瓶頸。
與此同時，AI的大眾化以及自服務工具的蔓延使得數據科學技能有限的數據工程師，甚至是數據分析師在執行一些基本操作時變得更加容易了，而這些操作直到最近仍然是數據科學家的領地。在自動化工具的幫助下，企業大量的大數據工作，尤其是那些簡單枯燥的工作，將由數據工程師和數據分析師進行處理，而不必麻煩有著深厚技術技能的數據科學家。當然，即便如此，數據科學家目前還不需要太過“恐懼”。
在可預見的未來里，自服務工具和自動化模型將會“增強”數據科學家而不是消滅他們，會解放他們，讓他們把焦點放在需要判斷、創造力、社會化技能或者需要垂直行業知識的任務上，那樣才能更加體現科學家的名號。
四、大數據管理員的崛起
大數據管理員(BDA)也對標于數據庫管理員(DBA)，雖然兩個英文字母只是變換了一下順序，但是其內涵相差甚遠。一個非常明顯的趨勢是，企業將對一個新崗位角色產生需求，即大數據管理員。DBA大家已經非常熟悉，但它與大數據時代下的數據管理員，有非常大的差別。
數據管理員處于數據使用者和數據工程師之間。為了取得成功，數據管理員在進行大數據系統的維護工作之外，還必須了解數據的含義以及掌握應用于數據中的一些技術。
數據管理員需要清楚整個組織內需要執行的數據分析類型，哪些數據集非常適用于這項工作，以及如何將數據從原始狀態轉換為數據使用者執行這項工作所需的形態和形式。數據管理員應使用像自助服務數據平臺這樣的系統來加快數據使用者訪問基本數據集的端到端流程，而無需制作無數的數據副本。
結語
以上四個方面是數據科學在實踐發展中提出的新需求，誰能在這些方面得到好的成績，誰便會在這個大數據時代取得領先的位置。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/8036.html
摘要：今天就我和大家來談談大數據領域的一些新變化新趨勢。結語以上四個方面是數據科學在實踐發展中提出的新需求，誰能在這些方面得到好的成績，誰便會在這個大數據時代取得領先的位置。 從2012年開始，幾乎人人（至少是互聯網界）言必稱大數據，似乎不和大數據沾點邊都不好意思和別人聊天。從2016年開始，大數據系統逐步開始在企業中進入部署階段，大數據的炒作逐漸散去，隨之而來的是應用的蓬勃發展期，一些代表...
摘要：作為在國產自主創新領域沉淀十余載的操作系統排頭兵，麒麟信安將攜手，立根鑄魂，共推操作系統產業新發展。 2021年11月9日-10日，主題為立根鑄魂，逐夢數字時代星辰...
摘要：智慧城市由此而來。尤其是在智慧城市建設中，通過整合交通醫療稅務水利等各種政務資源，建立起公共云計算數據中心，可以打破城市各功能系統原有的條塊分割，杜絕資源的重復建設，提高資源利用率，達成信息共享。 信息和通信技術的進步，支撐著城市的建設由工業型向智慧型的發展；各種網絡技術的高速發展，為無處不在的連接提供可能；云計算技術為數據的共享、整合、挖掘和分析提供可能；統一通信與協作為跨部門的相互協同...
摘要：自推出以來，許多重大的里程碑事件都推動了容器革命。它支持廣泛的編程語言基礎設施選項，并獲得容器生態系統的巨大支持。結論容器生態系統仍然在不斷發展與改變。最值得關注的，是在這一領域中，和各個供應商是如何進步，以推動容器生態系統的發展的。 Docker于 2013年推出以來，給軟件開發帶來了極具傳染性的振奮和創新，并獲得了來自各個行業、各個領域的巨大的支持——從大企業到初創公司，從研發到各...
閱讀 632·2021-11-22 15:32
閱讀 2720·2021-11-19 09:40
閱讀 2313·2021-11-17 09:33
閱讀 1263·2021-11-15 11:36
閱讀 1864·2021-10-11 10:59
閱讀 1475·2019-08-29 16:41
閱讀 1780·2019-08-29 13:45
閱讀 2150·2019-08-26 13:36
