{eval=Array;=+count(Array);}
作為一名軟件開發工程師,我現在從事的就是大數據方向,結合我個人的經驗,這三個崗位具體哪個好,要看你從什么角度去看他。如果你現在是一名Java開發工程師,想轉型到大數據領域,那么大數據開發工程師會更適合你。如果你不喜歡開發,同時比較喜歡分析數據中的價值,希望從事商業智能分析相關工作,那么大數據分析會更適合你。如果你不是很喜歡寫代碼,同時對大數據分析也不是很感興趣,而自己在Linux系統和腳本編寫方面有一定基礎,那么大數據運維可能會更適合你。
大數據開發崗位在進行細分,還會有大數據平臺開發、大數據組件開發、數據研發(ETL)。這幾個方位主要工作內容各有差異,側重點不同。大數據平臺開發,顧名思義,開發數據平臺給其他開發同學使用,大數據平臺底層是大數據組件,上層則是業務開發同學,你開發的平臺提供用戶使用大數據組件的能力。大數據平臺一般使用Java語言開發,會使用到 Spring 、Spring Boot快速開發出后端供前段進行使用。數據庫一般會使用Mysql,同時也會使用到Mybats,Dubbo接口等等。
大數據組件開發,主要工作更偏向于組件底層開發,你需要結合公司業務特征,定制化的在公司所使用的大數據組件上開發新功能、優化、以及BUG修復等。大數據組件開發同學需要對使用的組件底層原理要有很深的了解,同時也對其源碼要有一定的研究,這樣,你才能夠放心大膽在上面進行開發而不會影響到線上業務的運行。
大數據分析也就是BI同學,平時主要會從業務數據或者ETL同學處理好的數據,去分析數據中潛藏的價值,幫助業務同學去運營。有時候業務同學也會找你臨時取數,當然大數據分析同學要有一定的PPT制作能力,因為有時候你從數據中得到一個結論,需要使用PPT向老板或者其他同學通過PPT來講述你的觀點。BI同學,同時在數據可視化要有一定的想法,因為BI同學是有用數據的最大使用方。
大數據運維同學則是主要運維集群機器的穩定性,保證它們不能出現任何故障,平時也會接收到很多機器報警信息。當公司申購到新的機器時,大數據運維同學要能夠幫助開發同學配置相關的開發環境,部署大數據組件集群。當大數據組件集群突然變得不穩定時,有報警信息時,大數據運維同學需要能夠快速定位問題和解決問題。大數據運維同學掌管著大數據組件集群的資源,當機器資源不夠時,運維同學需要申請采購或者臨時調配其他部門的資源,比如大促時機器資源緊張問題。大數據運維同學平時需要對Linux系統、Shell腳本的編寫、Python等要有一定的理解研究。
總體來說,大數據開發、大數據分析、大數據運維這三個崗位需要從具體的視角去看他,對于不同興趣和不同基礎的同學來說,找到適合自己和個人職業規劃的崗位才是最重要的。每個崗位的工作內容都不盡相同,大數據開發偏向于代碼開發,大數據分析側重數據分析,大數據運維偏向公司機器的穩定性運維,最后,希望你能夠找到適合自己的崗位。
我是Lake,專注大數據技術、互聯網科技見解、程序員經驗分享,如果我的問答對你有幫助的話,希望你能夠點贊轉發或者關注我,你的一個小小的鼓勵,就是我持續分享的動力,非常感謝。
您好我是 數據僧。
首先,工作本身沒有好壞之分,只有門檻高低之別。大數據開發、大數據分析、大數據運維都圍繞著大數據展開。如果我們把大數據去掉,就只剩下,開發,分析,運維。當然還有其它的工作,例如運營,產品,講師,測試等。 加上了大數據,只是我們的工作內容,或者說是工作方式發生了變化。
大數據是傳統行業,傳統技術逐步發展的產物。但是并沒有打破我們在傳統行業的工作模式,和我們的一些基礎知識的儲備。革新的只有處理技術,工作手段。在這里我們更詳細的說說大數據開發、大數據分析、大數據運維 的工作內容,已經門檻,不做好壞評價。
非大數據 開發,分析,運維干什么呢?
開發日常工作是干什么了 ? 圍繞著產品經理,進行產品開發,升級,迭代。加班熬夜,趕進度。每日的工作就是編碼,和產品溝通或者撕X,和測試溝通或者斯X,最終確保產品上線,保證產品正常使用,以及后續迭代升級。
分析日常工作是什么了?數據整理,制作報表,最后就是報告,會議,闡述結論,最后就是說服對方接受觀點,的確很多時候,分析出來的結論,對方無法接受。
運維日常工作是什么了?最核心的就是監控,機器是否正常運轉,資源是否夠用,產品應用是否都正常,開發相關的工具,保證異常能夠及時發現。
在介紹大數據相關的工作前我們先了解下大數據的處理流程
我們在看看hadoop的大數據生態圈。當然大數據生態圈不是在只有hadoop。
大數據開發的主要工作
開發數據收集工具,數據清洗和整理,開發數據應用;當然這些不是一個人去完成,都會落在各個團隊中去完成。
完整這些工作需要哪些技能?從這些技能我們也能看出來大數據開發的主要工作,就是這些工具打交道。一門開發語言(java/python/c#/scala 等),大數據下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只會其中的2到三項基本找份工作沒有問題,如何進階在這不詳細討論。我們來看圖吧。
大數據分析的主要工作
有大表哥,專門做各種報表。取數機器人,提取各種數據。當然也有做數據分類,特征提取等數據挖掘,機器學習等高等玩家。
這里一并概括了,大數據分析的主要工作是:基于現有的數據進行數據分析得出一個結論,最后進行商業決策。當然現實不是這樣的。大多數人成了大表哥,取數機器人,高端玩家也不列外,挖出來的東西,在沒有找到落地場景前,都是一坨一坨的。這里都只是調侃。
大數據分析需要哪些技能呢?我們不管具體的工作內容,看看我們每天要面對那些工具,工具是我們每天要接觸的東西。 Excel,SPSS,SQL,數據庫,R,Python 等。當然我們不用都會。
我們還是看圖吧,看看數據分析師的能力體系:
在看看每個階段需要的技能,分析師和開發的區別在于,核心在于處理數據和清洗數據,達到自己可用的狀態。開發是收集數據和整理數據,讓數據變得統一。
大數據運維的工作
對大數據集群進行監控和維護升級,保障集群正常運行,從而保證 數據收集服務能正常運行,保證集群資源夠用,監控集群資源消耗情況。
他們是職業背鍋俠,也是一群默默無聞的伙伴。無論開發,還是分析,還是其它的崗位,都有在人前顯擺的時候,我們的運維永遠只能在人后做好保障。
我們來看看運維的能力體系吧:
以上是我對這個問題的理解,有些調侃,但都想表達和傳遞一種正能量,每個行業,每個崗位都有其特定的屬性和特點,既然選擇了,就只顧風雨兼程,管它花開花落,最終中能到達理想的彼岸。
關注數據僧,我們一起討論,大家都喜歡什么樣的工作,歡迎大家留言。(圖片來自網絡,侵刪。)
大數據開發:
主要是負責大數據挖掘,大數據清洗處理,大數據建模等工作,主要是負責大規模數據的處理和應用,工作主要以開發為主,與大數據可視化分析工程師相互配合,從數據中挖掘出價值,為企業業務發展提供支持。
大數據分析:
進行行業數據搜集、整理、分析,并依據數據做出行業研究、評估和預測;
主要工作有四類:
1、從0到1搭建數據分析體系;
2、數據分析工具化,產品化;
3、支撐領導、部門決策的專題分析及業務方向探索;
4、數據規范制定及提升數據質量等基礎工作。
大數據運維:
運營維護,Linux操作系統、應用系統的維護、監控、調優、故障排除,關注開源社區動態,追蹤前沿技術和應用等;
一般來講國內的互聯網運維負責軟件測試交付后的發布和管理,將交付的業務軟件和硬件基礎設施高效合理的整合,轉換為可持續提供高質量服務的產品,同時最大限度降低服務運行的成本,保障服務運行的安全。
相關:
大數據分析師到底在干嘛?
https://www.toutiao.com/i6549321396005110275/
加米谷:大數據分析,到底要分析些什么?
https://www.toutiao.com/i6577599840014828045/
大數據學習:數據分析師的完整工作流程與知識結構體系
https://www.toutiao.com/i6584961126356746760/
這三個角色在我們公司分別對應著三個部門,承擔的職責也各有不同,還算理解得比較透徹,簡單談一談。
主要基于大數據平臺開展批量作業、實時接口等大數據應用的開發和測試工作,對能力的要求是熟悉Spark、Flink等大數據框架,熟悉SQL,熟悉軟件開發測試規范,能夠根據業務需要完成業務邏輯的編寫。
利用大數據平臺、機器學習建模平臺、BI平臺等開展生產數據的分析和數據建模工作,挖掘數據中存在的業務價值,主要交付物是業務分析報告、各類名單、業務模型等。對能力的要求是:具備數據分析的思維,熟悉SQL,熟悉機器學習建模邏輯,熟悉Python/SAS等開發工具,具備一定的文字能力。
開展大數據平臺的日常運維工作,包括批量作業、接口的上線和運行監控,平臺的硬件資源監控,用戶和平臺資源的分配,平臺和作業問題的分析和處置,數據的遷移,平臺的擴容,業務數據查詢提取變更等,一句話就是保障平臺及數據的可用。對能力的要求是:熟悉Hadoop組件,熟悉Linux,熟悉SQL。
從上面的介紹可以看出,這三者的區別是很明顯的,要求也各有不同。
實務中,這三個角色是密切相關的,大數據開發人員完成應用開發,大數據運維人員基于開發人員的腳本進行投產并保障作業的穩定運行,大數據開發人員基于開發和運維人員構建的邏輯和數據開展數據分析。
大數據分析人員與業務接觸最頻繁,有獨立的思維能力和發揮的空間,相對來說工作比較有創造性,成果可直接面對公司高層,比較有意思,容易出彩,也容易轉向業務。
大數據開發人員往往是按照業務需求或系統需要完成功能性的開發,也能夠與業務進行接觸,不是太死板,但創造性和自主性相對弱一些,不過往往技術能力比大數據分析人員強,可以說技術業務雙贏。
大數據運維人員的主要合作伙伴就是平臺和設備,工作相對純粹,有章可循,有利于技術沉淀,缺點是與業務接觸較少,壓力大,工作強度大,往往成為幕后英雄。
都是一個戰壕里的兄弟,革命分工不同,理解不同,都很好,看各自選擇,我就不排序了。
我是會說科技,關注我,一起聊聊數據、科技、IT、安全、金融那些瑣事。
在大數據領域大概有四個大的工作方向,除了大數據平臺應用及開發、大數據分析與應用和大數據平臺集成與運維之外,還有大數據平臺架構與研發,除了以上四個大的工作方向之外,還有一個工作方向是大數據技術推廣和培訓,這部分工作目前也有不少人在從事。
大數據平臺架構與研發主要的工作內容是研發底層的大數據平臺,這部分工作的難度較高,從事這部分工作的研發級崗位也并不多。現在不少技術研發團隊都以Hadoop、Spark平臺為基礎進行研發,這樣能夠節省大量的時間,也更容易做出市場接受度比較高的大數據平臺(商用較多)。
大數據平臺應用開發是目前一個就業的熱門方向,一方面是大數據開發的場景眾多,另一方面是難度并不高,能夠接納的從業人數也非常多。大數據開發主要是滿足企業在大數據平臺上的應用開發,與場景有密切的關系。大數據開發是在大數據平臺基礎之上的開發,充分利用大數據平臺提供的功能來滿足企業的實際需求。
大數據分析是大數據應用的一個重點,甚至可以說是大數據的核心內容。大數據分析是基于大數據平臺提供的功能進行具體的數據分析,數據分析與場景有密切的關系,比如出行大數據分析、營銷大數據分析、金融大數據分析等等。目前采用機器學習的方式進行大數據分析是一個趨勢,機器學習的步驟包括數據收集、算法設計、訓練算法、驗證算法和使用算法,所以算法在數據分析中起到了重要的作用,做數據分析工作要有一定的算法基礎。
大數據運維主要從事大數據平臺的軟硬件集成和運維工作,主要的工作內容是完成大數據平臺的部署和調試等相關工作,這部分工作崗位也比較多,企業往往需要有一個專門的運維團隊來保障大數據平臺的平穩運行。相對來說,這部分工作的難度小一些,但是需要掌握的內容也比較多,包括網絡、服務器等軟硬件知識。
大數據是我的主要研究方向之一,目前我也在帶大數據方向的研究生,我會陸續在頭條寫一些關于大數據方面的文章,感興趣的朋友可以關注我的頭條號,相信一定會有所收獲。
如果有大數據方面的問題,也可以咨詢我,謝謝!
我直接來排個序吧:大數據開發>大數據分析>大數據運維,薪資也是這樣。
其實,你不必糾結,直接把大數據3個字去掉,開發、分析、運維,誰好誰差,一目了然。
大數據開發,我最新的視頻里講到了,其實就是數據庫,數據倉庫,報表系統這些,寫好sql和java就行,并不是所有人都得去弄hadoop、storm、flink、spark這些的,就像我視頻里說的,做好報表,做好sql,多熟悉業務,比什么都強。
來看看崗位描述吧:
圍繞大數據系平臺系統級的研發人員, 熟練Hadoop、Spark、Storm等主流大數據平臺的核心框架。
深入掌握如何編寫MapReduce的作業及作業流的管理完成對數據的計算,并能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個生態系統的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠實現對平臺監控、輔助運維系統的開發。
感興趣的可以去看看我的最新視頻,里面講的很清楚。
大數據分析,和數據分析類似,但是多存在于互聯網和IT行業,會用的工具有python、tableau、finebi這些。
大數據運維,可能是里面比較差的職業了,別覺得我真實,這就是事實,運維,在哪里都是不受重用的,甚至有的運維就是修網線的。
這份薪資明顯過高。
主要的工作是為了給人民、社會、大自然、地球服務。好與壞因對象而有不一,就好比當下年輕人玩的一款“王者榮耀”,玩家都說好,而沒碰過的就覺得這是一款爛游戲,因為身邊的人都把大部分時間花在它身上了!
數據分析師需要的技能大致有這些:Excel、SQL、統計學及SPSS、Python/R等。建議從Excel開始,因為Excel是使用最多,也是最強大的數據分析工具,入門簡單,因為大部分人都接觸過Excel。
大數據運維,這里指互聯網運維,通常屬于技術部門,與研發、測試、系統管理同為互聯網產品技術支撐的4大部門,這個劃分在國內和國外以及大小公司間都會多少有一些不同。
一個互聯網產品的生成一般經歷的過程是:產品經理(product manager,非技術部)需求分析、研發部門開發、測試部門測試、運維部門部署發布以及長期的運行維護。一般來講國內的互聯網運維負責軟件測試交付后的發布和管理,其核心目標是將交付的業務軟件和硬件基礎設施高效合理的整合,轉換為可持續提供高質量服務的產品,同時最大限度降低服務運行的成本,保障服務運行的安全。
0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答