{eval=Array;=+count(Array);}
作為一名IT從業(yè)者,同時(shí)也是一名計(jì)算機(jī)專業(yè)的教育工作者,我來回答一下這個(gè)問題。
首先,當(dāng)前大數(shù)據(jù)的知識(shí)體系還是比較龐大的,隨著大數(shù)據(jù)技術(shù)生態(tài)的逐漸成熟和完善,大數(shù)據(jù)領(lǐng)域也逐漸形成了更多的崗位細(xì)分,從事不同的崗位細(xì)分方向則需要學(xué)習(xí)不同的知識(shí)。
從當(dāng)前大的崗位劃分來看,通常包括以下幾個(gè)崗位:
第一:大數(shù)據(jù)開發(fā)崗位。從近兩年大數(shù)據(jù)方向研究生的就業(yè)情況來看,開發(fā)崗位的人才需求量還是比較大的,相關(guān)崗位的薪資待遇也比較高,其中從事大數(shù)據(jù)平臺(tái)開發(fā)的研發(fā)級(jí)崗位會(huì)有更高的薪資待遇。從事大數(shù)據(jù)開發(fā)崗位,通常需要學(xué)習(xí)三大塊內(nèi)容,其一是程序開發(fā)技術(shù),初學(xué)者可以從Java或者Python開始學(xué)起;其二是學(xué)習(xí)大數(shù)據(jù)平臺(tái)知識(shí),初學(xué)者可以從Hadoop和Spark開始學(xué)起;其三是大數(shù)據(jù)開發(fā)實(shí)踐,這個(gè)過程需要掌握一定的行業(yè)知識(shí)。
第二:大數(shù)據(jù)分析崗位。大數(shù)據(jù)分析崗位的人才需求潛力是非常大的,不僅IT(互聯(lián)網(wǎng))行業(yè)需要大量的大數(shù)據(jù)分析人才,傳統(tǒng)行業(yè)領(lǐng)域也需要大數(shù)據(jù)分析人才。選擇大數(shù)據(jù)分析方向需要具有一定的數(shù)學(xué)和統(tǒng)計(jì)學(xué)基礎(chǔ),而且也有一定的學(xué)習(xí)難度。目前大數(shù)據(jù)分析的常見方式有兩種,分別是統(tǒng)計(jì)學(xué)方式和機(jī)器學(xué)習(xí)方式。
第三:大數(shù)據(jù)運(yùn)維崗位。如果對(duì)于編程和算法設(shè)計(jì)不感興趣,那么也可以考慮學(xué)習(xí)大數(shù)據(jù)運(yùn)維知識(shí),未來可以從事大數(shù)據(jù)運(yùn)維崗位。大數(shù)據(jù)運(yùn)維崗位的任務(wù)相對(duì)比較雜,需要從業(yè)者具有較強(qiáng)的動(dòng)手實(shí)踐能力。從知識(shí)結(jié)構(gòu)上來看,大數(shù)據(jù)運(yùn)維需要掌握網(wǎng)絡(luò)知識(shí)、大數(shù)據(jù)平臺(tái)知識(shí)和服務(wù)器知識(shí)。
我從事互聯(lián)網(wǎng)行業(yè)多年,目前也在帶計(jì)算機(jī)專業(yè)的研究生,主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域,我會(huì)陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章,感興趣的朋友可以關(guān)注我,相信一定會(huì)有所收獲。
如果有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題,或者是考研方面的問題,都可以在評(píng)論區(qū)留言,或者私信我!
首先你要清楚自己為什么想要學(xué)習(xí)大數(shù)據(jù),其次現(xiàn)在的工作機(jī)會(huì)是不是你心儀的工作,然后想要學(xué)習(xí)大數(shù)據(jù)是感興趣還是盲目跟風(fēng),最后如果是想往大數(shù)據(jù)方面發(fā)展的話那么一定要了解大數(shù)據(jù)的職業(yè)劃分和薪資情況,到底想從事大數(shù)據(jù)工作的哪個(gè)方向。
我的建議:IT技術(shù)更新迭代速度很快,所以一定要做到未雨綢繆,選好方向做好規(guī)劃,避免還沒等學(xué)就被淘汰了。
下面我從2個(gè)方面介紹
1.大數(shù)據(jù)職業(yè)劃分和薪資介紹及我的認(rèn)為的發(fā)展發(fā)現(xiàn)
2.大數(shù)據(jù)的學(xué)習(xí)路線
從51job、智聯(lián)、獵聘查看職位,我認(rèn)為大數(shù)據(jù)大概分為這5個(gè)方向
數(shù)據(jù)管理類:首席數(shù)據(jù)官、數(shù)據(jù)管理員、數(shù)據(jù)安全工程師;
這類主要負(fù)責(zé)公司數(shù)據(jù)的管理,數(shù)據(jù)安全策略的制定和實(shí)現(xiàn)。
數(shù)據(jù)分析類:戰(zhàn)略分析師、數(shù)據(jù)分析師、商業(yè)智能分析員;
這類主要負(fù)責(zé)數(shù)據(jù)分析相關(guān)的工作。
數(shù)據(jù)挖掘類:數(shù)據(jù)挖掘工程師、算法工程師;
這類負(fù)責(zé)數(shù)據(jù)挖掘算法的設(shè)計(jì)與策略。
技術(shù)研發(fā)類:數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)師、數(shù)據(jù)采集工程師、數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師、數(shù)據(jù)可視化工程師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)開發(fā)工程師;
這類主要負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的搭建和ETL任務(wù)的開發(fā)。
IT基礎(chǔ)架構(gòu)類:hadoop運(yùn)維工程師、數(shù)據(jù)庫(kù)運(yùn)維工程師、系統(tǒng)運(yùn)維工程師
這類主要負(fù)責(zé)大數(shù)據(jù)集群軟硬件的管理和維護(hù)。
薪資在獵聘上截了幾張圖,具體你可以上智聯(lián)、51job或獵聘上搜職位名稱查看薪酬。
我對(duì)大數(shù)據(jù)發(fā)展方向的建議:我朋友就是做獵頭的,據(jù)他說目前最火的還是算法工程師,以前不起眼,現(xiàn)在隨著5G的興起,AI方向有更為廣闊的發(fā)展空間,BAT玩命的招人。其次就是做技術(shù)開發(fā)類,做大數(shù)據(jù)平臺(tái)的,這也是目前招聘人數(shù)最多的,如果做到大數(shù)據(jù)架構(gòu)師,年薪百萬(wàn)不是問題。數(shù)據(jù)分析類和數(shù)據(jù)管理類的一般是甲方企業(yè),偏企業(yè)內(nèi)部。最后是運(yùn)維,相對(duì)發(fā)展前景最差。
必須掌握的技能11條
高階技能6條
機(jī)器學(xué)習(xí)算法以及mahout庫(kù)加MLlib面列出來的順序只是個(gè)人建議,可以根據(jù)個(gè)人實(shí)際情況來調(diào)整順序
第一階段(基礎(chǔ)階段)
Linux學(xué)習(xí)(跟鳥哥學(xué)就ok了)—–20小時(shí)
官網(wǎng):https://www.centos.org/download/
Java 高級(jí)學(xué)習(xí)(《深入理解Java虛擬機(jī)》、《Java高并發(fā)實(shí)戰(zhàn)》)—30小時(shí)
官網(wǎng): https://www.java.com/zh_CN/
中文社區(qū):http://www.java-cn.com/index.html
Zookeeper學(xué)習(xí)
官網(wǎng): http://zookeeper.apache.org/
中文社區(qū):http://www.aboutyun.com/forum-149-1.html
第二階段(入門,攻堅(jiān)階段)
Hadoop (《Hadoop 權(quán)威指南》)—80小時(shí)
HDFS
MapReduce
MapReduce的Java應(yīng)用開發(fā)
官網(wǎng):http://hadoop.apache.org/
中文文檔:http://hadoop.apache.org/docs/r1.0.4/cn/
Hive(《Hive開發(fā)指南》)–20小時(shí)
Hive 基本概念
Hive 基本操作
Hive 執(zhí)行過程分析及優(yōu)化策略
官網(wǎng):https://hive.apache.org/
中文入門文檔:http://www.aboutyun.com/thread-11873-1-1.html
HBase(《HBase權(quán)威指南》)—20小時(shí)
官網(wǎng):http://hbase.apache.org/
中文文檔:http://abloz.com/hbase/book.html
Scala(《快學(xué)Scala》)–20小時(shí)
官網(wǎng):http://www.scala-lang.org/
初級(jí)中文教程:http://www.runoob.com/scala/scala-tutorial.html
Spark (《Spark 權(quán)威指南》)—60小時(shí)
Spark core
RDD
Spark SQL and DataFrame/DataSet
Spark Streaming
Structured Streaming
其他(MLlib and GraphX )
這個(gè)部分一般工作中如果不是數(shù)據(jù)挖掘,機(jī)器學(xué)習(xí)一般用不到,可以等到需要用到的時(shí)候再深入學(xué)習(xí)。
官網(wǎng): http://spark.apache.org
中文社區(qū):http://www.aboutyun.com/forum-146-1.htm
Python (推薦廖雪峰的博客—30小時(shí))
目前暫且列出來這么多吧,大數(shù)據(jù)目前還有很多比較好的技術(shù)框架,這個(gè)就需要等大家以后工作之后再去擴(kuò)展了,大家在學(xué)習(xí)的時(shí)候,要專門挑一兩個(gè)著重研究一下,最好針對(duì),底層原理,優(yōu)化,源碼等部分有所涉獵,這么的話可以在面試過程中脫穎而出。不要想著把每一個(gè)框架都搞精通,目前是不現(xiàn)實(shí)的,其實(shí)就算是在工作中也不會(huì)每一個(gè)框架都會(huì)用的很深,如果能過對(duì)上面的框架都大致會(huì)使用,并且對(duì)某一兩個(gè)框架研究的比較深的話,其實(shí)想去找一份滿意的大數(shù)據(jù)工作也就水到渠成了。
--如果覺得答案解決了你的問題,請(qǐng)采納,有問題可繼續(xù)追問--
大數(shù)據(jù)中也有多種崗位,有的偏向開發(fā),有的偏向運(yùn)維,有的偏向數(shù)據(jù)分析與挖掘。開發(fā)的話Java居多,不過只需要到JavaSE層面即可,也可以選用Scala/Python開發(fā)。數(shù)據(jù)分析與挖掘基本上就是Python了。所以建議學(xué)習(xí)Python了。要求與條件的話,如果是計(jì)算機(jī)/數(shù)學(xué)/統(tǒng)計(jì)相關(guān)專業(yè)最好,不過還是看個(gè)人的學(xué)習(xí)能力與是否堅(jiān)持。
1) 簡(jiǎn)單點(diǎn)評(píng):
發(fā)展不錯(cuò),需求不少,不過需求中主要是數(shù)據(jù)分析相關(guān)崗位,牽涉到算法建模等高級(jí)內(nèi)容的話實(shí)際上不適合剛畢業(yè)的不同本科學(xué)生。建議普通本科或?qū)?茖W(xué)生從數(shù)據(jù)分析入行,掌握Python,以后逐步向高級(jí)數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師、人工智能開發(fā)工程師方向走,
2)發(fā)展前景:
大數(shù)據(jù)類職位需求增幅僅次于AI崗位。眼下,幾乎所有互聯(lián)網(wǎng)企業(yè)均把數(shù)據(jù)人才列為團(tuán)隊(duì)標(biāo)配。許多公司在數(shù)據(jù)層面增加投入,大量招募具有算法和建模能力的人才,力求通過數(shù)據(jù)沉淀與挖掘更好地推進(jìn)產(chǎn)品的迭代。數(shù)據(jù)架構(gòu)師、數(shù)據(jù)分析師成為企業(yè)爭(zhēng)搶對(duì)象,過去一年招聘需求提高150%以上。2017,互聯(lián)網(wǎng)公司對(duì)AI和數(shù)據(jù)人才的爭(zhēng)搶活躍度提高了30%以上,企業(yè)間相互挖角行為變得更加頻繁,人才爭(zhēng)奪激烈程度全面升級(jí)。物聯(lián)網(wǎng)、智慧城市、增強(qiáng)現(xiàn)實(shí)(AR)與虛擬現(xiàn)實(shí)(VR)、區(qū)塊鏈技術(shù)、語(yǔ)音識(shí)別、人工智能、數(shù)字匯流是大數(shù)據(jù)未來應(yīng)用的七大發(fā)展方向。
3)行業(yè)定位:
4)面向?qū)I(yè):
計(jì)算機(jī)、數(shù)學(xué)與統(tǒng)計(jì)、物理、電子、通信工程、物聯(lián)網(wǎng)、網(wǎng)絡(luò)工程等相關(guān)專業(yè)大專以上學(xué)生。推薦中上游學(xué)生學(xué)習(xí)。
5)薪酬分析:
數(shù)據(jù)來源: 職友網(wǎng)
我本人在IT行業(yè)混了二十多年,從事軟件開發(fā)與軟件教育,現(xiàn)在主要是管理,不過始終沒有脫離寫程序,有興趣可以交流哦!
ucloud有一款應(yīng)用程序叫做“iLearningX”的APP,這個(gè)APP里面主要包含了物聯(lián)網(wǎng)、大數(shù)據(jù)、數(shù)據(jù)中心、人工智能、信息安全、5G、存儲(chǔ)、云服務(wù)等等學(xué)習(xí)內(nèi)容。ucloud將這些內(nèi)容分為職業(yè)認(rèn)證、行業(yè)認(rèn)證,ucloud的認(rèn)證又分為HCIA(ucloud認(rèn)證工程師)、HCIP(ucloud認(rèn)證高級(jí)工程師)、HCIE(ucloud認(rèn)證專家),這些認(rèn)證可以說是ucloud對(duì)你 的一個(gè)認(rèn)可,畢竟是ucloud推出來的,在一些領(lǐng)域還是有一定權(quán)威性的。
ucloud數(shù)據(jù)的學(xué)習(xí)內(nèi)容也是分級(jí)別的,向工程師主要是掌握一些基礎(chǔ)架構(gòu),和一些簡(jiǎn)單的操作,基本上有點(diǎn)計(jì)算機(jī)基礎(chǔ)就可以了;高級(jí)工程師就比較難了,向JAVA、以及平臺(tái)的操作、以及要有工程師的基礎(chǔ);專家就更難了,我覺得專家好像什么都要會(huì)。
我考的是ucloud認(rèn)證大數(shù)據(jù)工程師,大約用了半年的時(shí)間來學(xué)習(xí)理解,還好不是很難,主要以HDFS、Flume、MapReduce、Yarn、Spark、Streaming、Flink、Zoopkeer、Loader為主的內(nèi)容,我學(xué)這個(gè)一個(gè)是因?yàn)閡cloud的大數(shù)據(jù)學(xué)習(xí)有一定的 層次性,讓我們逐漸的理解,比我們亂學(xué)、瞎學(xué)效率高很多;在一個(gè)以后是不是可以拿著這個(gè)證去ucloud打工呢?哈哈,請(qǐng)?jiān)试S我做一個(gè)夢(mèng)。
大數(shù)據(jù)都學(xué)習(xí)些什么,隨著互聯(lián)網(wǎng)在近幾年的飛速發(fā)展,大數(shù)據(jù)頁(yè)被越來越多的人所熟知,不管是行內(nèi)的人還是行外的人都紛紛加入這個(gè)行業(yè)!于是許多的培訓(xùn)機(jī)構(gòu)也紛紛崛起,開設(shè)相關(guān)的培訓(xùn)課程!作為一個(gè)未來的十分有前景的行業(yè)。成為大數(shù)據(jù)工程師無疑是迎接一個(gè)很有前景的職業(yè)生涯,那么大數(shù)據(jù)工程師,要學(xué)習(xí)什么內(nèi)容呢。
其實(shí)說到大數(shù)據(jù)主要學(xué)習(xí)的技術(shù),最直接的就是從職位需求入手,但是這樣也會(huì)有弊端就是導(dǎo)致學(xué)習(xí)的東西不會(huì)很全面。
查看各大招聘網(wǎng)站,BAT等大廠不同的企業(yè)要求員工具備的工作技能也是有所不同的,通過這個(gè)我們做了一個(gè)簡(jiǎn)單的分析總結(jié)可以為大家參考一下。
大數(shù)據(jù)培訓(xùn)的內(nèi)容:
大數(shù)據(jù)學(xué)習(xí)相比較其他的編程會(huì)有一定的難度,需要前提滿足倆個(gè)方面的條件。
一是,年齡要滿足國(guó)家規(guī)定的法定工作年齡,不能夠小于這個(gè)年齡,但也不能年齡太大,年齡太大的話可能不太符合企業(yè)要求,找工作就會(huì)很難。
二是,學(xué)歷要滿足本科,因?yàn)楝F(xiàn)在很多地方的相關(guān)企業(yè)招聘大數(shù)據(jù)技術(shù)人才基本上都是本科起步,這方面也要多加注意。
如果,各方面的條件比較滿足的話,其實(shí)大數(shù)據(jù)的學(xué)習(xí)也并不像大家說的那么難,只要感興趣適合學(xué)習(xí)大數(shù)據(jù)就可以一試。
學(xué)習(xí)大數(shù)據(jù)需要循序漸進(jìn)的學(xué),掌握一套學(xué)習(xí)方法很重,把需要學(xué)習(xí)的內(nèi)容分成幾個(gè)階段,系統(tǒng)學(xué)習(xí)。我簡(jiǎn)單的列了一下需要學(xué)習(xí)的內(nèi)容,僅供參考。
第一階段
JavaSE基礎(chǔ)核心
Java入門語(yǔ)法、面向?qū)ο蠛诵摹⒓吓c泛型、線程機(jī)制、網(wǎng)絡(luò)編程、流程控制結(jié)構(gòu)、異常體系、反射體系、IO流、設(shè)計(jì)模式
第二階段
數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)
MySql安裝和使用、DML(數(shù)據(jù)操縱語(yǔ)言)、DCL(數(shù)據(jù)控制語(yǔ)言)、存儲(chǔ)過程和函數(shù)、JDBC核心技術(shù)、SQL語(yǔ)言解析、DDL(數(shù)據(jù)定義語(yǔ)言)
第三階段
大數(shù)據(jù)基礎(chǔ)核心
Maven、Hadoop、Hive、Kafka、Linux、Shell、Zookeeper+HA、Flume、HBase
第四階段
Spark生態(tài)體系框架
Scala語(yǔ)言、Spark SQL、Kylin、Druid、Sqoop、Spark Core、Presto、Spark Streaming、Redis緩存數(shù)據(jù)庫(kù)、GIT & GIT Hub、ElasticSearch
第五階段
Flink流式數(shù)據(jù)處理框架
Flink Environment、Flink DataSet、Flink Window、Flink State & Checkpoint、Flink on Yarn、Flink DataStream、Flink Watermark
大數(shù)據(jù)開發(fā)的發(fā)展已經(jīng)趨于成熟,小伙伴在學(xué)習(xí)過程中可以參考一些案例來學(xué)習(xí),同時(shí),由于企業(yè)對(duì)大數(shù)據(jù)開發(fā)技術(shù)的需求量在不斷上漲,市場(chǎng)上的相關(guān)大數(shù)據(jù)開發(fā)崗位在逐漸增多,因此,小伙伴入行大數(shù)據(jù)是一個(gè)比較不錯(cuò)的選擇。
大數(shù)據(jù)開發(fā)技術(shù)的學(xué)習(xí)所涉獵到的知識(shí)體系是比較龐大的,所包含的知識(shí)是比較多且雜的,因此,小伙伴想要學(xué)好大數(shù)據(jù)開發(fā)技術(shù)還真不是一件簡(jiǎn)單的事,需要小伙伴系統(tǒng)的學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)知識(shí)。對(duì)于零基礎(chǔ)小伙伴來講,大數(shù)據(jù)培訓(xùn)學(xué)習(xí)是小伙伴獲得大數(shù)據(jù)開發(fā)技術(shù)知識(shí)的有效學(xué)習(xí)方式。
隨著大數(shù)據(jù)開發(fā)技術(shù)的火熱,市面上出現(xiàn)了很多大數(shù)據(jù)培訓(xùn)機(jī)構(gòu),小伙伴在選擇大數(shù)據(jù)培訓(xùn)班的時(shí)候,要通過多方面的對(duì)比考察了解,理性選擇一家比較靠譜的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)來學(xué)習(xí)。那小伙伴選擇了適合自己的大數(shù)據(jù)培訓(xùn)班之后,在培訓(xùn)班如何進(jìn)行學(xué)習(xí)呢?
1.學(xué)習(xí)積累相關(guān)編程基礎(chǔ)知識(shí)
大數(shù)據(jù)開發(fā)技術(shù)基礎(chǔ)知識(shí)的學(xué)習(xí)離不開java、Python、R語(yǔ)言等編程基礎(chǔ)的積累,因此,小伙伴在大數(shù)據(jù)培訓(xùn)班要以培訓(xùn)課程內(nèi)容為主線,學(xué)習(xí)相應(yīng)的編程基礎(chǔ)語(yǔ)言,在不斷的學(xué)習(xí)過程中,豐富自身編程知識(shí)結(jié)構(gòu)。
2.注重實(shí)戰(zhàn)項(xiàng)目案例的練習(xí)
大數(shù)據(jù)開發(fā)技術(shù)是一項(xiàng)比較復(fù)雜的編程語(yǔ)言,小伙伴想要學(xué)好大數(shù)據(jù)開發(fā)技術(shù),除了不斷的積累編程基礎(chǔ)知識(shí)之外,還需要練習(xí)相關(guān)的項(xiàng)目實(shí)戰(zhàn)案例,才可能快速的理解學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)知識(shí),通過項(xiàng)目實(shí)戰(zhàn)案例的練習(xí),可以鍛煉小伙伴在項(xiàng)目開發(fā)過程中解決問題的能力,讓小伙伴更快速的適應(yīng)公司的工作環(huán)境。
3.交流性學(xué)習(xí)
小伙伴在學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)的過程中,要不斷的去和老師、同學(xué)進(jìn)行交流,在交流的過程中,不斷學(xué)習(xí)好的編程思路,將這些思路融會(huì)貫通,融入到自己的編程思維當(dāng)中,這樣不間斷的學(xué)習(xí),可以更有利的幫助小伙伴成長(zhǎng)。
最后,小伙伴在學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)知識(shí)過程中,適合自己的學(xué)習(xí)方法很重要,在這個(gè)學(xué)習(xí)過程中,小伙伴要養(yǎng)成良好的學(xué)習(xí)習(xí)慣,確定自己的發(fā)展方向,針對(duì)性學(xué)習(xí),以用為學(xué)。尚硅谷大數(shù)據(jù)培訓(xùn)是一家比較靠譜的線下面授教學(xué)職業(yè)教育培訓(xùn)機(jī)構(gòu),老師都是具有一定項(xiàng)目實(shí)戰(zhàn)開發(fā)經(jīng)驗(yàn)和教學(xué)經(jīng)驗(yàn)的技術(shù)大牛帶領(lǐng)小伙伴學(xué)習(xí),能夠讓小伙伴更快速的入門大數(shù)據(jù)開發(fā),同時(shí),培訓(xùn)班還有相關(guān)的大數(shù)據(jù)視頻供小伙伴下載學(xué)習(xí)!
http://www.atguigu.com/bigdata_video.shtml
大數(shù)據(jù)主要學(xué)習(xí):linux.高并發(fā)處理,Hadoop,zookeeper,spark,flink這些大框架,但是細(xì)分后還是很多的呢[捂臉]
學(xué)習(xí)大數(shù)據(jù)需要有java基礎(chǔ)或者python。如果沒有這方面的基礎(chǔ)的話學(xué)習(xí)大數(shù)據(jù)會(huì)不太現(xiàn)實(shí)。如果你有基礎(chǔ)可以著手從以上幾個(gè)方面入手學(xué)習(xí)。如果沒有還是建議先學(xué)習(xí)基礎(chǔ)語(yǔ)言,基礎(chǔ)語(yǔ)言學(xué)好,再學(xué)大數(shù)據(jù)會(huì)很輕松哦。給你推薦一家超好的資料,百戰(zhàn)程序員的,他們家資料很全,還細(xì),最主要是免費(fèi)的,希望對(duì)你有幫助[呲牙]
大數(shù)據(jù)開發(fā)工程師是大數(shù)據(jù)領(lǐng)域一個(gè)比較熱門的崗位,有大量的傳統(tǒng)應(yīng)用需要進(jìn)行大數(shù)據(jù)改造,因此崗位有較多的人才需求。這個(gè)崗位需要掌握的知識(shí)結(jié)構(gòu)包括大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu),比如目前常見的Hadoop、Spark平臺(tái),以及眾多組件的功能和應(yīng)用,另外還需要掌握至少一門編程語(yǔ)言,比如Java、Python、Scala等。
大數(shù)據(jù)分析師是大數(shù)據(jù)領(lǐng)域非常重要的崗位,大數(shù)據(jù)分析師需要掌握的知識(shí)結(jié)構(gòu)包括算法設(shè)計(jì)、編程語(yǔ)言以及呈現(xiàn)工具,算法設(shè)計(jì)是大數(shù)據(jù)分析師需要掌握的重點(diǎn)內(nèi)容,而編程語(yǔ)言的作用則是完成算法的實(shí)現(xiàn)。另外,大數(shù)據(jù)分析師還需要掌握一些常見的分析工具。
大數(shù)據(jù)運(yùn)維工程師的主要工作內(nèi)容是搭建大數(shù)據(jù)平臺(tái)、部署大數(shù)據(jù)功能組件、配置網(wǎng)絡(luò)環(huán)境和硬件環(huán)境、維護(hù)大數(shù)據(jù)平臺(tái),大數(shù)據(jù)運(yùn)維工程師需要具備的知識(shí)結(jié)構(gòu)包括計(jì)算機(jī)網(wǎng)絡(luò)、大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)、編程語(yǔ)言(編寫運(yùn)維腳本)等,通常情況下,大數(shù)據(jù)運(yùn)維工程師也需要對(duì)數(shù)據(jù)庫(kù)有深入的了解。
大數(shù)據(jù)工程師是做什么的?需要掌握哪些技能?
https://www.toutiao.com/i6711595957814821380/
1. 數(shù)學(xué)知識(shí)
數(shù)學(xué)知識(shí)是數(shù)據(jù)分析師的基礎(chǔ)知識(shí)。對(duì)于初級(jí)數(shù)據(jù)分析師,了解一些描述統(tǒng)計(jì)相關(guān)的基礎(chǔ)內(nèi)容,有一定的公式計(jì)算能力即可,了解常用統(tǒng)計(jì)模型算法則是加分。對(duì)于高級(jí)數(shù)據(jù)分析師,統(tǒng)計(jì)模型相關(guān)知識(shí)是必備能力,線性代數(shù)(主要是矩陣計(jì)算相關(guān)知識(shí))最好也有一定的了解。而對(duì)于數(shù)據(jù)挖掘工程師,除了統(tǒng)計(jì)學(xué)以外,各類算法也需要熟練使用,對(duì)數(shù)學(xué)的要求是最高的。
2. 分析工具對(duì)于初級(jí)數(shù)據(jù)分析師,玩轉(zhuǎn)Excel是必須的,數(shù)據(jù)透視表和公式使用必須熟練,VBA是加分。另外,還要學(xué)會(huì)一個(gè)統(tǒng)計(jì)分析工具,SPSS作為入門是比較好的。對(duì)于高級(jí)數(shù)據(jù)分析師,使用分析工具是核心能力,VBA基本必備,SPSS/SAS/R至少要熟練使用其中之一,其他分析工具(如Matlab)視情況而定。對(duì)于數(shù)據(jù)挖掘工程師……嗯,會(huì)用用Excel就行了,主要工作要靠寫代碼來解決呢。
3. 編程語(yǔ)言對(duì)于初級(jí)數(shù)據(jù)分析師,會(huì)寫SQL查詢,有需要的話寫寫Hadoop和Hive查詢,基本就OK了。對(duì)于高級(jí)數(shù)據(jù)分析師,除了SQL以外,學(xué)習(xí)Python是很有必要的,用來獲取和處理數(shù)據(jù)都是事半功倍。當(dāng)然其他編程語(yǔ)言也是可以的。對(duì)于數(shù)據(jù)挖掘工程師,Hadoop得熟悉,Python/Java/C++至少得熟悉一門,Shell得會(huì)用……總之編程語(yǔ)言絕對(duì)是數(shù)據(jù)挖掘工程師的最核心能力了。
4. 業(yè)務(wù)理解業(yè)務(wù)理解說是數(shù)據(jù)分析師所有工作的基礎(chǔ)也不為過,數(shù)據(jù)的獲取方案、指標(biāo)的選取、乃至最終結(jié)論的洞察,都依賴于數(shù)據(jù)分析師對(duì)業(yè)務(wù)本身的理解。對(duì)于初級(jí)數(shù)據(jù)分析師,主要工作是提取數(shù)據(jù)和做一些簡(jiǎn)單圖表,以及少量的洞察結(jié)論,擁有對(duì)業(yè)務(wù)的基本了解就可以。對(duì)于高級(jí)數(shù)據(jù)分析師,需要對(duì)業(yè)務(wù)有較為深入的了解,能夠基于數(shù)據(jù),提煉出有效觀點(diǎn),對(duì)實(shí)際業(yè)務(wù)能有所幫助。對(duì)于數(shù)據(jù)挖掘工程師,對(duì)業(yè)務(wù)有基本了解就可以,重點(diǎn)還是需要放在發(fā)揮自己的技術(shù)能力上。
5. 邏輯思維這項(xiàng)能力在我之前的文章中提的比較少,這次多帶帶拿出來說一下。對(duì)于初級(jí)數(shù)據(jù)分析師,邏輯思維主要體現(xiàn)在數(shù)據(jù)分析過程中每一步都有目的性,知道自己需要用什么樣的手段,達(dá)到什么樣的目標(biāo)。對(duì)于高級(jí)數(shù)據(jù)分析師,邏輯思維主要體現(xiàn)在搭建完整有效的分析框架,了解分析對(duì)象之間的關(guān)聯(lián)關(guān)系,清楚每一個(gè)指標(biāo)變化的前因后果,會(huì)給業(yè)務(wù)帶來的影響。對(duì)于數(shù)據(jù)挖掘工程師,邏輯思維除了體現(xiàn)在和業(yè)務(wù)相關(guān)的分析工作上,還包括算法邏輯,程序邏輯等,所以對(duì)邏輯思維的要求也是最高的。
6. 數(shù)據(jù)可視化數(shù)據(jù)可視化說起來很高大上,其實(shí)包括的范圍很廣,做個(gè)PPT里邊放上數(shù)據(jù)圖表也可以算是數(shù)據(jù)可視化,所以我認(rèn)為這是一項(xiàng)普遍需要的能力。對(duì)于初級(jí)數(shù)據(jù)分析師,能用Excel和PPT做出基本的圖表和報(bào)告,能清楚的展示數(shù)據(jù),就達(dá)到目標(biāo)了。對(duì)于高級(jí)數(shù)據(jù)分析師,需要探尋更好的數(shù)據(jù)可視化方法,使用更有效的數(shù)據(jù)可視化工具,根據(jù)實(shí)際需求做出或簡(jiǎn)單或復(fù)雜,但適合受眾觀看的數(shù)據(jù)可視化內(nèi)容。對(duì)于數(shù)據(jù)挖掘工程師,了解一些數(shù)據(jù)可視化工具是有必要的,也要根據(jù)需求做一些復(fù)雜的可視化圖表,但通常不需要考慮太多美化的問題。
7. 協(xié)調(diào)溝通對(duì)于初級(jí)數(shù)據(jù)分析師,了解業(yè)務(wù)、尋找數(shù)據(jù)、講解報(bào)告,都需要和不同部門的人打交道,因此溝通能力很重要。對(duì)于高級(jí)數(shù)據(jù)分析師,需要開始獨(dú)立帶項(xiàng)目,或者和產(chǎn)品做一些合作,因此除了溝通能力以外,還需要一些項(xiàng)目協(xié)調(diào)能力。對(duì)于數(shù)據(jù)挖掘工程師,和人溝通技術(shù)方面內(nèi)容偏多,業(yè)務(wù)方面相對(duì)少一些,對(duì)溝通協(xié)調(diào)的要求也相對(duì)低一些。
下面是學(xué)習(xí)資料指南(需要原圖,加我好友,私信索取):
0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答