{eval=Array;=+count(Array);}
謝謝邀請!
大數據是我的主要研究方向之一,同時也在帶大數據方向的研究生,所以我來回答一下這個問題。
學習大數據首先要根據自身的知識結構選擇學習方向,比如數學和統計學專業的學生可以選擇數據分析方向,而計算機專業的學生可以選擇大數據開發方向,不同的學習方向需要制定不同的學習計劃。
雖然不同的學習方向往往需要學習不同的內容,但是對于零基礎的學習者來說,以下三方面基礎知識是都需要學習的:
第一:編程語言。不論是選擇大數據分析方向還是大數據應用開發方向,掌握編程語言都是學習大數據的重要基礎。目前在大數據領域應用比較廣泛的語言包括Java、Python、Scala、R和Go等,其中Java在Hadoop平臺應用比較多,而Scala在Spark平臺應用比較普遍。從目前的應用趨勢來看,學習Python則是不錯的選擇,既可以從事大數據開發,也可以從事大數據分析。
第二:大數據平臺。學習大數據知識繞不過大數據平臺,大數據平臺承載了分布式存儲和分布式計算的核心任務,所以大數據平臺研發也是目前大數據領域的重要崗位。目前Hadoop和Spark是比較適合初學者學習的大數據平臺,一方面是其開源的屬性,另一方面Hadoop對于硬件的要求也比較低。
第三:算法。大數據技術的核心訴求是數據價值化,而目前數據價值化的主要方式就是數據分析,所以掌握算法不僅對于數據分析崗位非常重要,對于大數據開發崗位也具有現實的意義。可以說,大數據產業鏈內大量的崗位任務都要圍繞算法展開,所以掌握算法是學習大數據技術的核心任務之一。學習算法可以從一些經典的算法開始,比如kNN、決策樹、樸素貝葉斯、支持向量機等等。
我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關于互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收獲。
如果有互聯網、大數據、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區留言!
本人從事大數據以及相關行業,算是一個業內人士,說說我的看法,僅供參考。
首先大數據這幾年特別熱門,同時也帶來了很多的就業。大數據的價值也越來越明顯,尤其是人工智能的發展和即將到來5G,都離不開大數據這個基礎!所以選擇學習大數據對未來的發展還是挺不錯的。但同時也要清楚一些問題!
首先是確定學習的方向:大數據是一個大概念,必須知道他都有那些部分,自己將來就業要選擇那個方向。下面就說一下大數據就業的方向和技能需求以及崗位需求!僅供參考!!
一,大數據開發
從事大數據開發工程師
崗位職責
1、利用Hadoop、Spark等技術在分布式系統上對海量歷史數據進行預處理,挖掘用戶信
息;
2、參與大數據基礎平臺的搭建和維護;
3、負責廣告投放項目管理平臺研發;
4、負責大數據計算處理平臺項目研發。
技術要求
1、熟練掌握c++/Java開發,具備扎實的程序設計基本功和學習能力
2、熟悉 Linux,熟悉 shell/perl/python/php 等腳本語言的一種或多種。
3、熟悉傳統數據庫MySQL。
4、熟悉MapReduce、Storm、Spark、Spark Streaming等大數據開發工具,對源代碼
有一定研究者優先;
5、熟悉linux環境,熟悉shell等腳本編程;
6、有大規模數據處理和日志處理經驗的優先。
7、有較強的人際溝通、協調能力,具備與技術人員溝通數據需求的能力;
8、具備良好的邏輯分析能力和解決實際問題的能力。
二,大數據運維
從事大數據運維工程師
崗位職責
1、負責大數據平臺整體軟硬件的日常運維;?
2、分析平臺運行狀態,進行性能優化;?
3、負責大數據平臺運行故障的分析、定位和解決;?
4、負責新技術、新組件的技術探索、測試和應用;?
5、支撐運維自動化系統的設計和開發。?
崗位要求:?
1、 熟悉hadoop生態圈主要開源技術組件及其工作原理,能閱讀相關源代碼,能順利閱讀英文文檔;?
2、熟悉軟硬件設備、網絡原理,有豐富的大數據平臺部署、性能優化和運維經驗;
3、熟悉Linux,熟悉cacti、ganglia、zabbix等運維軟件,熟悉SaltStack、Ansible等自動化軟件,有python、java、shell編程基礎;?
4、工作認真負責,有較強的學習能力、動手能力和分析解決問題的能力;?
補充:
熟悉Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等開源項目,有運維優化經驗者優先;
熟悉Linux操作系統的配置、管理及優化;
熟悉Python、Linux、shell,有ETL維護經驗、電信行業大數據維護經驗者優先
三,數據挖掘
從事數據挖掘工程師
崗位職責
1、對海量數據進行分析,建立數據挖掘算法,利用大數據對產品進行研究和建模,為用戶提供評估和預測等功能;
2、參與/負責用戶畫像、推薦等系統搭建,參與核心產品推薦場景算法的研發和優化;
3、采用先進的數據挖掘和機器學習算法,為公司業務部門提供決策依據;
4、搭建數據挖掘系統和機器學習系統,實現智能平臺的自動化流程。
1、具備強悍的編碼能力,有扎實的數據結構和算法功底;
2、優秀的學習能力、獨立分析問題和解決問題能力;
3、熟悉Linux開發環境,熟悉Python,PHP,Java等語言兩種以上;
4、熟悉基本的數據分析方法、數據挖掘、機器學習算法;
5、熟悉SPSS/Modeler/R/Python等至少一種數據挖掘工具;
6、熟悉Hadoop/Spark,有Elasticsearch,Solr,Kafka,Flume等開源項目使用經驗
7、有畫像、廣告、推薦,搜索等算法方向實際工作經驗優先
四,BI(商務智能)工程師— (包括數據庫開發、BI開發工程師、ETL開發、報表開發、BI咨詢顧問)
崗位職責
1、獨立負責業務數據收集整理,構建經營分析和報表系統;
2、通過專題分析,對業務問題進行深入分析,為業務的策略、產品優化提供數據支持;
3、?以數據驅動業務為目標,進行數倉研發工作但不局限于數倉;
4、?參與數據倉庫ETL設計、開發和優化工作,保證數據準確、穩定、組織合理?
崗位要求
1、掌握Oracle、MySQL、ODPS等數據庫開發技能,熟練應用開發、數據庫原理和常用性能優化和擴展技術;
2、掌握數據倉庫建設、熟悉大數據平臺操作,離線計算Hive/MR研發、實時計算spark?streaming/storm;?
3、熟悉ETL邏輯、OLAP設計和數據分析技術(聚類分析、回歸分析、決策樹等)、數據挖掘相關算法;
4、熟悉Linux系統環境開發,掌握shell、perl、python等至少一種開發語言。
6. 有較強的邏輯/概率思維能力,善于分析、歸納、描述、溝通、和解決問題。
補充(根據企業工具區別)
1、全面熟知數據倉庫設計理念、設計方法,熟練掌握Informatica、Kettle、Automation等至少一種ETL工具;
2、熟練掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一種BI工具;
3、熟悉數據倉庫,掌握BI相關工具,如ETL工具(SSIS, SAP DataService)、OLAP工具(SSAS)和前端展示工具(BO CR/Webi)
五,數據可視化
從事可視化工程師
崗位職責
1、負責大數據平臺業務邏輯和數據可視化功能,數據可視化組件研發; ? ?
2、搭建基礎的可視化分析平臺,設計數據分析應用的架構,實現實時數據調用與展示;
3、數據相關性分析與根因分析;
4、支持客戶需求分析和數據分析。
崗位要求
1、熟練Web前端技術(SVG/HTML5/JavaScriptdeJS等);
2、熟練D3、Echarts、Three.js、WebGL等開源數據可視化庫和技術; ? ?
3、有Web服務器端編程語言(如Node/Java)開發經驗優先; ? ?
4、有blender(以及blender game engine)或者unity 3d或unreal engine等開發經驗優先
一些BI崗位的詳細介紹
BI工程師(開發、咨詢、實施)
BI開發工程師
崗位職責
1、執行在框架設計的基礎上完成具體組件的概要設計、詳細設計編寫;??????????
2、完成BI系統具體組件的代碼編寫、單元測試;?????????????????????????????????
3、參與BI系統報表平臺技術架構設計,數據庫結構設計;??????????????????
4、參與BI系統數據倉庫的構架、建模和實現。??
5、負責向需求方提供數據及業務分析服務,負責整體風控模型的優化,理解并掌握BI報表需求;
崗位要求
1、有數據倉庫或統計分析類項目開發經驗或較深的理論知識;
2、熟悉Cognos、Webfocus、ireport等數據分析報表開發工具和技術;
3、熟悉Linux/Unix服務器,并了解一些基本的操作命令;
4、至少熟悉Informix/Oracle/SQL Server等數據庫中的一種,并在此基礎上有過ETL程序或存儲過程的開發。
5、能夠熟練應用JSP/Servlet/JavaScript等WEB開發技術,熟悉Spring,Struts2和iBATIS等主流的開發框架,熟悉BIRT、JasperReports等開源報表工具;
6、熟悉Linux?Shell、Perl等腳本語言,熟悉ORACLE數據庫,PL/SQL編程;
7、熟悉BI系統技術框架,熟悉數據采集流程,對數據倉庫有比較深入的了解;
8、熟悉行業經營分析系統(BI)架構及實現者優先。
BI咨詢顧問
崗位職責
1、分析客戶的數據要求;
2、負責Qlikview/Tableau BI項目的實施和報表開發;
3、負責校驗數據,保障數據的準確;
4、 負責客戶需求收集、分析,梳理業務流程解決方案,項目的拓展支撐;
5、撰寫需求規格書及各類相關文檔;
6、良好的團隊合作、協調、問題處理能力;
崗位要求
1、對BI有系統的認知;
2、熟練使用Qlikview,Tableau等前端工具;
3、熟悉MS SQL Server,熟練運用SQL語言;
4、前端報表偏業務方向需熟悉主流報表工具或新興前端報表工具Qlikview、Tableau等優先考慮;
6、后臺數據處理需熟悉掌握至少一種后臺ETL開發工具,例:Informatica powercenter、Datastage、OWB、微軟DTS、Kettle等;
7、后臺數據建模需熟練掌握至少一種數據挖掘算法和建模方法,了解建模;
8、良好的英文能力,能快速閱讀和撰寫英文技術文檔者優先。
BI實施工程師
崗位職責
1、負責BI項目的需求調研與分析工作;
2、負責BI項目的方案設計、實施或項目管理工作;
3、參與公司BI產品和項目的實施開發工作。
崗位要求
1、良好的數據庫基礎,精通SQL,深入掌握Oracle或其他數據庫,能夠進行數據庫調優;
3、熟悉ORACLE、MYSQL、SQLSERVER等主流數據庫的安裝及配置、熟悉SQL語句編寫及ETL、BI實施工作;
3、熟悉LINUX操作系統安裝及常用命令;
4、熟悉BI基礎理論知識,使用過BI相關產品;
5、參與BI相關項目的實施工作;
6、熟悉TOMCAT、JDK等安裝及參數配置;
7、具備較強的語言表達能力,能與客戶順暢溝通或產品介紹;
8、具備較強的學習與動手能力,能夠適應全國范圍內出差;
9、熟悉hadoop大數據及自動化運維工具經驗者的待遇從優。
ETL工程師
崗位要求:
具備一般的JAVA應用開發能力;
熟悉Oracle下的分區,表空間, SQL性能調優等操作;
熟悉常用的ETL工具,如:kettle, informatica等;
熟悉常用的報表工具,如:Cognos等。
崗位職責:
負責行業生產交易系統數據倉庫開發,存儲過程編寫,數據模型研究,大數據研究
六,數據分析工程師
崗位職責:
1、進行業務和企業經營行為分析,梳理業務規律和業務需求;
2、將業務需求轉化為數據需求,發現數據應用場景,梳理指標體系;
3、使用合適的數據分析工具進行數據分析和模型設計;
4、提出基于數據的結果和分析建議,根據分析結果進行行業研究、評估和預測;
5、編寫數據分析報告;
6、完成領導交辦的其他工作。
崗位要求
1、本科以上學歷,計算機、數學、統計學等相關專業;
2、深刻理解大數據分析原理及相關應用;
3、熟練掌握主流數據庫技術;
4、精通數據分析、挖掘工具與方法,如SAS、R、Python、EXCEL等;
5、敏銳的數據觀察和分析能力,及時發現和分析其中隱含的變化和問題并給出建議;
6、良好的溝通能力和團隊精神,較強的學習能力,能承擔一定的工作壓力;
還有就是要怎么學習,要參加培訓?還是自學?,培訓花費大但是有學習環境和氛圍并且有人指導可以全身心的投入學習中。要是自學在自己沒有基礎的情況下是容易走彎路的而且花費時間會很長!
最后就是學歷問題,大專之上學習較好,找工作還算能行,不過大專找工作也有點吃力但是也能找到!要是你大學的專業是計算機或者數學統計學相關專業可能出來很有優勢,是加分項!
希望能夠幫到你,歡迎關注,討論
感謝邀請!
以下回答屬于個人理解,不喜勿噴!
首先、想學習大數據,就需要知道什么才是大數據!要學習哪些東西?
涉及大數據的東西其實太多了。
比如服務器負載均衡搭建,是不是數據大數據呢?數據庫分庫分表,主從數據庫是不是數據大數據呢?
這個要從大數據的起源來說,大數據起源是google公司寫的三篇論文開始說。
google公司是世界上軟件技術最強之一,人家公司自己有自己的大數據平臺,發布了三篇論文,分別是Google-File-System和Google-Bigtable以及Google-MapReduce。這三篇論文發布之后,才有的大數據的概念。
大數據中的File-System現在學習的叫hdfs。(Hadoop Distributed File System)
Hadoop分布式文件系統,利用linux,來做的分布式文件系統。
MapReduce是一種編程模型。
Bigtable就是超大數據庫存儲了。
如果有興趣可以私信我。我可以給你一些學習的視頻資料
如果你從事大數據研發類工作,你需要學習一門開發語言,JAVA或者Python,用于開發大數據相關的數據存儲、抽取、計算分析等任務。
如果你從事大數據運維類工作,你需要了解Hadoop、Hbase、MongDB、Spark等大數據產品。
最重要的是,你要了解運用大數據技術的相關行業,沒有業務知識,大數據技術也只是技術,并不能產生更多的價值。
對于大數據想必了解過的人和想要學習大數據的童鞋都是有所了解的,知道大數據培訓相關的一些學習內容都有個大概的了解,但是對于大數據培訓學習內容的一些比較詳細的內容還是有所差距的,我們學習大數據的主要目的就是未來以后可以到大企業去做相關的工作,拿到客觀的薪資。
那么這就需要我們了解企業對于大數據技術的需求是什么,大數據培訓機構大數據課程內容是否包含這些內容。接下來帶大家簡單了解一下。
第一階段Java語言基礎,此階段是大數據剛入門階段,主要是學習一些Java語言的概念、字符、流程控制等。
第二階段Javaee核心了解并熟悉一些HTML、CSS的基礎知識,JavaWeb和數據庫,Linux基礎,Linux操作系統基礎原理、虛擬機使用與Linux搭建、Shell 腳本編程、Linux 權限管理等基本的 Linux 使用知識,通過實際操作學會使用。
第三階段 Hadoop 生態體系,Hadoop 是大數據的重中之重,無論是整體的生態系統、還是各種原理、使用、部署,都是大數據工程師工作中的核心,這一部分必須詳細解讀同時輔以實戰學習。
第四階段Spark生態體系,這也是是大數據非常核心的一部分內容,在這一時期需要了解Scala語言的使用、各種數據結構、同時還要深度講解spark的一系列核心概念比如結構、安裝、運行、理論概念等。
2021大數據學習路線圖:
本人工作以來一直在大數據領域深耕,對于大數據的入門者有少許的建議。大數據領域的工作方向主要分為以下幾類:
1.計算平臺方向
2.數據處理方向
3.數據分析方向
4.算法應用方向
目前大部分公司的子部門也基本按這些進行細分,上述各個領域的側重點也不一樣。
1.計算平臺方向。自從07年hadoop技術橫空出世以后,使得廉價的機器也能部署成分布式計算環境,所以這塊技術主要圍繞著hadoop生態。這個需要學習hdfs分布式文件,hbase或hive分布式數據庫技術,spark或者flink等分布式計算技術,zookeeper等分布式協調技術等。根據個人喜好可以側重底層技術的優化及維護,或者基于這些技術的應用開發。
2.數據處理方向,大致是指ETL工程師。該職位主要是加工處理各個數據源的數據,包括日志收集的、業務庫產生的等。根據這些數據供其他工種的同學進行使用,比如產生各種報表,或者拿來給算法做訓練。這一塊側重sql技術或者python技術,他們更側重于對業務的理解,技術相對弱化一點。
3.數據分析方向。這塊的崗位主要是數據分析師,實際中使用比較多的是sql和excel。如果把業務比喻成人,數據就是血液,而數據分析師就是通過血液進行人體癥狀判斷的醫生。很多時候數據分析師比業務方還懂業務,他們需要分析業務的痛點,通過分析數據尋找解決方案。這塊需要很強的邏輯分析能力和溝通能力。
4.算法工程師。這個基本上處于大數據食物鏈頂端的工種。他們需要精通高數、高代、概率論與統計等等數據基礎,同時需要掌握python或scala至少一門語言,需要掌握機器學習或深度學習的知識。門檻相對其他工種稍高一點。基礎的算法工程師一般調用算法開發包進行業務開發,同時進行參數調優。高級的算法工程師需要看論文自己實現算法,或者根據業務情況優化數學公式。如果想從事這塊,你需要很扎實的數學基礎,并且要熱愛數學才能持之以恒堅持下去。
1.首先你需要對大數據有一個清晰地認知,什么是大數據?大數據都能干什么?我對大數據感興趣嗎?能堅持下來嗎?我要學習大數據現在有什么基礎?還有什么地方要補足?學習大數據之前千萬要想好這些,要不很有可能你學習到一個階段就半途而廢了。
2.如果你之前沒有編程的經歷,那么你要選擇一門編程語言去輔助你做大數據項目。我建議學習Java,現在Java培訓機構很多,網上的視頻文章等學習資源也很多,而且大數據相關技術棧中有相當一部分也是Java開發的,所以懂Java對于你學習大數據有很大的幫助。
3.如果你有Java基礎,或者通過學習已經掌握了JavaWeb相關的技術,例如數據庫,數據結構,JQuery,Spring等,就可以開始接觸大數據相關的技術了。這一階段需要學習的知識很多,批處理框架Hadoop,分布式文件管理系統HDFS,流式計算框架Spark,交互式框架Hive等,另外你還需要惡補一些數學知識,如概率論,離散數學,統計學等。
4.實踐是檢驗真理的唯一標準,理論知識充足時候一定要實踐,記住,實踐非常重要,最好結合身邊的應用場景,做一到兩個大數據的項目,跟隨著項目,你才能以最快的速度成長。
5.不斷地學習新的知識技術,多去拜讀大數據相關的論文,其實到大數據層面,更多的是解決問題的思路而不是解決問題的辦法。
6.堅持,湊個偶數。
額,感覺你的問題問的有點泛。目前我也在學大數據,個人建議可以從以下幾個步驟開始學習大數據。第一、先學習基礎知識,基礎知識包括java se,Linux,數據庫之類的。第二、學習Hadoop,Spark,Yarn,MapReduce之類的,數據存儲和處理架構。第三、開始做點稍微有含金量的項目之類的。這僅僅是個人的感覺,由于目前我也在學習階段,回答的可能有欠缺,歡迎各路大佬批評指正。
可以從實際用途出發。
先問自己,為什么要學大數據,希望找一份怎樣的工作,大數據與現在學習的專業間是否可以建立起關聯?
然后以終點為起點,朝著目標,分析一下需要哪塊大數據技能?大數據內容和方向都很多,要從目標倒推,選擇你需要的部分。
最后,全網搜索網課,然后試聽,滿意的話就可以報名學習啦!
現在信息資源那么豐富,用心學習肯定能進步很快,加油!
你好,很高興回答你的問題。
很多萌新會問:大數據好學嗎?大數據好就業嗎?其實啊,在學習大數據的過程中,重要的一點是我們要找準自己的定位。學好大數據開發技術,自然能夠有一個非常不錯的工作。在大數據學習過程中,你需要注意以下幾點:
首先,你要了解一下自己的實際能力水平,比如零基礎學習大數據從自學角度來看是完全不可行的。然后從容應對以后的學習途徑。在學習中需要更加明白你的目標,你邁向下一步的步伐,在大方向確定后再具體到小細節,不能有絲毫的馬虎。
其次,你需要了解如今的市場行情,需要掌握什么技能才能找到一份大數據開發的工作,現在公司需要什么人才,將自己的技能與企業需求匹配,這個就是你學習的一個方向。
重要的是,你要確定自己的學習方式。如果你想系統學習,可以跟著老師的進度,但也要有自己的計劃,一個系統的學習規劃會讓你的學習更加有序進行。
總結一下就是,你要知道自己每天學習什么,很多大數據小白在入門階段的時候,興致勃勃,但三分鐘熱度一過,或者遇到了非常棘手的難題,學著學著就放棄了,或者是明明在學習,但是一段時間以后根本不知道自己在學習什么,這樣非常迷茫一點計劃沒有,肯定是學不會大數據的,所以學習大數據要擺正好心態,有耐心細心一點,要清楚地知道自己每天在學習什么。
如果你認準了想要在大數據行業進行發展,也為了以后能有個高薪工作,有一個好的發展方向,且對自己樹立良好的自信心的話,建議可以選擇一個靠譜的培訓機構進行系統學習,努力就會有收獲哦!
我現在學習的南京安德門的中博開設了北美大數據班,前幾天出來了就業喜報,平均薪資都在10k+,有興趣的朋友可以來看看了解下,當然了,合不合適還是看自己。
0
回答0
回答0
回答0
回答0
回答0
回答9
回答0
回答0
回答0
回答