大數據是我的主要研究方向之一，我使用Java的時間也比較久，多年前（2008年）還出版過Java的書籍，所以我來說一說Java與大數據的結合都需要學習哪些內容。

大數據平臺與Java

首先Java是一門編程語言，而大數據則是一個產業領域，簡單的說做大數據的相關研發可以使用Java語言來實現，Java是大數據領域的一個重要工具。

大數據行業涉及到諸多崗位，這些崗位主要圍繞數據展開，包括數據采集、數據整理、數據傳輸、數據存儲、數據安全、數據分析、數據呈現以及應用等。這些不同的崗位有不同的職責，所使用的工具也不盡相同。

在數據采集端往往與物聯網對接，當然也有大量的傳統ERP系統，這部分崗位要對數據庫知識有全面的了解。目前有不少ERP系統都是采用Java語言開發的，當然了解Java開發知識對這部分崗位也是有一定幫助的。

在數據的存儲端往往涉及到云計算平臺，云計算跟大數據的關系十分密切，主要涉及到數據的分布式存儲和分布式計算。一般情況下，云平臺是大數據的重要支撐，云計算平臺為大數據提供硬件資源，做云計算研發的Java程序員主要圍繞資源管理展開工作，嚴格的說這部分開發屬于云計算研發的范疇。

Java做大數據主要的應用在數據分析和呈現上，使用Java做算法實現，做落地應用。這部分知識涉及到Java基礎語法、JavaWeb開發、Java數據結構、Java分布式開發等幾大方面的知識，另外需要掌握Hadoop及Spark平臺的開發API。

需要掌握的Java內容

Java基礎語法部分圍繞類、對象、屬性和方法展開，包括封裝、繼承、多態等幾個核心概念的掌握。Java Web開發則包括Servlet、JSP、JavaBean等基本的Web組件，以及SpringMVC框架等知識的掌握。Java分布式開發則要掌握RMI，以及Java分布式框架的應用。

由于Hadoop平臺本身就是基于Java構建的，所以一般在Hadoop平臺下使用Java也是一個常見的選擇。Hadoop平臺為Java語言提供了一系列API，以方便Java在Hadoop平臺下的場景研發。

我在頭條上寫了關于Java的系列文章，包括Java基礎開發、Java并發、Java分布式開發和JavaWeb開發，感興趣的朋友可以關注我的頭條號，相信一定會有所收獲。

如果有Java、大數據方面的問題，也可以咨詢我。

謝謝！

Java是編程語言，編程語言可以用來開發各種應用軟件，比如BS架構的各類web系統，如電商系統，CRM系統，移動運營商的業務運營管理系統，今日頭條等互聯網業務系統等等

而大數據狹義上來說，則是現實中各類海量數據的處理需求處理技術，比如電商系統里面，往往要根據海量的用戶瀏覽購買行為記錄做各類運算處理后，挖掘出各類有價值的信息來提高電商業務運營效率，支撐智能商品推薦； 在今日頭條里面，要根據海量用戶瀏覽行為和海量內容屬性進行分析，以支撐為每個用戶提供個性化的內容推薦等等。

當然，這些數據處理的需求最終必定是通過程序來完成，而這些程序當然可以使用Java語言來開發；

所以，Java是一個編程語言，你可以用它來開發業務功能系統，也可以用它來開發大數據處理系統，你甚至可以用它開發電腦桌面軟件，也可以開發安卓app

最后，Java能做的，基本上別的語言也能做，只是在不同領域由不同的需要各領風騷

最最后，整體上說來，Java的使用范圍和使用規模，目前在各類語言中是排第一位的

階段一 JavaSE基礎核心

Java基礎語法

· 分支結構if/switch

· 循環結構for/while/do while

· 方法聲明和調用

· 方法重載

· 數組的使用

· 命令行參數、可變參數

IDEA

· IDEA常用設置、常用快捷鍵

· 自定義模板

· 關聯Tomcat

· Web項目案例實操

面向對象編程

· 封裝、繼承、多態、構造器、包

· 異常處理機制

· 抽象類、接口、內部類

· 常有基礎API、集合List/Set/Map

· 泛型、線程的創建和啟動

· 深入集合源碼分析、常見數據結構解析

· 線程的安全、同步和通信、IO流體系

· 反射、類的加載機制、網絡編程

Java8/9/10/11
新特性

· Lambda表達式、方法引用

· 構造器引用、StreamAPI

· jShell(JShell)命令

· 接口的私有方法、Optional加強

· 局部變量的類型推斷

· 更簡化的編譯運行程序等

MySQL

· DML語言、DDL語言、DCL語言

· 分組查詢、Join查詢、子查詢、Union查詢、函數

· 流程控制語句、事務的特點、事務的隔離級別等

JDBC

· 使用JDBC完成數據庫增刪改查操作

· 批處理的操作

· 數據庫連接池的原理及應用

· 常見數據庫連接池C3P0、DBCP、Druid等

階段二 Hadoop生態體系架構

Maven

· Maven環境搭建

· 本地倉庫&中央倉庫

· 創建Web工程

· 自動部署

Linux

· VI/VIM編輯器

· 系統管理操作&遠程登錄

· 常用命令

· 軟件包管理&企業真題

Shell編程

· 自定義變量與特殊變量

· 運算符

· 條件判斷

· 流程控制

· 系統函數&自定義函數

· 常用工具命令

· 面試真題

Hadoop

· Hadoop生態介紹

· Hadoop運行模式

· 源碼編譯

· HDFS文件系統底層詳解

· DN&NN工作機制

· HDFS的API操作

· MapReduce框架原理

· 數據壓縮

· Yarn工作機制

· MapReduce案例詳解

· Hadoop參數調優

· HDFS存儲多目錄

· 多磁盤數據均衡

· LZO壓縮

· Hadoop基準測試

Zookeeper

· Zookeeper數據結果

· 內部原理

· 選舉機制

· Stat結構體

· 監聽器

· 分布式安裝部署

· API操作

· 實戰案例

· 面試真題

· 啟動停止腳本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架構原理

· 安裝部署

· 遠程連接

· 常見命令及基本數據類型

· DML數據操作

· 查詢語句

· Join&排序

· 分桶&函數

· 壓縮&存儲

· 企業級調優

· 實戰案例

· 面試真題

Flume

· Flume架構

· Agent內部原理

· 事務

· 安裝部署

· 實戰案例

· 自定義Source

· 自定義Sink

· Ganglia監控

Kafka

· 消息隊列

· Kafka架構

· 集群部署

· 命令行操作

· 工作流程分析

· 分區分配策略

· 數據寫入流程

· 存儲策略

· 高階API

· 低級API

· 攔截器

· 監控

· 高可靠性存儲

· 數據可靠性和持久性保證

· ISR機制

· Kafka壓測

· 機器數量計算

· 分區數計算

· 啟動停止腳本

DataX

· 安裝

· 原理

· 數據一致性

· 空值處理

· LZO壓縮處理

階段三 Spark生態體系架構

Scala

· Scala基礎入門

· 函數式編程

· 數據結構

· 面向對象編程

· 模式匹配

· 高階函數

· 特質

· 注解&類型參數

· 隱式轉換

· 高級類型

· 案例實操

Spark Core

· 安裝部署

· RDD概述

· 編程模型

· 持久化&檢查點機制

· DAG

· 算子詳解

· RDD編程進階

· 累加器&廣播變量

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定義UDF&UDAF函數

Spark Streaming

· SparkStreaming

· 背壓機制原理

· Receiver和Direct模式原理

· Window原理及案例實操

· 7x24 不間斷運行&性能考量

Spark內核&優化

· 內核源碼詳解

· 優化詳解

Hbase

· Hbase原理及架構

· 數據讀寫流程

· API使用

· 與Hive和Sqoop集成

· 企業級調優

Presto

· Presto的安裝部署

· 使用Presto執行數倉項目的即席查詢模塊

Ranger2.0

· 權限管理工具Ranger的安裝和使用

Azkaban3.0

· 任務調度工具Azkaban3.0的安裝部署

· 使用Azkaban進行項目任務調度，實現電話郵件報警

Kylin3.0

· Kylin的安裝部署

· Kylin核心思想

· 使用Kylin對接數據源構建模型

Atlas2.0

· 元數據管理工具Atlas的安裝部署

Zabbix

· 集群監控工具Zabbix的安裝部署

DolphinScheduler

· 任務調度工具DolphinScheduler的安裝部署

· 實現數倉項目任務的自動化調度、配置郵件報警

Superset

· 使用SuperSet對數倉項目的計算結果進行可視化展示

Echarts

· 使用Echarts對數倉項目的計算結果進行可視化展示

Redis

· Redis安裝部署

· 五大數據類型

· 總體配置

· 持久化

· 事務

· 發布訂閱

· 主從復制

Canal

· 使用Canal實時監控MySQL數據變化采集至實時項目

階段四 Flink生態體系架構

Flink

· 運行時架構

· 數據源Source

· Window API

· Water Mark

· 狀態編程

· CEP復雜事件處理

Flink SQL

· Flink SQL和Table API詳細解讀

Flink 內核

· Flink內核源碼講解

· 經典面試題講解

Git&GitHub

· 安裝配置

· 本地庫搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安裝部署

· 讀寫機制

· 數據類型

· 執行引擎

DataV

· 使用DataV對實時項目需求計算結果進行可視化展示

sugar

· 結合Springboot對接百度sugar實現數據可視化大屏展示

Maxwell

· 使用Maxwell實時監控MySQL數據變化采集至實時項目

ElasticSearch

· ElasticSearch索引基本操作、案例實操

Kibana

· 通過Kibana配置可視化分析

Springboot

· 利用Springboot開發可視化接口程序

階段五 項目實戰階段

數據采集平臺項目

離線數據倉庫項目

Spark實時分析項目

Flink實時數倉項目

推薦和機器學習項目

用戶畫像項目

在線教育項目

ucloud云電商項目

感謝悟空問答的邀請

筆者曾就職與ucloud，ucloud，samsung，是一個資深碼農，歡迎大家關注我哦

一：兩者關系

java是計算機的一門編程語言；可以用來做很多工作，大數據開發屬于其中一種；

大數據屬于互聯網方向，就像現在建立在大數據基礎上的AI方向一樣，

他兩不是一個同類，但是屬于包含和被包含的關系；

java可以用來做大數據工作，大數據開發或者應用不必要用java，可以Python，Scala，go語言等。

目前最火的大數據開發平臺是Hadoop，而Hadoop則是采用java語言編寫。一方面由于hadoop的歷史原因，Hadoop的項目誕生于一個java高之手；另一方面，也有Java跨平臺方面的優勢；基于這兩個方面的原因，所以Hadoop采用了Java語言。但是也因為Hadoop使用了java所以就出現了市場上很多外行所說的“Java大數據”。

二：發展：

java屬于語言，編程語言的發展未來說不準，至少現在java變成還是不錯的前景，大數據大部分框架都有java的支持或者底層是java寫的；

大數據的發展，概念可以理解為社會進步數據的巨量增加帶來的價值性利用，成為大數據的一個方向。就像AI建立在大數據的數據量的基礎上，未來會一直往技術前進的方向發展。

Java作為一種語言，它的存在已經有很多年了，而大數據作為一個新的概念他的出現是由于信息時代信息量的爆炸增長帶來的，海量的數據等待我們去處理，海量的信息需要我們去鑒別，而這些處理和鑒別的方式可以用hadoop，用java去實現這一系列的鑒別處理工具，也就是用java語言去實現這些大數據算法的過程。

三：總結：

java目前算是主流，可以多學幾門語言，技多不壓身，百利而無一害對于開發；

大數據的這個方向，不會消失，只會隨著技術的發展更加智慧性，要研究好大數據嚴格意義上來說是和java語言沒有關系的，需要的是我們具備算法知識。當然，最主要的是我們有大數據，畢竟大數據時代最值錢的是數據，這也是為什么各大社交媒體，各大購物網站，甚至任意的app都需要用戶您提交各人用戶信息數據的原因。

大數據已經成為時代發展的趨勢，很多人紛紛選擇學習大數據，想要進入大數據行業。大數據技術體系龐大，包括的知識較多，系統的學習大數據可以讓你全面掌握大數據技能。學習大數據需要掌握哪些知識

學習大數據，要從Java開始學起，如果已經有Java編程語言了，學習大數據就會相對輕松很多。在掌握了大數據的基本編程語言之后，就要正式進入大數據相關知識的學習了。

首先是基礎階段。

學習大數據首先要學習Java基礎。在學習Java的時候，我們一般需要學習這些課程： HTML，CSS，JS，java的基礎，JDBC與數據庫，JSP java web技術， jQuery與AJAX技術，Spring、Mybatis、Hibernate等等。這些課程都能幫助我們更好了解Java，學會運用Java。

這一階段還包括：關系型數據庫原理、LINUX操作系統原理及應用。在掌握了這些基礎知識后，還會有這些基礎課程的進階課程，即：數據結構與算法、MYSQL數據庫應用及開發、SHELL腳本編程。在掌握了這些內容之后，大數據基礎學習階段才算是完成了。

第二階段：大數據理論及核心技術。

第二階段也被分為了基礎和進階兩部分，先理解基礎知識，再進一步對知識內容做深入的了解和實踐。

基礎部分包括：布式存儲技術原理與應用、分布式計算技術、HADOOP集群搭建、運維；

進階內容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源碼分析、HIVE、HBASE、Mongodb、HADOOP項目實戰。

完成了這部分內容的學習，就已經掌握了大數據專業大部分的知識，并具有了一定的項目經驗。

第三階段：數據分析挖掘及海量數據高級處理技術。

基礎部分有：PYTHON語言、機器學習算法、FLUME+KAFKA；

進階部分有：機器學習算法庫應用、實時分析計算框架、SPARK技術、PYTHON高級語言應用、分布式爬蟲與反爬蟲技術、實時分析項目實戰、機器學習算法項目實戰。

以上便是大數據的主要學習內容。相信在掌握了以上大數據專業知識后，題主能夠在將來的工作中得心應手，完成自己的職業理想。

大數據使用的技術

說起大數據，大數據有三個層數據采集、存儲、計算三層。

第一個是數據采集層，以App、saas為代表的服務。

大數據基礎階段需掌握的技術有：Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis以及hadoopmapreduce hdfs yarn等。

第二個數據存儲層，比如云存儲，需掌握的技術有：hbase、hive、sqoop等。

比如：Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用于數據存儲。HBase，是一個分布式的、面向列的開源數據庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL數據庫。

HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存儲能力。

第三個是數據計算應用層，以數據為基礎，為將來的移動社交、交通、教育，金融進行服務，涉及到大數據架構設計階段需掌握的技術有：Flume分布式、Zookeeper、Kafka等，以及大數據實時計算階段需掌握的技術有：Mahout、Spark、storm。

順便再談一個大數據相關的崗位：

答者：IT人升職加薪進階站 優知學院 (www.youzhixueyuan.com） 創始人陳睿|mikechen, 歷任淘寶高級軟件工程師、盛大架構師、百度研發經理、攜程定制旅游CTO，分享職場、架構、CTO進階經驗和新技術趨勢。

1、精通java基礎知識

2、熟悉hadoop生態系統，并嘗試搭建相關環境，熟悉mapredus編程

3、熟悉常用的linux命令，并掌握在linux下部署hadoop生態系統

數據分析師需要的技能大致有這些：Excel、SQL、統計學及SPSS、Python/R等。

建議從Excel開始，因為Excel是使用最多，也是最強大的數據分析工具，入門簡單，因為大部分人都接觸過Excel。

數據分析師需要的技能大致有這些：Excel、SQL、統計學及SPSS、Python/R等。建議從Excel開始，因為Excel是使用最多，也是最強大的數據分析工具，入門簡單，因為大部分人都接觸過Excel。

數據分析師需要的技能大致有這些：Excel、SQL、統計學及SPSS、Python/R等。

建議從Excel開始，因為Excel是使用最多，也是最強大的數據分析工具，入門簡單，因為大部分人都接觸過Excel。