想要了解大數據和Java語言區別是什么？我們先來簡單了解一下他們定義的范疇：

大數據：簡而言之，就是海量的數據，數據種類繁多，數據結構多變，數據存儲方式不同，需要通過工具去收集這些數據，然后存儲在存儲介質的集群上。

java：java是一門計算機的編程語言，可以編寫桌面應用程序、Web應用程序、分布式系統和嵌入式系統應用程序。

從定義可以大概了解到大數據和java語言區別應該是java語言只是大數據中的一門開發工具語言，具體是怎么樣？我們一起來看看大數據架構和java語言在大數據中應用。

大數據架構

一、數據源

首先從最底層的數據源來講，大數據包含的數據是各方各面的，所有在數據的來源上也是多種多樣的。從種類上來講大體上可以分為以下幾類：

• 日志數據：應用系統的運行日志，用戶訪問的行為日志等
  

• DB數據：企業內部業務系統的數據，例如客戶管理系統的客戶數據，訂單系統的訂單數據，物流系統的物流數據等

• 流式數據：簡單的理解就是實時采集的數據，源源不斷像流水一樣產生的數據，例如淘寶上用戶的訪問記錄

• 互聯網數據：互聯網數據有兩種，一種是自己去采集的數據，一種是跟外部企業合作的數據，例如可以開發爬蟲程序去爬取網站上公開的信息，和淘寶京東合作利用客戶購買行為數據等

• 其他數據：還有一些其他方面的數據，例如硬件設備產生的數據，特別是現在IOT物聯網的火熱，就是將所有硬件設備的數據收集起來進行分析

二、數據接入

數據源的多種多樣，所以在數據接入技術和工具上也是多種多樣的，常用技術和工具有以下幾種：

• Sqoop：一款用來在Hadoop（Hive）和關系型數據庫之間傳輸數據的工具，可以將一個關系型數據庫中的數據導入到HDFS（Hive）中，也可以將HDFS中的數據導入到關系型數據庫中，主要是針對于DB數據源的數據接入。

• Flume：一個分布式的、高可靠的、高可用的將大批量的不同數據源的日志數據收集、聚合、移動到數據中心（HDFS）進行存儲的系統，主要針對于日志數據的收集和推送到數據倉庫，類似的還有ELK體系的Logstash組件。

• Kafka：一個分布式流處理平臺，用于構造實時流數據管道，它可以在系統或應用之間可靠地獲取數據，具有高性能、持久化、多副本備份、橫向擴展能力，主要針對于流式數據的接入

三、數據存儲

說到數據存儲，大數據的發展歷史離不開一個叫Hadoop的家族產品，可以很直接的這么說，沒有Hadoop就沒有大數據，國內很多大數據公司一開始建立的數據存儲數倉都是基于Hadoop體系建立的，那么Hadoop到底是什么呢？

Hadoop是一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。簡單的理解就是，可以利用大量便宜低端硬件配置的服務器，組建成一個跨服務器的存儲集群，數據可以保存在多個服務器上，實現大數據量的存儲和降低硬件成本。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，而MapReduce則為海量的數據提供了計算。

說到數據存儲，不得不說一下數據倉庫的架構，不同于傳統的業務系統使用的關系型數據庫，Hadoop一個分布式文件系統，存儲方式是按照文件的存儲方式，所以就有了數據倉庫架構的說法。數據倉庫的架構主要有星型和雪花型兩種方式：

星型：一種使用關系數據庫實現多維分析空間的模式，稱為星型模式。星型模式的基本形式必須實現多維空間（常常被稱為方塊），以使用關系數據庫的基本功能。

雪花型：當星型模式的維度需要進行規范化時，星型模式就演進為雪花模式。

大數據的數據倉庫架構主要采用雪花型架構，因為數據源的多樣化，導致數據結構也是多樣化的。不同于關系型數據庫，都是基于二維表的形式，而大數據的數據有文本數據，日志數據，設備數據，爬蟲數據，業務數據等，所以從接入數據到數倉還需要經過ETL（抽取-extract、轉換-transform、加載-load）清洗的過程才能落地到數據倉庫。一般數據倉庫架構可以分為五層：

• ODS層：ODS層主要是保存和來源數據一致的格式

• DIM層：DIM層主要用來存儲一些基礎的維度表，很少會改動
  
• MID層：MID層主要是用來處理根據業務邏輯和指標口徑篩選出來的數據
  
• DW層：DW層根據主題分類，將數據按照不同的主題建立數據表存儲和進行維度化
  
• DM層：DM層主要是面向應用層的建模，例如一張分析報表需要展示不同維度和指標的分析，那么根據這些維度和指標從DW層的不同主題分類中的數據關聯出來，形成一張數據表給報表使用。
  

四、數據應用

在數據清洗完落地數據倉庫之后，就是怎么去利用這些數據去變現業務價值。不同行業有不同行業的用法，在這里小編以自身經歷說一下，小編所在的大數據部門主要是針對金融行業進行數據分析的，那么大概的應用場景有以下幾種：

數據分析報表：基于業務需求開發的固定維度和指標的分析報表

移動端數據可視化：基于手機端App展示的數據圖形可視化應用

數據分析周報，月報：按周或著按月進行數據匯總分析和預測，常用于郵件推送，公眾號推送

大屏可視化駕駛艙：基于大屏端數據圖形可視化，數據高度匯總，大而全

機器學習風控模型：基于機器學習算法訓練出統一規則的模型，用于貸前，貸中或者貸后風控評審關卡。

java語言

在這里就不在過多的描述java的作用了，我們來聊聊java語言在大數據中可以做什么？

從上文大數據架構來看，java語言主要可以應用于開發數據應用和大數據工具，例如java web開發數據分析報表，移動可視化分析，大屏可視化駕駛艙等，也可以用于開發一些數據處理過程中用于自動化和便捷開發的工具，例如調度系統：用于數據清洗作業的自動化依賴調度；補錄系統：用于數據缺失值的可視化補錄表，便于數據治理的自動化；發布平臺：用于調度作業一鍵從不同環境之間部署和數據同步審批等。

【我是蠟筆小添，專注IT前沿技術和科技資訊分享，歡迎關注我@蠟筆小添，我們一起學習交流探討】

請高興能回答你的問題！

首先要明確一點，大數據是一個行業方向，而Java是一門開發語言

大數據是什么

大數據是近幾年的一個專業名詞，以海量數據為核心，產生數據分析結果的技術處理過程和處理方式。大數據本身不在于原始數據的多少，而在于通過大數據分析數據產生之后的應用數據的價值是什么。

大數據最開始用的技術大家都認為是Hadoop，但實際上大數據處理的方式多種多樣，處理的技術語言可選性也很多，Java是其中一種，但并不是唯一的一種。 像C、GO、Python都可以處理大數據。

當然基于大數據的數據存儲和計算的要求，云計算和大數據也算是共生共存的。

Java是什么？

Java是一種跨平臺的開發語言，應用的場景很多， WEB，SERVICE，API，APP等等，算是目前各開發語言當中綜合能力最強的一種。目前來看市場中Java開發的就業機會還是最高的。

說到這里，我想你應該能足夠解答你的問題了。

如果我的回答對你有幫助，請記得點贊收藏！

JAVA

java是一種面向對象的程序設計語言，主要應用于軟件的編寫。同時java也繼承了C語言大部分語法，但在使用上java要更加的簡單。因為java的跨平臺性和可移植性，也使得java可以被應用在各個程序的編寫和操作系統中。又因為java是一種開源的編程語言。所以java可以進行跨平臺的編寫、開發程序。

java語言主要涉及的工作方向分為兩個方面，一個方面是進入領導層，做項目的負責人。這個就需要有大量的知識儲備，技能要求極高。同時還要有一定的管理能力。另一方面就是Java工程師，從初級工程師一點一點的做到高級工程師。java語言涉及的工作方向比較的單一，但是工作崗位需要的人很多。相對來說還是很好找工作。

大數據

大數據主要應用于統計學中，也多被應用在物聯網中。用于指導人們的商業行為、戰略覺策、未來預期的一種分析處理方法。大數據都是被應用在物聯網中。用于對信息的捕獲和獲取，對于得到的信息進行分析和工作。主要的應用范圍應用于各種后臺數據的分析。

大數據主要涉及的工作崗位數據分析師、數據架構師、數據工程師，人工智能等方向，其中數據分析師主要是從事行業的數據、搜集、整理、分析、在針對這些數據進行公司的發展的規劃作出評估，給出一個大概的發展趨勢。數據架構師主要是創建數據管理系統，對數據庫管理系統進行整合，集中，保護和維護數據源。數據工程師主要是做數據庫的開發，建設，測試和維護架構。主要是應用大數據進行編寫和開發。用于較大規模的處理系統。人工智能主要是在人工智能機器人上有很大的用途。機器的開發、和數據的收集、統計上都有大數據的存在。

JAVA大數據

java大數據就如同表面上來看的一樣是java與大數據的結合。java作為一種輔助工具來輔助大數據的學習。java屬于純開發軟件，大數據是未來發展的一種趨勢。java大數據的出現把編程語言與大數據結合在一起，相對于java來講它比java找工作的方向會更多。java的只能找java方向的，但是java大數據的即可以找有關Java方向的工作又可以找大數據方向的。增加了未來學習大數據的人的就業機會。更加的好找工作。也可以把java大數據理解為java的升級版。

總而言之，java與大數據的最大區別就是一個是編程語言，更注重于開發；而大數據更重視數據的邏輯關系，更接近于實際應用。就業方向來看，java相對于java大數據的就業方向更局限。大數據的可以找Java的工作也可以找大數據的工作。java只能找他自己的工作。選擇的方向更加的受限。但其實選擇則那個都是挺不錯的的一個發展方向。

我自己就是Java轉做大數據的，下面是我的建議:

Java是一門語言，20年前就誕生了，現在Java就業已經十分飽和，競爭力很大，需要你不斷深入學習。

大數據是Java的一個應用方向，只需要你掌握Java基礎，就可以轉行大數據，大數據人才是我們目前數據時代非常稀缺的人才，就算你現在做Java，以后也得轉大數據，因為你只有懂了大數據，你才能和數據時代接軌。

薪資方面，同等經驗薪資，目前大數據起碼是Java的2倍。

最近發現有些同學并不太了解大數據開發工程師這個職位，所以想簡單介紹一下什么是大數據開發工程師，當前互聯網公司的數據開發到底是什么樣子的？和一般的Java或者PHP工程師在工作上有什么區別？

什么不是大數據開發？

僅使用數據庫（關系型mysql，sqlserver，oracle等 非關系型 mongo redis等），盡管數據量達到千萬級別，億級別不是大數據開發。

從業務系統的數據庫中查詢數據然后產出報表不是大數據開發。

端上（頁面，h5，手機native）埋點上報數據記錄到數據庫中不是大數據開發。

什么是大數據開發？

大數據開發需要的技能

到智聯上搜了一下大數據開發工程師這個職位，隨便點了幾個職位，截圖如下：

所以說，現在互聯網公司所指的大數據開發用到的工具是：hadoop，hive，hbase，spark，kafka等。

大數據開發做的事情

精簡到一個詞語就是：統計

精簡到兩類指標就是：PV和UV

精簡到一句話就是：統計各種指標的PV和UV

PC互聯網時代，各門戶網站（比如：新浪，網易，搜狐）關注的是各自網站今天被打開了幾次（pv），今天有多少人（uv）訪問了網站。更復雜一點的比如：

頁面上某個按鈕或者某個連接有多少人點擊了幾次

某個頁面上的熱力圖（點擊地方越多，圖上顏色越重）

移動互聯網時代，手機應用被用戶打開的次數和人數也是大家關注的重點，但是除此之外還多出了許多其他非常重要的數據，由于手機屏幕的限制，信息流成為了移動時代的主流。

各大門戶網站非常關注自己的新聞客戶端中：在信息流中曝光了多少篇文章，其中有多少篇文章被用戶點擊了。每篇文章閱讀了長時間，因為用戶點擊的文章越多，使用客戶端的時間越長，各公司的廣告收入才越高，所以各公司想方設法推薦用戶喜歡的內容。

如何做這些事情

因為網站的瀏覽行為，手機客戶端中文章的曝光或者點擊這些數據非常大，基本以億為單位起。所以傳統的把統計信息放到數據庫中的方式已經不能完成這項統計工作。（例如：wordpress博客中，用戶每閱讀一篇文章，mysql中就會更新這篇文章的閱讀次數+1）

所以大數據是通過日志來統計這些指標。

比如：后臺服務的日志（apache，tomcat，weblogic，nginx日志）

例如下圖，我的個人網站apache服務的access日志。

日志的url字段中以 /年份（紅色部分）開頭行數就是這個網站文章頁被訪問的次數，以/category（藍色部分）開頭的行數就是這個網站分類目錄被訪問的次數。

當然我的這份日志中是統計不了用戶數的，因為用戶數的統計需要在每條日志上記錄當前用戶的唯一標識，然后再做個去重，去重后的數量就是用戶數，但是這里沒有上報用戶的唯一標識。

那如何統計人數呢，一般互聯網公司會自己在頁面或者客戶端上生成一個用戶的唯一標識，然后主動上報到自己的日志服務器上。

大數據主要難點在于：

日志量太大（一般大點的互聯網公司，一個業務線每天的日志都有幾個t，再大些的每天幾十t，幾百t也不奇怪），需要掌握大數據相關技術例如前面提到的hadoop，hive等。

數據的及時性，從離線計算來說，一般每天零點，前一天的日志都接收完畢，開始計算前一天的數據，幾點能計算完畢？要看各個公司各自的要求。

數據的準確性。（這是重中之重，大數據開發的工作就是統計，統計的數據如果不準....）如果是實時計算，需要掌握實時相關技術。例如：每5分鐘網站的在線人數。

監控監控監控：監控任務是否失敗，數據是否產出，產出的數據是否異常。

容災容災容災：如果任務失敗如何補救。比如實時任務，由于某種原因13:00到14:00的數據沒有，如何把數據補回來。

大數據開發和一般業務開發的對比

在轉做大數據開發之前，一直在用Java作業務系統： 例如hr系統（考勤，薪資等），收費系統。

談談我個人對業務系統開發和大數據開發的理解：

業務系統：

一句話：對數據庫的各種增刪改查操作。

重點難點在于：

對復雜業務的理解上（比如計算工資：基本工資，五險一金，全勤獎，高溫補貼，報銷，獎金，加班費.....等等都需要計算）。

線上服務的穩定，比如facebook，淘寶等網站高并發的壓力下維持網站正常運行。

大數據開發

一句話：對字符串的各種算數。

重難點在于：

數據的及時性。例如實時數據中，想知道 12:00~12:10這10分鐘的用戶數，如果這個數據在晚上20點才計算完成，那就沒什么意義了。再比如，大家應該都有體驗過：在手機上刷新聞的時候，你點了某一篇文章，再繼續刷新聞，后面很快會出來不少和前面點擊的那篇文章類似的文章，這就是根據你的點擊給你及時推薦你有更大可能點的東西。

數據的準確性。這個重要性不言而喻

數據的穩定性和容災。

Java是一門面向對象編程語言，大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是一個概念性的東西。

大數據組件應用分類：數據采集、實時處理、數據存儲、離線處理、交互式查詢、數據展現。

大數據需要學習的技術體系包含Hadoop、spark、kafka、Storm等，Java只是學習大數據技術需要的一個編程基礎。

相關：大數據全系技術概覽

https://www.toutiao.com/i6552825781175714308/

本人10年開發培訓經驗,期間經歷了Java Web,Android,H5,大數據,PHP等多個不同的方向的開發,也做過軟件培訓公司的金牌講師，很有興趣回答你這個問題。

對于大數據和Java語言的區別，我覺得還是很大的，有多大呢？可能就跟“建筑工人與樓房的區別”一樣，當然這個比喻可能也不是很恰當，大約就是這樣吧。

為啥這樣說呢？

大數據：

大數據確切的說，它并不能算一門具體的技術，而是一種概念，一種大的技術范疇。大數據主要是用來處理，分析，存儲海量數據，對這些大量的數據進行加工處理等操作。大數據領域里面涉及到Hadoop，hive，flink，hbase，java等各種具體的技術,看清楚，在這里Java也可以為大數據的實現提供服務哦。所以可以說，Java可以幫助我們實現大數據的開發，Java就像是一個“建筑工人"，它可以把各種數據原料整合在一起，構建出大數據這么一個環境。

Java：

Java就是一門面向對象的高級編程語言，可以用Java實現Android，Web，Swing等各中軟件的開發，是一門具體的技術。

我從事互聯網開發10年，主要的研究方向集中在Java web微服務架構領域,Android移動端研發,HTML5前端方向，我會陸續寫一些關于互聯網技術方面的文章，感興趣的朋友可以關注我，相信你一定會有所收獲。

如果有Java,Android,H5等開發方面的問題，或者是開發求職方面的問題，都可以在評論區留言，或者私信我。

大數據是以Java開發為基礎的，大數據是處理各種形式的海量數據，Java是做開發的，軟件開發等，我是學的開發，在北京一家公司，薪資也還行，在中公學的，現在也還挺滿意，比以前薪資高很多

大數據無疑是目前IT領域的最受關注的熱詞之一。幾乎凡事都要掛上點大數據，否則就顯得你OUT了。如果再找一個可以跟大數據并駕齊驅的IT熱詞，Java無疑是跟大數據并駕齊驅的一個詞語。很多人在提到大數據的時候總會想到Java，那么Java與大數據到底是什么關系？兩者之間有什么區別呢？

Java是什么？

一提起Java，大家都不陌生，Java是一門高級的網絡編程語言，對于我們現在所用的軟件及APP都是后臺java編寫出來的，對于大數據來說java是一門基礎的工具類語言，Java語言具有功能強大和簡單易用兩個特征。Java語言作為靜態面向對象編程語言的代表，極好地實現了面向對象理論，允許程序員以優雅的思維方式進行復雜的編程。

Java和大數據是什么關系？

大數據框架的編寫支持很多開發語言，但是Java在大數據開發方面有很大的優勢，目前流行的大數據Hadoop框架，很多部分都是用開源的Java語言編寫，因此Java在大數據方面有很大優勢。在大數據的中，也許別的你可能不在意，但是Hadoop想必你是注意到了的吧，大數據中不得不學的重要內容。

Java跟大數據的區別

1.架構層面

Java體系:三層架構 表現層（Web） 業務層(service) 持久層(Dao)

大數據體系：圍繞數據 數據采集（數據源） 數據存儲 數據計算（分析） 數據展示

2.技術層面

Java: 成熟 解決方案多 技術點集中

大數據：相對年輕 迭代更新快 解決方案相對少 技術相當繁瑣 雜碎

3.開發層面

Java: 代碼量很大 偏向業務 運維等任務相對較少 固定搭配、習慣用法較多

大數據：代碼量很少 偏向技術（原理 知識） 運維任務略多（集群、服務器等）

4.市場層面

Java: 很成熟 有自己的行業規范 如日中天

大數據：市場起步階段 規范有待健全 朝陽產業（結合人工智能、機器學習等）

Hadoop 的創始人 Doug Cutting 曾說過：“ Java 在開發者的生產率和運行效率之間取得很好的權衡。開發者可以使用廣泛存在的高質量類庫，切身受益于這種簡潔、功能強大、類型安全的語言。“

換言之：沒有Hadoop就不存在大數據，沒有Java就沒有Hadoop。

總結

大數據以Java技術為基礎，在熟練掌握了Java技術以后，再學習大數據的相關技術會容易很多。

千鋒武漢官網有很多Java大數據教學視頻，還有完整版學習路線，想學的小伙伴可以去下載學習試試。

大數據學名為BigData,是前幾年新興起的一個IT名詞，偏算法和實現，又分為工程類和應用類。Java是一門開發語言，兩者本質上并無直接可比較的地方。但大數據本身也有非常多的開發語言來支持，所以如果就開發語言和能力來比較又會產生非常多的方向性。下面給您詳細描述下各自的行業描述和對應的細節。

大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘。但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。 隨著云時代的來臨，大數據（Big data）也吸引了越來越多的關注。分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規模并行處理（MPP）數據庫、數據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

大數據目前可以使用的平臺很多，而且廠商也很多，如Cloudera、ucloud的版本、Hadoop等。

Java是一門面向對象編程語言，不僅吸收了C++語言的各種優點，還摒棄了C++里難以理解的多繼承、指針等概念，因此Java語言具有功能強大和簡單易用兩個特征。Java語言作為靜態面向對象編程語言的代表，極好地實現了面向對象理論，允許程序員以優雅的思維方式進行復雜的編程 。Java具有簡單性、面向對象、分布式、健壯性、安全性、平臺獨立與可移植性、多線程、動態性等特點 。Java可以編寫桌面應用程序、Web應用程序、分布式系統和嵌入式系統應用程序等。

Java面向對象實現便捷、快訊的開發方式，很受學生、工程師歡迎，目前很多高校、職業院校開展Java課程學習，同事隨著互聯網、移動互聯網的發展，web、手機的開發更偏向輕便的Java語言。