雖然目前大數(shù)據(jù)的細(xì)分崗位比較多，但是主要集中在五個(gè)方面，分別是底層平臺(tái)研發(fā)、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)維和大數(shù)據(jù)教育。除了底層平臺(tái)研發(fā)往往需要中高端人才以外，其他崗位的知識(shí)結(jié)構(gòu)并沒(méi)有太多的基礎(chǔ)性要求，下面對(duì)這幾大方面的知識(shí)結(jié)構(gòu)做一個(gè)具體的介紹。

大數(shù)據(jù)應(yīng)用開(kāi)發(fā)崗位需要的知識(shí)結(jié)構(gòu)包括大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)、編程語(yǔ)言、數(shù)據(jù)庫(kù)（NoSQL）、算法設(shè)計(jì)等內(nèi)容，可見(jiàn)在大數(shù)據(jù)應(yīng)用開(kāi)發(fā)崗位需要掌握SQL，NoSQL的意思是Not only SQL（不僅僅是SQL），不是說(shuō)不需要SQL。對(duì)于應(yīng)用程序開(kāi)發(fā)人員來(lái)說(shuō)，掌握SQL是基本的要求。

大數(shù)據(jù)分析崗位的知識(shí)結(jié)構(gòu)包括大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)、編程語(yǔ)言、數(shù)據(jù)庫(kù)、算法設(shè)計(jì)、算法實(shí)現(xiàn)、數(shù)據(jù)呈現(xiàn)等內(nèi)容，大數(shù)據(jù)分析注重算法的設(shè)計(jì)與實(shí)現(xiàn)，而數(shù)據(jù)呈現(xiàn)則往往需要通過(guò)SQL語(yǔ)言完成數(shù)據(jù)的提取（BI），所以對(duì)于大數(shù)據(jù)分析人員來(lái)說(shuō)是必須掌握SQL語(yǔ)言的，而且需要對(duì)SQL語(yǔ)言非常熟悉。

大數(shù)據(jù)運(yùn)維的知識(shí)結(jié)構(gòu)包括大數(shù)據(jù)平臺(tái)的搭建、組件部署、編程語(yǔ)言、平臺(tái)維護(hù)、網(wǎng)絡(luò)維護(hù)等內(nèi)容，對(duì)于運(yùn)維人員來(lái)說(shuō)掌握SQL語(yǔ)言也是一個(gè)基本的要求，因?yàn)榇蟛糠诌\(yùn)維工作都需要對(duì)數(shù)據(jù)進(jìn)行操作，通過(guò)Shell（Python）來(lái)編寫(xiě)運(yùn)維腳本是一個(gè)比較常見(jiàn)的做法。

大數(shù)據(jù)教育則是為大數(shù)據(jù)行業(yè)提供人才培養(yǎng)的服務(wù)，大數(shù)據(jù)教育更是涉及到以上各個(gè)崗位的知識(shí)結(jié)構(gòu)，當(dāng)然需要掌握SQL語(yǔ)言了。

總之，目前大部分大數(shù)據(jù)崗位都是需要具備SQL基礎(chǔ)的，所以在學(xué)習(xí)大數(shù)據(jù)之前往往都先學(xué)習(xí)一下SQL和編程語(yǔ)言（Java、Python、Scala、R等）。

大數(shù)據(jù)是我的主要研究方向之一，目前也在帶大數(shù)據(jù)方向的研究生，我會(huì)陸續(xù)在頭條寫(xiě)一些關(guān)于大數(shù)據(jù)方面的文章，感興趣的朋友可以關(guān)注我，相信一定會(huì)有所收獲。

如果有大數(shù)據(jù)方面的問(wèn)題，也可以咨詢(xún)我，謝謝！

對(duì)于數(shù)據(jù)研發(fā)(ETL)同學(xué)或者數(shù)據(jù)分析(BI)同學(xué)來(lái)說(shuō)，SQL語(yǔ)言是必須要會(huì)的，因?yàn)槟阈枰獙?duì)大量數(shù)據(jù)進(jìn)行加工處理，得到自己想要結(jié)果數(shù)據(jù)。

對(duì)于大數(shù)據(jù)平臺(tái)開(kāi)發(fā)或者大數(shù)據(jù)組件開(kāi)發(fā)而言，會(huì)不會(huì)SQL都可以，平時(shí)主要使用Java語(yǔ)言來(lái)進(jìn)行工程開(kāi)發(fā)，對(duì)于SQL語(yǔ)言的使用，并不是太多，除了在查詢(xún)關(guān)系型數(shù)據(jù)庫(kù)中數(shù)據(jù)時(shí)，會(huì)進(jìn)行使用。

什么是SQL

SQL,中文即結(jié)構(gòu)化查詢(xún)語(yǔ)言，主要用于對(duì)數(shù)據(jù)的查詢(xún)、更新、刪除等操作。SQL是一種標(biāo)準(zhǔn)化語(yǔ)言，旨在降低開(kāi)發(fā)同學(xué)的入門(mén)門(mén)檻，快速對(duì)數(shù)據(jù)進(jìn)行處理。一般對(duì)于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)用的比較多，比如查詢(xún)Mysql、Oracle數(shù)據(jù)庫(kù)中的數(shù)據(jù)等。

目前不僅僅傳統(tǒng)數(shù)據(jù)庫(kù)支持SQL,其實(shí)很多大數(shù)據(jù)組件也漸漸開(kāi)始支持SQL,尤其是在數(shù)據(jù)倉(cāng)庫(kù)方面，比如Hive，Spark SQL，F(xiàn)link SQL，Druid等等。支持SQL語(yǔ)言最直接的一個(gè)目的，就是提高開(kāi)發(fā)效能。比如對(duì)于Flink組件，使用SQL你幾分鐘可能就將實(shí)時(shí)任務(wù)開(kāi)發(fā)完成，但你如果使用其底層Java API進(jìn)行開(kāi)發(fā)，可能幾天你都不一定能開(kāi)發(fā)出來(lái)。

為什么數(shù)據(jù)研發(fā)或者數(shù)據(jù)分析需要學(xué)SQL

數(shù)據(jù)研發(fā)同學(xué)主要的工作就是對(duì)數(shù)據(jù)進(jìn)行ETL,即對(duì)數(shù)據(jù)進(jìn)行抽取（extract）、轉(zhuǎn)換（transform）、加載到數(shù)據(jù)存儲(chǔ)（load）。可以是對(duì)關(guān)系型數(shù)據(jù)庫(kù)，也可以是對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行加工。為了保持?jǐn)?shù)據(jù)處理標(biāo)準(zhǔn)統(tǒng)一，需要使用SQL語(yǔ)言來(lái)對(duì)數(shù)據(jù)任務(wù)進(jìn)行開(kāi)發(fā)。統(tǒng)一使用SQL有一個(gè)好處，就是使得數(shù)據(jù)研發(fā)同學(xué)不會(huì)對(duì)開(kāi)發(fā)感到陌生。

數(shù)據(jù)分析同學(xué)由于需要在數(shù)據(jù)中發(fā)現(xiàn)商業(yè)價(jià)值的論點(diǎn)，所以需要經(jīng)常對(duì)數(shù)據(jù)分析。而數(shù)據(jù)分析同學(xué)又不是專(zhuān)門(mén)的開(kāi)發(fā)同學(xué)，精通開(kāi)發(fā)，所以使用SQL語(yǔ)言，能夠降低其處理數(shù)據(jù)的難度。現(xiàn)在的數(shù)據(jù)庫(kù)以及其他數(shù)據(jù)倉(cāng)庫(kù)都支持SQL語(yǔ)言，數(shù)據(jù)分析同學(xué)想要在數(shù)據(jù)中找到自己的觀點(diǎn)，必須要學(xué)習(xí)SQL語(yǔ)言的使用。

為什么大數(shù)據(jù)平臺(tái)或者組件開(kāi)發(fā)不用學(xué)SQL

大數(shù)據(jù)平臺(tái)或者大數(shù)據(jù)組件開(kāi)發(fā)，平時(shí)都主要使用Java或者C++語(yǔ)言開(kāi)發(fā)。而SQL語(yǔ)言主要是在數(shù)據(jù)處理方面應(yīng)用比較多，由于工作內(nèi)容的側(cè)重點(diǎn)不同，所以大數(shù)據(jù)平臺(tái)或者組件開(kāi)發(fā)可以不用學(xué)SQL，就能夠直接上手開(kāi)發(fā)。

當(dāng)然，在日常的項(xiàng)目開(kāi)發(fā)中，或多或少都會(huì)接觸到數(shù)據(jù)庫(kù)方面的使用，當(dāng)更新或者查詢(xún)數(shù)據(jù)庫(kù)中的數(shù)據(jù)時(shí)，會(huì)使用到SQL語(yǔ)言，個(gè)人建議開(kāi)發(fā)同學(xué)還是掌握一下SQL，在面試的時(shí)候也是一個(gè)加分項(xiàng)，畢竟SQL語(yǔ)言使用起來(lái)也不難。

總結(jié)

在大數(shù)據(jù)領(lǐng)域，是否一定要學(xué)習(xí)SQL,最主要的還是要看你日常工作的內(nèi)容，如果你平常和數(shù)據(jù)接觸比較多，主要就是對(duì)數(shù)據(jù)進(jìn)行加工處理等，那么學(xué)習(xí)SQL語(yǔ)言你是跑不了的。但是，你平時(shí)主要工作就是使用Java進(jìn)行開(kāi)發(fā)，那學(xué)不學(xué)SQL對(duì)你沒(méi)有任何影響。

個(gè)人建議每個(gè)開(kāi)發(fā)同學(xué)還是要掌握一定的SQL使用，畢竟你不接觸SQL,但你肯定會(huì)使用到數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)庫(kù)的操作就必須使用SQL語(yǔ)言。技多不壓身，反正SQL也不難。

我是Lake，專(zhuān)注大數(shù)據(jù)技術(shù)、互聯(lián)網(wǎng)科技見(jiàn)解、程序員個(gè)人經(jīng)驗(yàn)分享，如果我的問(wèn)答對(duì)你有幫助的話，希望你能夠點(diǎn)贊轉(zhuǎn)發(fā)或者關(guān)注我，就是我持續(xù)分享在大數(shù)據(jù)方面的知識(shí)，非常感謝。

我覺(jué)得學(xué)習(xí)大數(shù)據(jù)可以不學(xué)SQL，需要分布式計(jì)算用mr代替，不需要分布式計(jì)算用python也是可以的。但是這樣處理數(shù)據(jù)會(huì)比較麻煩，可能平時(shí)一個(gè)任務(wù)用SQL幾行代碼就搞定了，但是換成mr或python可能要幾百行都是有可能的。

如果要進(jìn)大公司并且搞大數(shù)據(jù)，SQL肯定是必不可少的，因?yàn)镾QL處理數(shù)據(jù)特別方便，公司相應(yīng)的業(yè)務(wù)會(huì)用到，自己也不得不學(xué)。SQL語(yǔ)法并不難，多學(xué)一門(mén)語(yǔ)言并沒(méi)有什么壞處，所謂技多不壓身。

sql是關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ)語(yǔ)言，是現(xiàn)在大數(shù)據(jù)平臺(tái)用的數(shù)據(jù)庫(kù)可不是這個(gè)，但是學(xué)習(xí)大數(shù)據(jù)還是非常有必要學(xué)習(xí)sql的。因?yàn)椋弧⒋髷?shù)據(jù)的來(lái)源很多是從既有數(shù)據(jù)庫(kù)中提速的，這些數(shù)據(jù)庫(kù)基本都是關(guān)系型數(shù)據(jù)庫(kù)。只有熟知sql才能讀懂，操作，整合語(yǔ)言的數(shù)據(jù)，并提速后重新存入大數(shù)據(jù)平臺(tái)。二、關(guān)系數(shù)據(jù)庫(kù)的架構(gòu)，邏輯，操作是經(jīng)典，學(xué)好它才能更好的領(lǐng)會(huì)數(shù)據(jù)庫(kù)的奧妙，熟練掌握sql的查詢(xún)，插入，刪除，修改，并表，對(duì)了解數(shù)據(jù)的操作和分析本身就有很大的幫助。

先上結(jié)論：

學(xué)習(xí)大數(shù)據(jù)，SQL是基礎(chǔ)

一、數(shù)據(jù)庫(kù)的SQL

SQL是數(shù)據(jù)庫(kù)的基本查詢(xún)語(yǔ)言，無(wú)論是做后端開(kāi)發(fā)，還是做數(shù)據(jù)分析，機(jī)器學(xué)習(xí)或者數(shù)據(jù)挖掘，都需要熟練的掌握。

二、數(shù)據(jù)倉(cāng)庫(kù)的SQL

數(shù)據(jù)倉(cāng)庫(kù)是大數(shù)據(jù)時(shí)代存放大量數(shù)據(jù)的地方，如果熟悉HIVE的同學(xué)，會(huì)發(fā)現(xiàn)HIVE的數(shù)倉(cāng)操作幾乎和標(biāo)準(zhǔn)的SQL語(yǔ)言一致。所以一些mapreduce的基本操作都可以用SQL的語(yǔ)法來(lái)簡(jiǎn)單的代替了。

總之，SQL是一個(gè)很簡(jiǎn)單的語(yǔ)言，掌握他沒(méi)有壞處，所以好好學(xué)習(xí)吧！

PS：本號(hào)作者目前是某大廠機(jī)器學(xué)習(xí)算法工程師，致力于全棧AI算法和業(yè)務(wù)場(chǎng)景落地，非常樂(lè)于在網(wǎng)上分享最新的AI知識(shí)，也經(jīng)常開(kāi)直播教同學(xué)AI算法和編程。感興趣的同學(xué)可以關(guān)注本頭條號(hào)，獲得最新的干貨！

大數(shù)據(jù)涉及到很多方面，其中對(duì)編程和數(shù)據(jù)庫(kù)是基礎(chǔ)要求。

每一種編程都涉及到數(shù)據(jù)庫(kù)，可以說(shuō)編程和數(shù)據(jù)庫(kù)是孿生一對(duì)出現(xiàn)的。

編程是你羅輯思維和應(yīng)用的能力的直接體現(xiàn)，編程語(yǔ)言有很多，諸如JAVA，c／c++，Python，go，Javascript等等，掌握一門(mén)能熟練應(yīng)用。

編程要和數(shù)據(jù)打交道，所以，數(shù)據(jù)庫(kù)操作就是必須的了，包裹關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)（可以對(duì)應(yīng)為SQL和 NoSQL）。

SQL是關(guān)系數(shù)據(jù)庫(kù)的結(jié)構(gòu)化查詢(xún)語(yǔ)言的縮寫(xiě)，而NoSQL意思是“Not only SQL”（不僅僅是SQL了）……

所以，搞大數(shù)據(jù)，沒(méi)有應(yīng)用SQL的能力，真是“未知其可也”。

感謝邀請(qǐng)

背景

目前大數(shù)據(jù)行業(yè)異常火爆，這也導(dǎo)致越來(lái)越多的開(kāi)發(fā)人員涌向，從崗位職責(zé)來(lái)劃分的話，大數(shù)據(jù)開(kāi)發(fā)可以分為大數(shù)據(jù)挖掘，大數(shù)據(jù)分析，平臺(tái)開(kāi)發(fā)，以及大數(shù)據(jù)運(yùn)維等崗位。

技能要求

對(duì)于上述崗位要求所掌握的技能是不同的，比如大數(shù)據(jù)分析和大數(shù)據(jù)挖掘，就需要掌握爬蟲(chóng)的必要知識(shí)，Hadoop生態(tài)體系上的一系列操作。平臺(tái)研發(fā)需要掌握平臺(tái)開(kāi)發(fā)語(yǔ)言，前端，以及必要的網(wǎng)絡(luò)調(diào)優(yōu)等技能。

學(xué)習(xí)大數(shù)據(jù)是必須要學(xué)習(xí)SQL的。SQL作為傳統(tǒng)數(shù)據(jù)存儲(chǔ)工具，無(wú)論如今的大數(shù)據(jù)開(kāi)發(fā)工具如何優(yōu)秀，如何便捷，他們相當(dāng)一部分的構(gòu)建思想是遵從SQL開(kāi)發(fā)的一套規(guī)則和邏輯，比如Hadoop上的Hive,它的語(yǔ)法就是參考SQL語(yǔ)法。盡管現(xiàn)在各家都有一套自己的獨(dú)立的生態(tài)體系，但如果要究其根源，很多都是復(fù)用現(xiàn)有技術(shù)，只是在此基礎(chǔ)上做改良包裝，這也就導(dǎo)致現(xiàn)在很多的開(kāi)發(fā)人員會(huì)用工具，但不知道為什么要這樣做。如果只是做一個(gè)只會(huì)用工具的程序員是遠(yuǎn)遠(yuǎn)不夠的，我們還需要懂得如何更好的用，只有了解其原理才能熟練掌握并使用。

總結(jié)

其實(shí)SQL的學(xué)習(xí)時(shí)非常簡(jiǎn)單的，網(wǎng)上有很多的教程可供參考學(xué)習(xí)，只要我們稍加花費(fèi)時(shí)間，就可以掌握其基礎(chǔ)用法，大數(shù)據(jù)的學(xué)習(xí)是一個(gè)漫長(zhǎng)的過(guò)程，中間不光涉及SQL，還涉及各種開(kāi)發(fā)語(yǔ)言，各種編程思想，機(jī)器學(xué)習(xí)，AI等知識(shí)。這對(duì)大數(shù)據(jù)開(kāi)發(fā)來(lái)說(shuō)是一個(gè)挑戰(zhàn)。

歡迎大家在評(píng)論區(qū)留言討論，如需更多幫助，請(qǐng)私信關(guān)注，謝謝。

學(xué)習(xí)數(shù)據(jù)查詢(xún)?cè)?/p>

謝謝大數(shù)據(jù)分析，必須要學(xué)SQL相關(guān)的命令和相關(guān)的學(xué)習(xí)，因?yàn)閿?shù)據(jù)在量大的時(shí)候，如果想在海量的數(shù)據(jù)中提取以及進(jìn)行操作的話，普通的其他數(shù)據(jù)庫(kù)的操作方法，實(shí)際上與這個(gè)sql數(shù)據(jù)庫(kù)的操作是一樣的，應(yīng)該說(shuō)是大同小異，因此如果你要有學(xué)習(xí)大數(shù)據(jù)，就應(yīng)該要學(xué)習(xí)sql數(shù)據(jù)庫(kù)的命令和相關(guān)的課程。

必須的基礎(chǔ)之一