大數(shù)據(jù)簡(jiǎn)介

Tecode 發(fā)布于2022-06-28 18:59 / 2000人閱讀

摘要：一什么是大數(shù)據(jù)在互聯(lián)網(wǎng)技術(shù)發(fā)展到至今階段，大量日常，工作等事務(wù)產(chǎn)生的數(shù)據(jù)都已經(jīng)信息化，人類產(chǎn)生的數(shù)據(jù)量相比以前有了爆炸式的增長(zhǎng)，以前傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無(wú)法勝任，需求催生技術(shù)，一套用來(lái)處理海量數(shù)據(jù)的技術(shù)應(yīng)運(yùn)而生，這就是發(fā)數(shù)據(jù)技術(shù)。

一、什么是大數(shù)據(jù)
在互聯(lián)網(wǎng)技術(shù)發(fā)展到至今階段，大量日常，工作等事務(wù)產(chǎn)生的數(shù)據(jù)都已經(jīng)信息化，人類產(chǎn)生的數(shù)據(jù)量相比以前有了爆炸式的增長(zhǎng)，以前傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無(wú)法勝任，需求催生技術(shù)，一套用來(lái)處理海量數(shù)據(jù)的技術(shù)應(yīng)運(yùn)而生，這就是發(fā)數(shù)據(jù)技術(shù)。

梳理海量數(shù)據(jù)的核心技術(shù)：

海量數(shù)據(jù)的儲(chǔ)存（分布式）
海量數(shù)據(jù)的運(yùn)算（分布式）
這些核心技術(shù)的實(shí)現(xiàn)是不需要用戶從零開(kāi)始造輪子的儲(chǔ)存和運(yùn)算的都已經(jīng)有大量的承受的框架來(lái)用。

儲(chǔ)存框架：

HDFS–分布式文件儲(chǔ)存系統(tǒng)
HBase–分布式數(shù)據(jù)庫(kù)系統(tǒng)
Kafka – 分布式消息緩存系統(tǒng)（實(shí)時(shí)流式數(shù)據(jù)處理場(chǎng)景中應(yīng)用廣泛）
運(yùn)算框架：（要解決的核心問(wèn)題就是幫用戶將處理邏輯在許多機(jī)器上并行執(zhí)行）

Hive – 數(shù)據(jù)倉(cāng)庫(kù)工具：可以接收SQL,翻譯成mapreduce或者spark程序運(yùn)行
Flume – 數(shù)據(jù)采集
Sqoop – 數(shù)據(jù)遷移
Elisticsearch – 分布式的搜索引擎
…
換個(gè)角度說(shuō)，大數(shù)據(jù)是：
有海量的數(shù)據(jù)
有海量的數(shù)據(jù)進(jìn)行挖掘的需求，有對(duì)海量數(shù)據(jù)進(jìn)行挖掘的工具（Hadoop、spark等）
大數(shù)據(jù)在現(xiàn)實(shí)生活中的具體應(yīng)用
數(shù)據(jù)處理測(cè)最典型應(yīng)用：公司的產(chǎn)品運(yùn)營(yíng)情況分析
電商推薦系統(tǒng)：基于海量的瀏覽行為，購(gòu)物行為數(shù)據(jù)，進(jìn)行大量的模型的運(yùn)算，得出各種推薦結(jié)論，一共電商網(wǎng)站頁(yè)面來(lái)為用戶進(jìn)行商品推薦，（猜你喜歡）

精準(zhǔn)廣告推送系統(tǒng)：基于海量的互聯(lián)網(wǎng)用戶的各類數(shù)據(jù)，統(tǒng)計(jì)分析，進(jìn)行用戶畫像（得到用戶的各種屬性標(biāo)簽），然后可以為廣告主進(jìn)行有針對(duì)性的進(jìn)準(zhǔn)的廣告投放。