OLAP 的查詢一般需要 Scan 大量數(shù)據(jù),大多時(shí)候只訪問(wèn)部分列,聚合的需求(Sum,Count,Max,Min 等)會(huì)多于明細(xì)的需求(查詢?cè)嫉拿骷?xì)數(shù)據(jù))。
OLAP分類:
doris是一個(gè)ROLAP引擎, 可以滿足以下需求:
Doris的架構(gòu)很簡(jiǎn)潔,使用MySQL協(xié)議,用戶可以使用任何MySQL ODBC/JDBC和MySQL客戶端直接訪問(wèn)Doris,只設(shè)FE(Frontend)、BE(Backend)兩種角色、兩個(gè)進(jìn)程,不依賴于外部組件,方便部署和運(yùn)維。
數(shù)據(jù)的可靠性由BE保證,BE會(huì)對(duì)整個(gè)數(shù)據(jù)存儲(chǔ)多副本或者是三副本。副本數(shù)可根據(jù)需求動(dòng)態(tài)調(diào)整。
step1 拉取Doris官方提供的Docker鏡像,目前可用版本有:build-env、build-env-1.1、build-env-1.2
docker pull apachedoris/doris-dev:build-env-1.2
step2 查看 Docker 鏡像
docker images
step3 運(yùn)行鏡像
將容器中的 maven 下載的包保存到宿主機(jī)本地指定的文件中,避免重復(fù)下載,同時(shí)會(huì)將編譯的 Doris 文件保存到宿主機(jī)本地指定的文件,方便部署。
docker run -it
-v /u01/.m2:/root/.m2
-v /u01/incubator-doris-DORIS-0.13-release/:/root/incubator-doris-DORIS-0.13-release/
apachedoris/doris-dev:build-env-1.2
開啟之后, 就在容器內(nèi)了。
tar -zxvf apache-doris-0.13.0.0-incubating-src.tar.gz
cd apache-doris-0.13.0.0-incubating-src
sh build.sh
編譯完成。
注意點(diǎn)二:FE 節(jié)點(diǎn)的數(shù)量
網(wǎng)絡(luò)需求:
Doris 各個(gè)實(shí)例直接通過(guò)網(wǎng)絡(luò)進(jìn)行通訊。以下表格展示了所有需要的端口。
vim /etc/profile
#DORIS_HOME
export DORIS_HOME=/export/server/apache-doris-0.13.0
export PATH=:$DORIS_HOME/bin:$PATH
3)重新加載環(huán)境變量
source /etc/profile
mkdir -p /export/server/apache-doris-0.13.0/fe/doris-meta
vim conf/fe.conf
meta_dir = /export/server/apache-doris-0.13.0/fe/doris-meta
vim /export/server/apache-doris-0.13.0/fe/conf/fe.conf
priority_networks = ip/24
sh /export/server/apache-doris-0.13.0/fe/bin/start_fe.sh --daemon
將源碼編譯生成的 output 下的 be 文件夾拷貝到 BE 的節(jié)點(diǎn)/export/server/apache-doris-0.13.0路徑下:
配置文件為 be/conf/be.conf。主要是配置 storage_root_path:數(shù)據(jù)存放目錄。默認(rèn)在be/storage下,需要手動(dòng)創(chuàng)建該目錄。多個(gè)路徑之間使用 ; 分隔(最后一個(gè)目錄后不要加 ;)
mkdir -p /export/server/apache-doris-0.13.0/be/storage1 /export/server/apache-doris-0.13.0/be/storage2
vim conf/be.conf
storage_root_path = /export/server/apache-doris-0.13.0/be/storage1,10;/export/server/apache-doris-0.13.0/be/storage2
step1 刪除操作系統(tǒng)自帶的mysql庫(kù)文件(node1)
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64
step2 安裝mysql-client
上傳”資料軟件mysql-client”目錄下的rpm到服務(wù)器節(jié)點(diǎn)/export/server/mysql-client.
step3 進(jìn)行安裝
rpm -ivh *
step4 連接node1服務(wù)器上的mysql實(shí)例(默認(rèn)端口9030,默認(rèn)沒(méi)有密碼)
mysql -uroot -h node1 -P 9030
step5 登陸后,可以通過(guò)以下命令修改 root 密碼
SET PASSWORD FOR root = PASSWORD(123456);
step6 使用Navicat客戶端登錄
step1 BE 節(jié)點(diǎn)需要先在 FE 中添加,才可加入集群(node1)
mysql -uroot -h node1 -P 9030 -p
輸入密碼:123456
step2 登錄后添加BE節(jié)點(diǎn)port為be上的heartbeat_service_port端口,默認(rèn)9050
ALTER SYSTEM ADD BACKEND "node1:9050";
ALTER SYSTEM ADD BACKEND "node2:9050";
ALTER SYSTEM ADD BACKEND "node3:9050";
step3 查看BE狀態(tài),alive必須為true
SHOW PROC /backends;
查看 BE 運(yùn)行情況。如一切正常,isAlive 列應(yīng)為 true。
ulimit -n 65535
vim /export/server/apache-doris-0.13.0/be/conf/be.conf
priority_networks = ip/24
sh /export/server/apache-doris-0.13.0/be/bin/start_be.sh --daemon
show proc /frontends;
show proc /backends;
通過(guò)前端界面訪問(wèn)FE:
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/129229.html
摘要:近日,全球著名開源社區(qū)基金會(huì)宣布百度開源的項(xiàng)目全票通過(guò)進(jìn)入孵化器。這是百度繼后第二個(gè)進(jìn)入基金會(huì)的項(xiàng)目,充分彰顯了百度開源速度。前身是百度,自年月在上開源以來(lái),收獲多個(gè),目前性能和易用性方面已達(dá)到業(yè)界領(lǐng)先水平。 近日,全球著名開源社區(qū)Apache基金會(huì)宣布百度開源的Doris項(xiàng)目全票通過(guò)進(jìn)入Apache孵化器。這是百度繼ECharts后第二個(gè)進(jìn)入Apache基金會(huì)的項(xiàng)目,充分彰顯了百度開...
摘要:如何連接云數(shù)據(jù)倉(cāng)庫(kù)如何連接云數(shù)據(jù)倉(cāng)庫(kù)如何連接云數(shù)據(jù)倉(cāng)庫(kù)為保證安全,云數(shù)據(jù)倉(cāng)庫(kù)僅提供內(nèi)網(wǎng)網(wǎng)絡(luò),您連接集群時(shí)可以配合同一地域的云主機(jī)或者網(wǎng)絡(luò)產(chǎn)品使用。 產(chǎn)品購(gòu)買與使用本篇目錄為什么只提供一種云盤類型?配置升降級(jí)對(duì)集群有什么影響?配置升級(jí)有什么建議?如何連接云數(shù)據(jù)倉(cāng)庫(kù)UDoris?為什么只提供一種云盤類型?Doris的存儲(chǔ)特性對(duì)磁盤吞吐量要求很高,為保證Doris的性能優(yōu)勢(shì), 因此僅提供RSSD云...
摘要:重啟集群重啟集群重啟集群當(dāng)您需要重啟集群時(shí),登錄賬號(hào)進(jìn)入到用戶控制臺(tái),在全部產(chǎn)品下搜索或者數(shù)據(jù)倉(cāng)庫(kù)下選擇數(shù)據(jù)倉(cāng)庫(kù),進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)控制臺(tái)下,選擇操作重啟注意重啟集群為高危操作,集群將處于重啟中持續(xù)數(shù)秒,建議無(wú)必要時(shí)不要隨意重啟實(shí)例,這將會(huì) 重啟集群當(dāng)您需要重啟集群時(shí),登錄UCloud賬號(hào)進(jìn)入到用戶控制臺(tái),在全部產(chǎn)品下搜索或者數(shù)據(jù)倉(cāng)庫(kù)下選擇數(shù)據(jù)倉(cāng)庫(kù) UDW Doris,進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)UDoris...
摘要:數(shù)據(jù)排序使用的列數(shù),取最前面幾列,不能超過(guò)總的列數(shù)。示例創(chuàng)建一個(gè)動(dòng)態(tài)分區(qū)表。創(chuàng)建外部表創(chuàng)建外部表在創(chuàng)建外部表的目的是可以通過(guò)訪問(wèn)外部數(shù)據(jù)庫(kù)。創(chuàng)建表時(shí),關(guān)于和的數(shù)量和數(shù)據(jù)量的建議。 建表(Create Table)創(chuàng)建表語(yǔ)法:CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [inde...
摘要:概覽概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品優(yōu)勢(shì)應(yīng)用場(chǎng)景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)節(jié)點(diǎn)擴(kuò)容重啟實(shí)例重置管理員密碼刪除集群連接集群數(shù)據(jù)導(dǎo)入本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入通過(guò)導(dǎo)入開發(fā)指南數(shù)據(jù)類型語(yǔ)法創(chuàng)建庫(kù)創(chuàng)建表創(chuàng)建視圖插入數(shù) 概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉(cāng)庫(kù)UDoris產(chǎn)品優(yōu)勢(shì)應(yīng)用場(chǎng)景基本概念使用限制快速上手操作指南管理集群Backend配置升降級(jí)Frontend節(jié)點(diǎn)擴(kuò)...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4099·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3594·2023-01-11 13:20