clickhouse安裝部署

IT那活兒發布于2023-01-11 13:20 / 2961人閱讀

clickhouse安裝部署

簡介

ClickHouse 是俄羅斯的 Yandex 于2016年開源的列式存儲數據庫（DBMS)，主要用于在線分析處理查詢（OLAP），能夠使用SQL查詢實時生成分析數據報告。它主要有如下特點：

列式存儲與數據壓縮
向量化執行引擎
關系模型與SQL查詢
多樣化的表引擎
多線程與分布式
多主架構
數據分片與分布式查詢

使用ClickHouse作為OLAP服務的常見的應用場景包括：

大多數是讀請求
數據批寫入
不修改已添加的數據
查詢為多行少列
存儲寬表
單查詢行數較大
無事務要求，對數據一致性要求低
數據被過濾或聚合后能夠被盛放在單臺服務器的內存中
處理單個查詢時需要高吞吐量
每一個查詢除了一個大表外都很小

部署

1. 操作系統配置

1）CPU是否支持SSE 4.2

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

如果CPU不支持SSE4.2，需要進行源碼安裝

2）修改資源限制

#/etc/security/limits.conf在文件末尾添加：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

3）取消SELINUX

#vi /etc/selinux/config

SELINUX=disabled

4）關閉防火墻

service iptables stop

service ip6tables stop

5）安裝依賴

yum install -y libtool

yum install -y *unixODBC*

yum search libicu

yum install libicu.x86_64

6）創建系統用戶及數據目錄

#創建用戶

useradd clickhouse

#創建clickhouse數據目錄、配置文件目錄、啟動文件目錄、日志目錄

mkdir /data1/clickhouse/{cnf,data,bin,logs,tmp}

chown -R clickhouse.clickhouse /data1/clickhouse

2. Clickhouse部署

1）軟件安裝

本文件使用二進制文件進行安裝，需從https://repo.clickhouse.tech/tgz/下載如下類型包：

clickhouse-common-static：安裝ClickHouse編譯的二進制文件
clickhouse-server：為clickhouse-server創建符號鏈接并安裝默認服務器配置
clickhouse-client：為clickhouse-client和其他與客戶端相關的工具創建符號鏈接。并安裝客戶端配置文件
clickhouse-common-static-dbg — 安裝帶有調試信息的ClickHouse編譯的二進制文件

每個tgz包中都有一個doing.sh腳本，用于安裝相應文件，把clickhouse配置文件存放至/etc下，并配置clickhouse開機自啟動服務。

本文件采用手工方式安裝軟件，以便于日后單機部署多個clickhouse實例。

#解壓tgz包

tar -xzf clickhouse*.tgz

#手工拷貝文件夾下文件至相應目錄，除etc/install目錄外，如

2）編輯配置文件

拷貝配置文件

#拷貝clickhouse-server包下etc目錄文件至/data1/clickhouse/cnf

cp etc/* /data1/clickhouse/cnf

#創建附加配置文件目錄

mkdir /data1/clickhouse/cnf/{config.d,users.d}

編輯clickhouse服務配置文件
/data1/clickhouse/cnf/config.xml

#日志配置

#偵聽配置

#數據、臨時目錄

編輯clickhouse用戶配置文件

##配置默認用戶密碼

xi /data1/clickhouse/cnf/users.d/default-password.xml

3. 創建啟動腳本

編輯clickhouse啟動腳本

vi /data1/clickhouse/bin/ch.sh

啟動clickhouse

/data1/clickhouse/bin/ch.sh start

4. 創建數據庫、普通用戶

使用default用戶登陸clickhouse

創建數據庫

創建用戶

使用新用戶登陸

總結

Clickhouse做為OLAP數據庫，使用列式及壓縮存儲數據，使用向量化執行查詢，其性能非常高效，本文僅部署clickhouse單節點，以進行測試，但生產環境為了保證數據的高可用及性能，可使用分片、副本等方式構建高可用集群。

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

云服務器 GPU云服務器 ClickHouse clickhouse 性能安裝部署詳解 clickhouse性能

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129776.html

基于開源應用快速構建HTAP系統

摘要：利用快速構建系統。構建系統和的安裝本文不再贅述，直接開始動手構建系統。分別為和，用于讀寫組，用于只讀組。最后配置的監控服務可選，非必須至此，一個全部基于開源應用的簡易系統就構建好了。利用ProxySQL、MySQL、ClickHouse快速構建HTAP系統。1. 關于ClickHouse企業里隨著數據量的增加，以及日趨復雜的分析性業務需求，主要適用于OLTP場景的MySQL壓力越來越大。多年...

Tecode 2022-06-28 18:59 評論0 收藏0
k8s與審計-- 將clickhouse增加為 heapster sink

摘要：前言在資源審計和計費這塊，容器和虛機有很大區別。支持諸多輸出，稱為。所以本文主要講如何為增加。實際上，基于增加并且更改，也可以做到，只不過需要裝一些包指令，結果就是鏡像變大。實際運行日志截圖由于的出色的寫入性能，運行非常穩定。前言在k8s資源審計和計費這塊，容器和虛機有很大區別。相對虛機來講，容器不容易實現。資源指標收集可以采用heapster，也可以用prometheus。之前文...

tunny 2019-07-01 17:30 評論0 收藏0
k8s與審計-- 將clickhouse增加為 heapster sink

摘要：前言在資源審計和計費這塊，容器和虛機有很大區別。支持諸多輸出，稱為。所以本文主要講如何為增加。實際上，基于增加并且更改，也可以做到，只不過需要裝一些包指令，結果就是鏡像變大。實際運行日志截圖由于的出色的寫入性能，運行非常穩定。前言在k8s資源審計和計費這塊，容器和虛機有很大區別。相對虛機來講，容器不容易實現。資源指標收集可以采用heapster，也可以用prometheus。之前文...

edagarli 2019-07-01 16:47 評論0 收藏0