国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

ES集群規劃優化方案

社區管理員 / 984人閱讀



1.1 現狀資源接入量


監控設備達到4000+節點，其中網絡設備400+ (監控項數約80萬，采集頻率1分鐘)，日數據量200G 左右。
1.2 問題
ES為普通 6節點普通集群，未做冷熱分類，讀寫壓力巨大，導致數據寫入緩慢、查詢數據返回超時。


1.3 計劃采取措施

  • 常規集群模式變更為冷（6個月歷史數據）熱（1個月數據）集群；
  • 熱節點采用固態硬盤替換機械硬盤，提升讀寫性能。





ES配置




2.1 預備硬件基本信息

生產環境預備的是：

  • 3主節點：內存64G，8核，5T的機械硬盤；
  • 3熱數據節點：內存64G，16核，5T的固態硬盤；
  • 3冷數據節點：內存64G，8核，50T的機械硬盤。

圖片

2.2 現狀分析

1）主節點磁盤資源使用不完


因為僅主節點非數據節點不存儲數據，因此主節點不需要多帶帶配置5T的硬盤。


2）主機數較多


因為主機內存僅為64g內存，因此單個主機僅能部署1個數據節點，節點間的通信是主機間通信，相比主機內節點間通信會增加通信延時，節點數越多要求的主機數越多，不僅增加節點間通信延時，同時擴展性很差，因此建議采用較大內存主機，主機內部署多個節點。


2.3 規劃邏輯

1）主節點和數據節點共用主機


主節點和數據節點在同一個主機上能減少主節點與數據節點間的延時。


2）規劃數據量及所需承載節點數

  • 熱設備存儲30天的數據，冷設備存儲6個月的數據，生產環境目前每天產生的數據大概在200G左右，周期為30天之前的數據遷移至冷節點。
  • 總熱數據量=200G*30 約6t數據，按單個64g內存數據節點規劃可以承載1.85t數據（內存存儲比為30），至少需4個熱數據節點。
  • 總冷數據量=200G*6*30 約36t數據，按單個64g內存數據節點規劃可以承載32t數據（內存存儲比為500），至少需要2個冷數據節點。

2.4 規劃優化方案


1）主節點和熱數據節點
按256g機器來規劃，256g機器最多可以部署4個節點，其中一個節點當做主節點，其它部署為數據節點，因此需要2臺256g作為主節點和熱數據節點共用的主機，考慮單主機故障容災，建議使用3臺256g的機器作為主節點和熱數據節點共用的主機。相比之前規劃減少6臺主機。
2）冷數據節點
目前3臺64g內存的主機作為冷數據節點已達到上述至少2個冷數據節點的要求，因此可以暫不更改，如果資源足夠，也可以采用2臺128/256g內存的機器，每個主機上部署2個冷數據節點，共4個冷數據節點。
結合規劃邏輯和實際情況，目前的規劃方案如下，后續可根據實際使用情況進行調整。
3）現場生產實際情況
目前有3臺512G內存、48核、39T機械硬盤、4塊2.9T固態硬盤的物理機(若不劃分虛擬機，則4塊固態硬盤可以疊加)，因此方案改為：物理機不劃分虛擬機，一臺物理機上部署1個主節點（不占用磁盤）、2個熱數據節點（使用固態硬盤）、1個冷數據節點（使用機械硬盤）。


2.5 配置文件

1）生成證書，在node0執行一次即可(xpack開啟)


cd elasticsearch
export  JAVA_HOME=/home/shsnc/snc_product/elasticsearch/jdk ##修改JDK的環境變量
./bin/elasticsearch-certutil ca ##一直回車即可
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 ##一直回車即可
mv elastic-certificates.p12 ./config/    ##將證書文件放置到node0指定路徑
mv elastic-stack-ca.p12 ./config/      ##將證書文件放置到node0指定路徑
scp elastic-certificates.p12 elastic-stack-ca.p12 192.168.XXX.178:/home/shsnc/snc_product/elasticsearch/config/    ##將證書文件放置到node1指定路徑
scp elastic-certificates.p12 elastic-stack-ca.p12 192.168.XXX.179:/home/shsnc/snc_product/elasticsearch/config/    ##將證書文件放置到node2指定路徑
./bin/x-pack-env ##執行環境變量
./bin/x-pack-security-env ##執行環境變量
./bin/elasticsearch-setup-passwords interactive ##手動配置每個用戶密碼
export  JAVA_HOME=/home/shsnc/snc_product/jdk ##還原JDK的環境變量


2）主節點配置


cluster.name: shsnc
node.name: node0
network.host: 192.168.XXX.177
http.port: 9200
transport.tcp.port: 9300
node.master: true
node.data: false
node.ingest: true
bootstrap.memory_lock: true
cluster.routing.allocation.same_shard.host: true
xpack.license.self_generated.type: basic
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /home/shsnc/snc_product/elasticsearch/config/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /home/shsnc/snc_product/elasticsearch/config/elastic-certificates.p12
http.cors.enabled: true
http.cors.allow-origin: "*"
bootstrap.system_call_filter: false
node.attr.box_type: hot
discovery.zen.ping.unicast.hosts: ["192.168.XXX.177:9300","192.168.XXX.178:9300","192.168.XXX.179:9300"

3）熱數據節點配置

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129089.html

相關文章

發表評論

0條評論

社區管理員

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<