ES shards分片管理
點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！
分片（shard）-- 分片是單個Lucene實(shí)例，這是Elasticsearch管理的比較底層的功能。一個索引可以存儲很大的數(shù)據(jù)，這些空間可能超過一個節(jié)點(diǎn)的物理存儲限制。為了解決這一問題，Elasticsearch將索引分解成多個分片。每個分片是一個全功能的、獨(dú)立的單元，可以托管在集群中的任何數(shù)據(jù)節(jié)點(diǎn)。主分片（primary shard）-- 每個文檔都存儲在一個分片中，當(dāng)你存儲一個文檔的時候，系統(tǒng)會首先存儲在主分片中，然后會復(fù)制導(dǎo)不同的副本中。默認(rèn)情況下，一個索引有5個主分片。可以事先定制分片數(shù)量，當(dāng)分片一旦建立，則分片的數(shù)據(jù)不能修改。副本分片（replica shard）-- 每一給分片有零個或多個副本。副本主要是主分片的復(fù)制，其中有兩個目的：增加高可用性：當(dāng)主分片故障的時候，可以從副本分片中選擇一個作為主分片。
提高性能：當(dāng)查詢的時候可以到主分片或者副本分片中進(jìn)行查詢，提高查詢速度。
默認(rèn)情況下，一個主分片配有一個副本，但副本的數(shù)量可以在后面動態(tài)的配置增加。副本分片必須部署在不同的節(jié)點(diǎn)上，不能部署在和主分片相同的節(jié)點(diǎn)上，這個是由Elasticsearch自動控制，并且副本不要和主分片部署在同一主機(jī)上，否則在極端情況下會存在索引數(shù)據(jù)丟失的情況，這個是由Elasticsearch參數(shù)來控制的（cluster.routing.allocation.same_shard.host: true）。
每個索引和每個分片都需要一些內(nèi)存和 CPU 資源。在大多數(shù)情況下，一小組大分片比許多小分片使用更少的資源。較大的分片在失敗后需要更長的時間才能恢復(fù)。當(dāng)一個節(jié)點(diǎn)發(fā)生故障時，Elasticsearch 會在數(shù)據(jù)層的剩余節(jié)點(diǎn)之間重新平衡該節(jié)點(diǎn)的分片。此恢復(fù)過程通常涉及通過網(wǎng)絡(luò)復(fù)制分片內(nèi)容，因此 100GB 分片的恢復(fù)時間是 50GB 分片的兩倍。相比之下，小分片會帶來更多的開銷并且搜索效率較低。搜索 50 個 1GB 分片將比搜索包含相同數(shù)據(jù)的單個 50GB 分片占用更多的資源。分片大小沒有硬性限制，但經(jīng)驗(yàn)表明 10GB 到 50GB 之間的分片通常適用于日志和時間序列數(shù)據(jù)。根據(jù)實(shí)際的網(wǎng)絡(luò)和用例，可能能夠使用更大的分片。2. 每 GB 堆內(nèi)存 20 個或更少的分片。數(shù)據(jù)節(jié)點(diǎn)可以容納的分片數(shù)量與節(jié)點(diǎn)的堆內(nèi)存成正比。例如，具有 30GB 堆內(nèi)存的節(jié)點(diǎn)最多應(yīng)該有 600 個分片。分片數(shù)越低于此限制越好。如果發(fā)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)超過每 GB 20 個分片，請考慮添加另一個節(jié)點(diǎn)。3.1 避免使用非常大的分片，因?yàn)檫@會對群集從故障中恢復(fù)的能力產(chǎn)生負(fù)面影響。對分片的大小沒有固定的限制，但是通常情況下很多場景限制在 50GB 的分片大小以內(nèi)。3.2 分片數(shù)不是越多越好，每個分片都需要占用資源，數(shù)據(jù)量小的索引分配盡量少的分片。3.3 如果擔(dān)心數(shù)據(jù)的快速增長, 建議根據(jù)這條限制: ElasticSearch推薦的最大JVM堆空間 是 30~32G, 所以把分片最大容量限制為 30GB, 然后再對分片數(shù)量做合理估算。例如, 如果的單個索引數(shù)據(jù)能達(dá)到 200GB, 則最多分配7到8個分片，一個數(shù)據(jù)節(jié)點(diǎn)可承載600個分片。3.4 當(dāng)數(shù)據(jù)量可以合理預(yù)測并且變化緩慢時，具有固定時間間隔的基于時間的索引很有效。
如果不再寫入索引，則可以使用強(qiáng)制合并 API將較小的段合并為較大的段。這可以減少分片開銷并提高搜索速度。但是，強(qiáng)制合并是資源密集型的。所以最好在非高峰時間運(yùn)行強(qiáng)制合并。
強(qiáng)制合并指定索引
POST index_name/_forcemerge
強(qiáng)制合并多個索引
POST / index_name1,index_name2 / _forcemerge
強(qiáng)制合并所有索引
POST /_forcemerge
*僅在完成寫入索引后才應(yīng)針對索引調(diào)用強(qiáng)制合并。強(qiáng)制合并會導(dǎo)致生成非常大 (>5GB) 的段，如果您繼續(xù)寫入這樣的索引，那么自動合并策略將永遠(yuǎn)不會考慮這些段以進(jìn)行未來的合并，直到它們主要由已刪除的文檔組成。這可能會導(dǎo)致非常大的段保留在索引中，從而導(dǎo)致磁盤使用量增加和搜索性能變差。如果不再寫入索引，則可以使用收縮索引 API來減少其分片數(shù)。如果啟用了 Elasticsearch 安全功能，則您必須具有索引的manage 索引權(quán)限。*索引的所有主分片必須駐留在同一節(jié)點(diǎn)上。*索引必須具有g(shù)reen 健康狀態(tài)。收縮索引 API 允許將現(xiàn)有索引收縮為具有更少主分片的新索引。目標(biāo)索引中請求的主分片數(shù)必須是源索引中分片數(shù)的一個因子。例如，具有 8主分片的索引可以縮小為4，2或者1主分片或具有15主分片的索引可以縮小為5，3或1。如果索引中的分片數(shù)量是素數(shù)，則只能將其縮小為單個主分片。在收縮之前，索引中每個分片的（主或副本）副本必須存在于同一節(jié)點(diǎn)上。建議收縮前關(guān)閉副本，收縮完成后再開啟副本，提高收縮速率。原索引test_20220125，5個主分片，一個副本，分片分布在es04和es03節(jié)點(diǎn)。關(guān)閉索引test_20220125副本，設(shè)置索引為只讀，將分片分配到es03節(jié)點(diǎn)。
curl -H "Content-Type: application/json" -XPUT -u elastic:qwer123 -s http://***.***.43.138:9200/test_20220125/_settings -d
{
"settings": {
"index.number_of_replicas": 0,
"index.routing.allocation.require._name": "es03",
"index.blocks.write": true
}
}
1）創(chuàng)建一個與源索引具有相同定義但主分片數(shù)量較少的新目標(biāo)索引。如果文件系統(tǒng)不支持硬鏈接，那么所有段都被復(fù)制到新索引中，這是一個更耗時的過程。另外，如果使用多個數(shù)據(jù)路徑，不同數(shù)據(jù)路徑上的分片需要完整的段副本文件，如果它們不在同一個磁盤上，因?yàn)橛叉溄硬荒芸绱疟P工作。
3）恢復(fù)目標(biāo)索引，就好像它是剛剛重新打開的已關(guān)閉索引一樣。將索引test_20220125收縮成索引test_20220208，因原索引主分片數(shù)為5，所以目標(biāo)索引主分片只能設(shè)置為1，并開啟目標(biāo)索引副本運(yùn)行讀寫。
curl -H "Content-Type: application/json" -XPOST -u elastic:qwer123 -s http://***.***.43.138:9200/test_20220125/_shrink/test_20220208 -d
{
"settings": {
"index.routing.allocation.require._name": null,
"index.blocks.write": null,
"index.number_of_replicas": 1,
"index.number_of_shards": 1,
"index.codec": "best_compression"
}
}
參數(shù)best_compression僅在對索引進(jìn)行新寫入時才會生效，例如在將分片強(qiáng)制合并到單個段時。
a. 監(jiān)控收縮過程
_cat recovery 可以使用API監(jiān)控收縮過程，或者通過將 參數(shù)設(shè)置為 ，使用cluster healthAPI等待所有主分片分配完畢 。wait_for_statusyellow_shrink一旦目標(biāo)索引被添加到集群狀態(tài)，API 就會在分配任何分片之前返回。此時，所有分片都處于狀態(tài)unassigned。如果出于任何原因，無法在收縮節(jié)點(diǎn)上分配目標(biāo)索引，則其主分片將保留 unassigned，直到可以在該節(jié)點(diǎn)上分配為止。分配主分片后，它會移動到 state initializing，然后收縮過程開始。收縮操作完成后，分片將變?yōu)閍ctive. 此時，Elasticsearch 將嘗試分配任何副本，并可能決定將主分片重新定位到另一個節(jié)點(diǎn)。（測試環(huán)境索引數(shù)據(jù)量小，收縮速度很快，并未監(jiān)測到這個數(shù)據(jù)）b. 刪除原索引
curl -XDELETE -u elastic:qwer123 -s http://***.***.43.138:9200/test_20220125?pretty
使用reindex API將具有相似映射的索引組合成一個大索引。對于時間序列數(shù)據(jù)，您可以將較短時間段的索引重新索引為涵蓋較長時間段的新索引。例如，可以將2月的每日索引重新new_index_20220208_1和new_index_20220208_2編入每月new_index_20220208索引。重新索引后，刪除原索引。原索引new_index_20220208_1和new_index_20220208_2信息。將索引new_index_20220208_1和new_index_20220208_2合并為new_index_20220208。
curl -H "Content-Type: application/json" -XPOST -u elastic:qwer123 -s http://***.***.43.139:9200/_reindex -d
{
"source": {
"index": "new_index_20220208_*"
},
"dest": {
"index": "new_index_20220208"
}
}
刪除原索引new_index_20220208_1和new_index_20220208_2。
curl -XDELETE -u elastic:qwer123 -s http://***.***.43.138:9200/new_index_20220208_1?pretty
curl -XDELETE -u elastic:qwer123 -s http://***.***.43.138:9200/new_index_20220208_2?pretty
this action would add [x] total shards, but this cluster currently has [y]/[z] maximum shards open;
此錯誤表示添加索引操作將超出集群最大分片數(shù)限制。可以通過參數(shù)cluster.max_shards_per_node調(diào)整集群最大開放分片數(shù)。最大分片數(shù)=cluster.max_shards_per_node*數(shù)據(jù)節(jié)點(diǎn)數(shù)。
curl -H "Content-Type: application/json" -XPUT -u elastic:qwer123 -s http://***.***.43.139:9200/_cluster/settings -d
{
"persistent" : {
"cluster.max_shards_per_node": 1200
}
}
本文來源：IT那活兒（上海新炬王翦團(tuán)隊(duì)）
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/129637.html
