Elasticsearch數(shù)據(jù)遷移工具之ESM

IT那活兒發(fā)布于2023-01-11 13:20 / 3651人閱讀

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

在使用Elasticsearch的時(shí)候不可避免的會(huì)涉及到集群的升級(jí)或者是業(yè)務(wù)的遷移等場(chǎng)景，此時(shí)就需要對(duì)數(shù)據(jù)進(jìn)行遷移，es數(shù)據(jù)遷移的工具有很多比如reindex、esm、elasticdump、logstash和快照等方式。

使用ESM的優(yōu)勢(shì)是針對(duì)少數(shù)業(yè)務(wù)遷出，索引和數(shù)據(jù)相對(duì)較少，不需要修改ES配置文件不用重啟集群，降低數(shù)據(jù)遷移對(duì)集群其他業(yè)務(wù)的影響的背景下相對(duì)來說速度較快的一種方案。

有數(shù)據(jù)測(cè)試表示遷移100W條數(shù)據(jù)ESM的速度僅次于reindex，接近logstash的兩倍之快，當(dāng)然這些與網(wǎng)絡(luò)環(huán)境和硬件有必然的關(guān)系，我們?cè)谶@里僅做參考即可。

01

實(shí)驗(yàn)環(huán)境及準(zhǔn)備

1.1 本次實(shí)驗(yàn)環(huán)境

本地環(huán)境：

云環(huán)境：

ESM版本：0.5.0

1.2 實(shí)驗(yàn)前準(zhǔn)備

1.2.1 搭建兩套ES集群，在這里不做演示。

1.2.2 上傳esm的tar包并解壓。

1.2.3 查看一下幫助文檔并確認(rèn)安裝成功。

1.3 ESM各個(gè)參數(shù)用法簡(jiǎn)介

02

實(shí)驗(yàn)案例

話不多說上實(shí)驗(yàn)！

Demo1

1）創(chuàng)建一個(gè)索引，設(shè)置主分片為1，副本分片為2。

2）將索引導(dǎo)出到本地 -o將源索引的文檔輸出到本地文件。

./bin/esm -s http://192.168.1.20:9200 -m elastic:123456 -o wsq_json.out -x wsq_esm_inbdex

3）刪除索引。

4）將下載到本地的索引再進(jìn)行導(dǎo)入。

./bin/esm -i wsq_json.out -n user:paswd -d http://192.168.1.20:9200

5）此時(shí)的索引主分片為1，副本為1。

由此可得知導(dǎo)出的數(shù)據(jù)并不會(huì)將其屬性也就是設(shè)置的mappings和setting導(dǎo)出，導(dǎo)入數(shù)據(jù)則會(huì)使用es默認(rèn)分片數(shù)進(jìn)行創(chuàng)建索引。同時(shí)也驗(yàn)證了該工具離線本地遷移的可行性。

Demo2

1）添加kibana的測(cè)試數(shù)據(jù)集來做測(cè)試。

2）測(cè)試與云服務(wù)器kibana服務(wù)的網(wǎng)絡(luò)聯(lián)通性。

3）將w:并發(fā)數(shù)設(shè)置為10，b：bulk大小設(shè)置為 10M ，scroll批量值大小設(shè)置為10000。

由于實(shí)驗(yàn)環(huán)境的虛擬機(jī)配置比較低，直接給整趴一個(gè)節(jié)點(diǎn)并報(bào)錯(cuò)如下，如果在生產(chǎn)環(huán)境一定要根據(jù)硬件調(diào)整傳輸參數(shù)的大小，還有一個(gè)錯(cuò)誤：復(fù)制索引參數(shù)為-x，這里使用了-o，這里參數(shù)如果沒跟對(duì)輕則超時(shí)報(bào)錯(cuò)，重則節(jié)點(diǎn)掛掉。