Elasticsearch數(shù)據(jù)遷移

IT那活兒發(fā)布于2023-01-11 11:34 / 3470人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

一

Elasticsearch簡介

ElasticSearch是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。

Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級(jí)搜索引擎。設(shè)計(jì)用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定，可靠，快速，安裝使用方便。

遷移流程：

創(chuàng)建NFS共享目錄，用于存儲(chǔ)從老集群備份的數(shù)據(jù)，然后再將共享目錄中的數(shù)據(jù)恢復(fù)到新集群。

二

遷移步驟

2.1 NFS服務(wù)端部署

執(zhí)行以下命令：

yum install nfs-utils --安裝
systemctl enable nfs --設(shè)置自啟動(dòng)
systemctl start nfs --啟動(dòng)服務(wù)
mkdir /data/es_backup --準(zhǔn)備一個(gè)目錄
chmod 755 /data/es_backup --賦權(quán)
vim /etc/exports --配置
/data/es_backup/ [ip1,ip2,..........] (rw,sync,no_root_squash,no_all_squash,anonuid=1000,anongid=1000)
systemctl restart nfs --重啟服務(wù)
showmount -e localhost --查看掛載

執(zhí)行以下命令：

yum -y install nfs-utils
systemctl start rpcbind --開啟RPC服務(wù)，RPC提供了存取遠(yuǎn)程文件的操作
showmount -e ip --查看服務(wù)端的共享目錄
mkdir /data/es_backup--然后新建一個(gè)目錄
mount -t nfs ip:/data/es_backup/ /data/es_backup/ --掛載服務(wù)端的目錄

2.2 客戶端安裝（所有節(jié)點(diǎn)）

2.3 配置elasticsearch.yml（每個(gè)節(jié)點(diǎn)）

增加以下配置：

path.repo: ["/data/es_backup/"]

2.4 重啟ES服務(wù)

systemctl restart elasticsearch

2.5 注冊(cè)倉庫（新老集群）

chown -R elasticsearch:elasticsearch /data/es_backup/ --授權(quán)

切換到elasticsearch用戶執(zhí)行：

curl -XPUT http://IP:9200/_snapshot/es_backup -H Content-Type: application/json -d 
{
"type": "fs",
"settings": {
"location": "/data/es_backup" ,
"compress": true,
"max_restore_bytes_per_sec": "80mb", --恢復(fù)速度，默認(rèn)40
"max_snapshot_bytes_per_sec": "80mb"   --快照速度，默認(rèn)40
}
} --user elastic:password --需加上用戶認(rèn)證

2.6 業(yè)務(wù)停機(jī)

2.7 數(shù)據(jù)備份（老集群）

備份所有索引：

curl -XPUT 
http://IP:9200/_snapshot/es_backup/snapshot_1?wait_for_completion=true
--user elastic:password

2.8 查看備份狀態(tài)

curl -XGET 
http://IP:9200/_snapshot/es_backup/snapshot_1/_status --user elastic:password

2.9 數(shù)據(jù)恢復(fù)（新集群）

curl -XPOST http://IP:9200/_snapshot/es_backup/snapshot_1/_restore?wait_for_completion=true -H Content-Type: application/json -d 
{
"indices":"index1,index2...." --建議指定要恢復(fù)的索引
} --user elastic:password

2.10 索引數(shù)量及數(shù)據(jù)量驗(yàn)證

2.11 通知業(yè)務(wù)切換集群并驗(yàn)證

總結(jié)：

上述采用的是Snapshot 方式，其遷移速度快，適用數(shù)據(jù)量大的場(chǎng)景。快照是增量創(chuàng)建的，這意味著，當(dāng)創(chuàng)建索引快照時(shí)，Elasticsearch避免復(fù)制任何已存儲(chǔ)在存儲(chǔ)庫中的數(shù)據(jù)作為同一索引的早期快照的一部分，因此可以非常頻繁地為集群創(chuàng)建快照。