基于自動化運維平臺實現mysql物理備份

IT那活兒發布于2023-01-11 13:19 / 978人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

背景

某客戶現場的MySQL始終沒有一套完整備份體系，常年處于裸奔的狀態，如出現極端情況，例如主機故障無法恢復，那數據庫數據將全部丟失，出于數據安全等考慮，經與客戶溝通將在自動化運維平臺上搭建一套MySQL備份流程。

MySQL物理備份流程

自動化運維管理平臺：

支撐八大運維場景自動化（如下圖所示)，覆蓋常見運維工作。
靈活的可視化任務編排及調度，操作、資源、工具、人員的任意編排調度，構建多方位自動化能力。
內置大量運維操作原子場景，支持常見數據庫、中間件、云平臺、網絡設備等運維操作自動化能力。

MySQL物理備份流程實現準備

1. 創建備份用戶

SQL> create user monmydb@localhost identified with mysql_native_password by XXXXX;
SQL> grant process on *.* to monmydb@localhost;
SQL> grant super on *.* to monmydb@localhost;
SQL> grant replication client on *.* to monmydb@localhost;
SQL> grant select on *.* to monmydb@localhost;
SQL>flush privileges;
SQL> show grants for monmydb@localhost;

2. 創建相關目錄

mkdir -p /mysql/dacp/mysql/mysqlbak/scripts #備份腳本目錄；
mkdir -p /mysql/dacp/mysql/mysqlbak/data/full #備份文件目錄；
mkdir -p /mysql/dacp/mysql/mysqlbak/data/log #備份日志目錄。

將MySQL物理備份腳本上傳至備份腳本目錄。

3. 安裝物理備份軟件

將軟件包上傳至備份腳本目錄，本流程使用軟件如下：

percona-xtrabackup-2.4.7-Linux-x86_64.tar.gz
cd /mysql/dacp/mysql/mysqlbak/scripts
tar -zxvf percona-xtrabackup-2.4.7-Linux-x86_64.tar.gz

Mysql物理備份流程腳本

1. MySQL物理備份腳本

#!/bin/bash
Innobackupex_Path=/mysql/dacp/mysql/mysqlbak/scripts/percona-xtrabackup-2.4.7-Linux-x86_64/bin/xtrabackup
Mysql_Client=/mysql/dacp/mysql/soft/bin/mysql
Bak_Time=`date +%Y%m%d_%H%M%S`

#請勿在Incrbackup_Path及下屬文件夾創建或寫入內容，否則可能導致增量備份不成功。

Backup_Dir=/mysql/dacp/mysql/mysqlbak/data #備份主目錄
#Backup_Dir=/opt/backup/data/`data -I` #按日期生成備份主目錄
Fullbackup_Path=$Backup_Dir/full # 全庫備份的目錄
Incrbackup_Path=$Backup_Dir/incr # 增量備份的目錄
Log_Path=$Backup_Dir/logs #日志文件目錄
Keep_Fullbackup=2 #保留的全備份數量,此處要加1; 如要保留2個，此處要寫3
Mysql_Conf=/etc/my.cnf #mysql配置文件
export MYSQL_PWD=xxxxxxx
SOCK=/mysql/dacp/mysql/data/mysql.sock
Mysql_Opts="$Mysql_Client -s --host=localhost --user=root --password=$MYSQL_PWD -S$SOCK" #mysql的連接配置，按需修改

Error()
{
echo -e "e[1;31m$1e[0m" 1>&2
exit 1
}

Backup()
{

#兩個參數為全量備份,第一個參數為備份目錄，第二個參數為日志全路徑：

if [ $# = 2 ] ; then
$Innobackupex_Path --defaults-file=$Mysql_Conf -uroot -p$MYSQL_PWD  --backup --parallel=3 --target-dir $1/full_$Bak_Time>$2 2>&1

#三個參數為增量備份，第一個為增量備份目錄，第二個為上個增量備份目錄,第三個為日志全路徑。

elif [ $# = 3 ];then
$Innobackupex_Path --defaults-file=$Mysql_Conf -uroot -p$MYSQL_PWD --backup --target-dir $1/incr_$Bak_Time  --incremental-basedir $2 >$3 2>&1
else
Error "Backup(): 參數不正確"
fi
}

Lastest_Dir()
{
if [ -d $1 ]; then
path=`ls -t $1 |head -n 1`
if [ $path ]; then
echo $path
else
Error "Lastest_Diri(): 目錄為空,沒有最新目錄"
fi
else
Error "Latest_Dir(): 目錄不存在或者不是目錄"
fi
}

#進行增量備份：

Do_Inc()
{
if [ "$(ls -A $Incrbackup_Path)" ] ; then

#不是第一次增量備份，以最新的增量備份目錄為base_dir

Backup $Incrbackup_Path $Incrbackup_Path/`Lastest_Dir $Incrbackup_Path` $Log_Path/incr_$Bak_Time.log
else

#第一次增量備份要先全量備份：

Backup $Incrbackup_Path  $Log_Path/incr_full_$Bak_Time.log
fi
}

#進行全量備份：

Do_Full()
{
Backup $Fullbackup_Path $Log_Path/full_$Bak_Time.log
cd $Fullbackup_Path
ls -t |tail -n +$Keep_Fullbackup |xargs rm -rf

}

#環境和配置檢查：

Check()
{

if [ ! -d $Fullbackup_Path ];then
mkdir -p $Fullbackup_Path
fi

if [ ! -d $Incrbackup_Path ];then
mkdir -p $Incrbackup_Path
fi

if [ ! -d $Log_Path ];then
mkdir -p $Log_Path
fi

#檢測所需的軟件：

if [ ! -f $Innobackupex_Path ];then
Error "未安裝xtradbbackup或xtradbbackup路徑不正確"
fi

if [ ! -f $Mysql_Client ];then
Error "未安裝mysql客戶端"
fi

if [ ! -f $Mysql_Conf ];then
Error "mysql配置文件路徑不正確"
fi

#檢查mysql的運行狀態：

if [ `ps -ef |grep mysqld |grep -v grep |wc -l` = 0 ];then
Error "MySQL沒有運行"
fi

#驗證mysql的用戶和密碼是否正確：

if  ! `echo exit |$Mysql_Opts >/dev/null 2>&1` ; then
Error "提供的數據庫連接配置不正確!"
fi
}
case $1 in

full)
Check
Do_Full
;;

inc)
Check
Do_Inc
;;

*)
echo "full 全量備份"
echo "inc 增量備份"
;;
esac

2. 執行物理備份腳本

腳本實現邏輯：

核查備份目錄大小是否滿足，否則輸出異常備份失敗，正常則執行備份腳本，備份執行完成核查執行日志是否備份成功。

#!/bin/bash

unamesr="`uname -sr`"
case "$unamesr" in
AIX*)
AWK=awk
. $HOME/.profile
;;
SunOS 5*)
AWK=nawk
. $HOME/.profile
;;
HP*)
AWK=awk
. $HOME/.profile
;;
Linux*)
AWK=awk
. $HOME/.bash_profile
;;
esac

directory=$directory
sh_directory=$sh_directory
log_directory=$log_directory
user=$user

sudo su - $user <rm -rf $directory/mysqlbak/data/full/full*
rm -f ${log_directory}/*.log
EOF

tmp1=`df -mP |grep ${directory}|awk {print $4}`
tmp2=`df -mP |grep ${directory}|awk {print $3}`

if [[ ${tmp1} -gt ${tmp2} ]];then

echo "可執行備份"

sudo su - $user <sh $sh_directory/xtradump.sh full
EOF

sudo su - $user <cat ${log_directory}/*.log |grep completed OK |wc -l > /tmp/backup.log
chmod 775 /tmp/backup.log
EOF

backup=`cat /tmp/backup.log`

if [[ ${backup} = 1 ]];then

output=0
echo "備份成功"
else
output=1
echo "備份失敗，請檢查"
fi
else
echo "目錄空間不足，不可執行備份"
output=1
fi
exit 0

3. 備份文件傳輸腳本

#!/bin/bash

data_directory="/mysql/dacp/mysql/mysqlbak/data/full"
sh_directory="/mysql/dacp/mysql/mysqlbak/scripts"

/usr/openv/netbackup/bin/bparchive -p MYSQL_DMP_ARC -s User_Archive -L $sh_directory/`date +%Y%m%d`.log -w $data_directory/full_*

find $sh_directory/ -name "*.log" -mtime +1 |xargs -i rm {}

4. 備份文件傳輸監控腳本

#!/bin/bash
sh_directory="/mysql/dacp/mysql/mysqlbak/scripts"
ipa=`ip addr |grep inet|grep -v 127.0.0.1|grep -v inet6|awk {print $2}|tr -d "addr:"|grep 134.|head -n 1`
hostip=${ipa%/*}
cat $sh_directory/`date +%Y%m%d`.log|grep successfully |wc -l > /tmp/trscheck.log

check=`cat /tmp/trscheck.log`

if [[ ${check} = 1 ]];then
echo "$hostip `date +%F %T` 備份文件發送成功" >> $sh_directory/trscheck.log

else

cd $sh_directory
./mess.sh -b "`date +%F %T` $hostip ERROR: mysql備份文件發送失敗，請檢查 " -t 18974885939,15367933992
echo " `date +%F %T` $hostip mysql備份文件發送失敗，請檢查" >> $sh_directory/trscheck.log
fi

基于自動化運維平臺實現

1. 創建巡檢項

運維操作--作業計劃--巡檢項--新建巡檢項--選擇執行物理備份腳本--填寫相關參數信息--保存。

2. 創建作業任務

運維操作--作業計劃--作業任務--新增作業任務--添加巡檢--選擇剛添加的巡檢項--填寫相關參數信息--保存。

本文作者：劉能（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器 mysql自動定時備份 mysql 自動備份恢復運維自動化平臺運維自動化管理平臺

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129242.html

宜信開源|詳解PaaS平臺LAIN的功能和架構

摘要：是宜信公司大數據創新中心開發的開源平臺。為宜信大數據創新中心各個團隊提供了統一的測試和生產環境，簡化了服務的部署與上線流程，也降低了運維人員對系統管理的復雜度。基于容器技術，面向多樣化的技術棧，并且天然隔離系統和應用的依賴。 LAIN是宜信公司大數據創新中心開發的開源PaaS平臺。在金融的場景下，LAIN 是為解放各個團隊和業務線的生產力而設計的一個云平臺。LAIN 為宜信大數據創新中...

mist14 2019-06-28 17:17 評論0 收藏0
極數云舟重磅發布企業級云原生數據庫ArkDB

摘要：月日，極數云舟在北京互聯網金融中心重磅發布企業級云原生數據庫，致力于打造具有自主知識產權的核心數據庫產品，不斷推動中國數據庫產業的發展和提升國產化數據庫自主品牌國際影響力。是極數云舟基于思想自主研發的一款企業級云原生數據庫。4月19日，極數云舟在北京互聯網金融中心重磅發布企業級云原生數據庫ArkDB，致力于打造具有自主知識產權的核心數據庫產品，不斷推動中國數據庫產業的發展和提升國產化數據庫自...

mushang 2019-04-29 17:52 評論0 收藏0
“怎么做好云遷移”? 深藍云海資深架構師給你答案

摘要：基于云遷移的三個階段細分為八個主要步驟，評估階段主要包括項目啟動現狀梳理以及應用系統關聯關系分析三個步驟，設計階段包括云架構優化設計和云遷移方案設計，實施階段包括目標架構遷移演練及實施和試運行三個步驟。在云計算市場規模不斷擴大的大背景下，云遷移的需求越來越大且面臨挑戰。云遷移不是一個遷移軟件工具，而是一種服務。前IBM資深架構師姜亞杰從云遷移的三個階段、四個維度到八個步驟的方法，簡述...

kk_miles 2019-06-21 16:47 評論0 收藏0

發表評論

登陸后可評論

0條評論

IT那活兒

男|高級講師

我要關注我要私信

TA的文章

消息中間件故障分析一例

閱讀 1346·2023-01-11 13:20
RAC雙節點crash回復一例

閱讀 1684·2023-01-11 13:20
ORA-600處理一例

閱讀 1132·2023-01-11 13:20
雙節點RAC實例2 HANG 故障分析一例

閱讀 1858·2023-01-11 13:20
RAC集群節點1重啟分析一例

閱讀 4099·2023-01-11 13:20
CRS啟動報錯CRS-1656處理分享

閱讀 2704·2023-01-11 13:20
oracle 12CR2打補丁報錯處理一例

閱讀 1385·2023-01-11 13:20
分布式緩存組件故障分析及監控優化

閱讀 3594·2023-01-11 13:20

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

基于自動化運維平臺實現mysql物理備份

MySQL物理備份流程

1. 創建備份用戶

2. 創建相關目錄

3. 安裝物理備份軟件

1. MySQL物理備份腳本

2. 執行物理備份腳本

3. 備份文件傳輸腳本

4. 備份文件傳輸監控腳本

1. 創建巡檢項

2. 創建作業任務

本文作者：劉能（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

相關文章

宜信開源|詳解PaaS平臺LAIN的功能和架構

極數云舟重磅發布企業級云原生數據庫ArkDB

“怎么做好云遷移”? 深藍云海資深架構師給你答案

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

消息中間件故障分析一例

RAC雙節點crash回復一例

ORA-600處理一例

雙節點RAC實例2 HANG 故障分析一例

RAC集群節點1重啟分析一例

CRS啟動報錯CRS-1656處理分享

oracle 12CR2打補丁報錯處理一例

分布式緩存組件故障分析及監控優化

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

基于自動化運維平臺實現mysql物理備份

MySQL物理備份流程

1. 創建備份用戶

2. 創建相關目錄

3. 安裝物理備份軟件

1. MySQL物理備份腳本

2. 執行物理備份腳本

3. 備份文件傳輸腳本

4. 備份文件傳輸監控腳本

1. 創建巡檢項

2. 創建作業任務

本文作者：劉 能（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

相關文章

發表評論

0條評論

男|高級講師

TA的文章

最新活動

本文作者：劉能（上海新炬王翦團隊）