資訊專欄INFORMATION COLUMN
一、故障原因分析
2016年10月11日，程序在通過批量任務進行數據清理時，產生大量的delete操作（100多張表同時并行進行，且表上無索引），開始時代理軟件的一個節點，達到了切換條件，在未檢測從庫的情況下，自動切換部分主從，導致主從數據混亂。后續其他代理軟件節點也在未檢測從庫情況下進行自動切換。至此整個集群數據混亂。
二、故障造成的影響
故障發生后，影響面兒較大。
三、架構隱患
所有數據操作，都經過代理軟件指向數據庫。代理軟件是否可靠，直接關系到后臺數據一致性。請確認代理軟件是否存在如下隱患：
1、代理軟件故障切換時，如主庫異常或主從延遲過大，切換是否可靠。
2、代理軟件判斷當前寫操作位于主庫還是從庫，是否可靠；
3、代理軟件高可用（主從同步和切換）是否可靠；
4、代理軟件是否能動態加載其配置文件，如果部分配置項讀取異常，該軟件如何處理；
5、是否存在全局表，且代理軟件是否能夠滿足其全局表存在數據完全一致；
6、代理軟件是否可以跨片查詢，數據查詢是否存在異常 。
四、解決方案
（1）臨時解決方案
a) 不允許自動切換主從，人工切換必須檢查從庫延遲；
b) 通過innobackupex恢復備庫。
（2）后續整改建議
a) 主從切換時，必須先檢查從庫是否存在延遲（10s以內）；
b) 定期優化TopSql；
c) 實時檢測主從同步情況；
d) 建議拆分3套代理軟件對應的底層數據庫；
e) 增加數據庫監控；
五、日常運維
主要通過完善告警及加強日常巡檢來保障系統穩定運行。
（1）完善告警
日常監控主要從線程連接信息、查詢性能相關信息、MySQL表、行信息、InnoDB相關信息、命中率、MySQL基本情況、從庫延遲情況等共計8類監控項，涉及監控指標100余項。詳細參考附件：
（2）日常巡檢
通過對mysql運行狀態以及系統本身的細致檢查，發現mysql服務可能存在的問題，提高mysql的性能，減少非計劃停機時間。
巡檢工作的主要內容包括：
a) 主機以及操作系統運行情況檢查
b) mysql的性能檢查以及瓶頸分析
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/130243.html
摘要：需要監控的維度有登錄總數成功數失敗分類用戶地區版本號瀏覽器類型登錄來源服務所在機房等等。 引言在任何一家互聯網公司，不管其主營業務是什么，都會有一套自己的賬號體系。賬號既是公司所有業務發展留下的最寶貴資產，它可以用來衡量業務指標，例如日活、月活、留存等，同時也給不同業務線提供了大量潛在用戶，業務可以基于賬號來做用戶畫像，制定各自的發展路徑。因此，賬號服務的重要性不言而喻，同時美團業務飛速發展...
摘要：一個熱門視頻直播間人數可能達到幾十萬甚至上百萬人，幾十萬人發消息，幾十萬人接收，流量相當驚人，那么服務端要如何設計才能保證系統流暢本文作者將結合他在網易云信多年開發的經驗進行深度分析。網易云信至今已申請了余項專利，遠超市場同類產品。 一個熱門視頻直播間人數可能達到幾十萬甚至上百萬人，幾十萬人發消息，幾十萬人接收，流量相當驚人，那么服務端要如何設計才能保證系統流暢？本文作者將結合他在網易...
摘要：后端好書閱讀與推薦系列文章后端好書閱讀與推薦后端好書閱讀與推薦續后端好書閱讀與推薦續二后端好書閱讀與推薦續三這里依然記錄一下每本書的亮點與自己讀書心得和體會，分享并求拍磚。然后又請求封鎖，當釋放了上的封鎖之后，系統又批準了的請求一直等待。 后端好書閱讀與推薦系列文章：后端好書閱讀與推薦后端好書閱讀與推薦（續）后端好書閱讀與推薦（續二）后端好書閱讀與推薦（續三） 這里依然記錄一下每本書的...
摘要：后端好書閱讀與推薦系列文章后端好書閱讀與推薦后端好書閱讀與推薦續后端好書閱讀與推薦續二后端好書閱讀與推薦續三這里依然記錄一下每本書的亮點與自己讀書心得和體會，分享并求拍磚。然后又請求封鎖，當釋放了上的封鎖之后，系統又批準了的請求一直等待。 后端好書閱讀與推薦系列文章：后端好書閱讀與推薦后端好書閱讀與推薦（續）后端好書閱讀與推薦（續二）后端好書閱讀與推薦（續三） 這里依然記錄一下每本書的...
摘要：后端好書閱讀與推薦系列文章后端好書閱讀與推薦后端好書閱讀與推薦續后端好書閱讀與推薦續二后端好書閱讀與推薦續三這里依然記錄一下每本書的亮點與自己讀書心得和體會，分享并求拍磚。然后又請求封鎖，當釋放了上的封鎖之后，系統又批準了的請求一直等待。 后端好書閱讀與推薦系列文章：后端好書閱讀與推薦后端好書閱讀與推薦（續）后端好書閱讀與推薦（續二）后端好書閱讀與推薦（續三） 這里依然記錄一下每本書的...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4099·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3594·2023-01-11 13:20
