Redis內(nèi)存告警處理

IT那活兒發(fā)布于2023-01-11 13:19 / 3453人閱讀

Redis內(nèi)存告警處理

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！

關(guān)于Redis的bigkey，阿里Redis開發(fā)規(guī)范中有說明：拒絕bigkey，防止網(wǎng)卡流量、慢查詢，string類型控制在10KB之內(nèi)，hash、list、set、zset元素個數(shù)不要超過5000。

今天我們來看一個反例，一個異常情況下包含千萬數(shù)量級個元素的list。

某時某分某值班人員收到告警傳報，指向某業(yè)務(wù)redis實例內(nèi)存使用量告警。

登錄智慧運維管理平臺，查看該redis實例使用內(nèi)存情況，使用內(nèi)存9.95GB超過閾值。

查看該redis實例使用內(nèi)存基線數(shù)據(jù)，正常范圍在0.67—2.77GB之間，遠低于當(dāng)前內(nèi)存使用量9.95GB。

登錄redis主機，檢查bigkey返回結(jié)果，命令如下：

redis-cli -h  -p  --bigkeys

主要檢查summary部分的信息，發(fā)現(xiàn)該實例一共有3864814個key，其中l(wèi)ist類型有1個key，該key有23322701個元素。

反饋開發(fā)商確認該list為重復(fù)投遞產(chǎn)生的垃圾數(shù)據(jù)，申請授權(quán)臨時UNLINK刪除處理后恢復(fù)正常，目前已更新應(yīng)用程序版本，控制該list元素數(shù)量避免bigkey以徹底解決。

到這里展示了一個bigkey從發(fā)現(xiàn)到處理的案例，接下來我們來看看bigkey到底能給redis帶來什么危害。

bigkey顧名思義就是value占用內(nèi)存空間大或者元素多的key。

3.1 在Redis中存在兩種類型，字符串類型最大512MB，非字符串類型（例如bash、list、set、zset等）可以存儲大約40億（2^32-1）個元素，但實際上如果滿足下面任一情況都可以認為是bigkey：

字符串類型，一般認為單個key的value值長度超過10KB就是bigkey；
非字符串/集合類型，單個key的元素個數(shù)超過5000就是bigkey；

上述的定義并不絕對，主要是根據(jù)自己的業(yè)務(wù)場景調(diào)整具體的標(biāo)準(zhǔn)。

3.2 bigkey在redis中存在諸多隱患，有如下幾點：

超時阻塞：因為Redis單線程執(zhí)行命令的特性，操作bigkey等耗時的操作，都可能阻塞Redis其他業(yè)務(wù)操作，造成慢查詢等性能問題；
網(wǎng)絡(luò)擁塞：讀取bigkey意味著需要消耗更多的網(wǎng)絡(luò)流量占用更多的網(wǎng)絡(luò)帶寬，可能造成網(wǎng)絡(luò)擁塞，自身變慢的同時影響到其他業(yè)務(wù)性能；
過期刪除：bigkey相關(guān)的刪除或自動過期時在低版本中容易產(chǎn)生阻塞，主庫較長時間的阻塞可能引發(fā)主備同步中斷或主備切換；
遷移困難：bigkey遷移可能會失敗而且容易阻塞redis；
內(nèi)存空間不均勻：集群架構(gòu)下某個數(shù)據(jù)分片的內(nèi)存使用率遠超其它數(shù)據(jù)分片，無法使數(shù)據(jù)分片的內(nèi)存資源達到均衡，不利于集群對內(nèi)存空間的統(tǒng)一管理；
內(nèi)存空間資源緊張：redis內(nèi)存不斷變大引發(fā)OOM，或達到maxmemory設(shè)置值引發(fā)寫阻塞或核心key被驅(qū)逐。

3.3 如何發(fā)現(xiàn)redis中的bigkey，有以下幾種方法：

redis-cli自帶的命令，redis-cli -h -p --bigkeys，該命令以遍歷的方式分析redis實例中的所有key，并返回整體統(tǒng)計信息和每鐘數(shù)據(jù)類型中最大的key，并不能找出整個redis中所有的大key；
通過redis-rdb-tools工具包中的rdb工具分析redis的dump.rdb文件生成csv文件再導(dǎo)入到mysql、Oracle等數(shù)據(jù)庫中進行統(tǒng)計分析，該工具是離線分析rdb持久化文件對性能無影響；
某些公有云的可視化頁面分析工具，如阿里云redis大key搜索工具等。

因此不管對于redis的開發(fā)還是運維人員，bigkey就是一個不穩(wěn)定因素，時不時帶來穩(wěn)定性風(fēng)險，使用redis過程中都應(yīng)該經(jīng)常關(guān)注數(shù)據(jù)中是否有bigkey，及早發(fā)現(xiàn)并處理，避免對業(yè)務(wù)系統(tǒng)的進一步危害。