CPU資源耗盡故障處理一例

IT那活兒發(fā)布于2023-01-11 13:20 / 1012人閱讀

CPU資源耗盡故障處理一例

通過分析故障時間點數(shù)據(jù)庫ASH、AWR報告、OSW日志信息：

1、故障期間主機CPU資源高消耗、RUN隊列持續(xù)增高

2、故障時間段數(shù)據(jù)庫狀態(tài)分析

故障時間段數(shù)據(jù)庫語句執(zhí)行情況：

故障時間段數(shù)據(jù)庫TopSQL信息：

TopSQL語句信息：

略

異常時間段fyh80hwbv7gna、5vsxm0s8ps2j6語句高并發(fā)情況：

同比8月29日TopSQL語句執(zhí)行次數(shù)突增近10倍：

總結(jié)：本次故障原因為“fyh80hwbv7gna”、“5vsxm0s8ps2j6”語句異常高并發(fā)調(diào)用、導(dǎo)致數(shù)據(jù)庫主機CPU資源高消耗，數(shù)據(jù)庫服務(wù)響應(yīng)時間延長。

解決方案：

本次解決方案分為兩個方面：

1. 針對異常SQL語句進行執(zhí)行性能優(yōu)化；

優(yōu)化分析：

異常期間fyh80hwbv7gna語句執(zhí)行2300次，平時10次 "分析和優(yōu)化：分頁查詢總條數(shù)，1.SE_XX系列表統(tǒng)計信息不對 se_pretask_info查詢條件like全通配導(dǎo)致執(zhí)行計劃基數(shù)估算不準（實際小于10條，實際返回5000次，應(yīng)該走NESTED LOOPS的走了HASH JOIN）。

優(yōu)化建議：

收集SE_XX系列表統(tǒng)計信息并使用SQL PROFILE綁定，邏輯讀436w 執(zhí)行時間16s，高頻運行會導(dǎo)致CPU使用滿，同時存在大量分頁語句匯總，未使用綁定變量。

優(yōu)化效果：

fyh80hwbv7gna語句邏輯讀：436w--->5800 執(zhí)行時間:16s-->0.3s 效率提升50倍以上。

gyk0u596xt7c7語句邏輯讀：363w——>25000，執(zhí)行時間：11s—》1.6s，效率提升6倍以上。

2. 核查應(yīng)用運行情況，確認異常調(diào)用根本原因。

云服務(wù)器 GPU云服務(wù)器資源耗盡郵件服務(wù)器資源耗盡故障處理服務(wù)器故障處理

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/130242.html

相關(guān)文章

面對大規(guī)模系統(tǒng)工程，看Facebook如何處理故障排查(一）

摘要：當(dāng)奧巴馬贏得美國總統(tǒng)大選時，頁面活躍度刷新了記錄。對于每一個成因，都應(yīng)制定相應(yīng)的預(yù)防措施，以減輕大規(guī)模事故。這種故障會通過許多層面進入系統(tǒng)服務(wù)中，導(dǎo)致系統(tǒng)故障的發(fā)生。作者介紹：Ben Maurer是Facebook的網(wǎng)絡(luò)基礎(chǔ)團隊的技術(shù)領(lǐng)先者，主要負責(zé)整個Facebook面向用戶產(chǎn)品的性能和可靠性。Ben于2010年正式加入Facebook，基礎(chǔ)設(shè)施團隊的成員。在加入Facebook之...

scola666 2019-05-28 17:02 評論0 收藏0
Kubernetes集群監(jiān)控詳解

摘要：儀表板是一個附加組件，它能提供集群上運行的資源的概述信息?？梢院苋菀椎貏?chuàng)建圖形，并且把它們合并稱儀表板，而這些儀表板由一個強大的身份驗證和授權(quán)層保護，它們還可以和其他儀表板進行共享而不需要訪問服務(wù)器本身。介紹 Kubernetes在Github上擁有超過4萬顆星，7萬以上的commits，以及像Google這樣的主要貢獻者。Kubernetes可以說已經(jīng)快速地接管了容器生態(tài)系統(tǒng)，成...

A Loity 2019-07-01 16:58 評論0 收藏0
為什么說單個容器的價值有限，以及多容器的難點和價值在哪里？

摘要：谷歌在萬臺機器的區(qū)間內(nèi)，他們中位數(shù)集群尺寸大約在萬臺機器，也有一些更大的。谷歌稱，一個單獨的其專有的分配集群的首腦在一個谷歌對于集群的術(shù)語內(nèi)能管理成千上萬臺機器。【文章簡介】本文討論了單個容器所無法解決的問題和局限性，并介紹了容器編排的必要性和復(fù)雜性及常用工具的比較，提到了諸如Kubernetes、Mesos等容器管理工具。就像之前已被證實的那樣，要在一個機器上創(chuàng)建成千上萬個容器還...

weakish 2019-07-01 16:21 評論0 收藏0
一個開發(fā)眼中的運維

摘要：資源包括什么內(nèi)存磁盤網(wǎng)絡(luò)文件描述符外部緩存數(shù)據(jù)庫等，編程語言是如何管理資源的合理的算法架構(gòu)保證了資源的合理使用，分配內(nèi)存使用網(wǎng)絡(luò)等等。在云計算時代，開發(fā)和運維的結(jié)合變得越來越重要。在DIFF論壇第一期，前新浪SAE運維主管，鄭志勇，分享了《一個開發(fā)眼中的運維》根據(jù)自己從開發(fā)人員轉(zhuǎn)型運維之后的心得，談如何把在開發(fā)上的運用抽象思維方式運用到運維領(lǐng)域。 showImg(http://se...

Hanks10100 2019-05-28 16:43 評論0 收藏0
【MySQL】關(guān)于數(shù)據(jù)庫性能的那些事

摘要：且過多的從服務(wù)器，當(dāng)業(yè)務(wù)量大時對主服務(wù)器的網(wǎng)卡也是一定的挑戰(zhàn)。我們可以通過對集群的監(jiān)控信息來了解是什么影響了數(shù)據(jù)庫性能。關(guān)于數(shù)據(jù)庫性能的故事面試時多多少少會講到數(shù)據(jù)庫上的事情，你對數(shù)據(jù)庫的掌握如何？，什么時候最考驗數(shù)據(jù)庫的性能，答應(yīng)主要方面上講就是大數(shù)據(jù)量的讀寫時，而電商類的大促活動就是考驗各自的數(shù)據(jù)庫性能的時候啦。對于web服務(wù)器而言，數(shù)據(jù)量大時，我們可以簡單的通過橫向擴展來減...

liuchengxu 2019-06-25 18:50 評論0 收藏0