12月21日上午09點00分左右接短信告警，XXX庫節(jié)點1實例斷連，第一時間登陸環(huán)境檢查，發(fā)現(xiàn)XXX庫節(jié)點1主機(jī)于09點01分左右發(fā)生重啟完成。通過分析節(jié)點1集群日志發(fā)現(xiàn)08點35分到09點01分無報錯信息，09點02分04秒左右節(jié)點1開始啟動集群，節(jié)點1數(shù)據(jù)庫后臺日志顯示8點51分切換日志后無報錯信息，后續(xù)集群啟動完成后開始啟動數(shù)據(jù)庫實例。

OSW日志顯示：示節(jié)點1在8點55分出現(xiàn)斷點，cpu和內(nèi)存資源正常，b隊列較高，節(jié)點1在故障時間8點55分左右IO耗盡，導(dǎo)致主機(jī)無法響應(yīng)，網(wǎng)絡(luò)通信失敗，節(jié)點1網(wǎng)絡(luò)心跳超時，發(fā)起主機(jī)重啟。9點01分主機(jī)重啟完成。

8點55分左右IO耗盡的原因：節(jié)點1在8點45分左右，大量未使用綁定變量、全表掃描的同一類型高耗sql同時執(zhí)行，導(dǎo)致數(shù)據(jù)庫產(chǎn)生大量的direct path read異常等待事件，direct path read（sql發(fā)起從磁盤中讀操作，耗IO資源），最后IO資源耗盡，致主機(jī)無法響應(yīng)，網(wǎng)絡(luò)通信失敗，節(jié)點1網(wǎng)絡(luò)心跳超時，發(fā)起主機(jī)重啟。9點01分主機(jī)重啟完成。

具體分析如下：

數(shù)據(jù)庫節(jié)點1主機(jī)9點1分重啟完成：

oracle集群日志顯示在8點35分到9點02分發(fā)起集群啟動之間無報錯信息：

oracle后臺日志顯示數(shù)據(jù)庫實例在8點51分到9點21分啟動實例無報錯信息：

Osw日志顯示節(jié)點1在8點55分出現(xiàn)斷點，cpu和內(nèi)存資源正常，b隊列較高

節(jié)點2Ping節(jié)點1私網(wǎng)也是在8點55分之后出現(xiàn)斷點：

節(jié)點2ping節(jié)點1私網(wǎng)在8點55分左右出現(xiàn)丟包，說明節(jié)點1主機(jī)已宕：

節(jié)點1在8點時間段的IO情況來看，正常：

在故障時間點（8點55分左右）節(jié)點1主機(jī)IO出現(xiàn)大量磁盤讀動作

8點50分左右節(jié)點1在宕掉之前出現(xiàn)明顯的IO等待：

通過非故障時間點與故障時間點進(jìn)行比較發(fā)現(xiàn)：節(jié)點1在故障時間8點55分左右IO耗盡，導(dǎo)致主機(jī)無法響應(yīng)，網(wǎng)絡(luò)通信失敗，節(jié)點1網(wǎng)絡(luò)心跳超時，發(fā)起主機(jī)重啟。9點01分主機(jī)重啟完成。

進(jìn)一步檢查8點55分左右IO耗盡的原因，發(fā)現(xiàn)節(jié)點1在8點45分左右數(shù)據(jù)庫產(chǎn)生大量的direct path read異常等待事件，direct path read（sql發(fā)起從磁盤中讀操作，耗IO資源）

AWR報告顯示：direct path read大量物理讀占大量IO資源

產(chǎn)生direct path read大量物理讀源頭的sql如下：同一類型的高耗sql語句，SQL沒有經(jīng)過審核進(jìn)行上線

sql語句如下所示：未使用綁定變量產(chǎn)生多個不同sql_id，多個全表掃會話跑同一類型高耗sql（大量類似SQL同時執(zhí)行），導(dǎo)致IO資源耗盡，并且這些sql都未經(jīng)數(shù)據(jù)庫側(cè)進(jìn)行評審上線。

高耗sql如下：全表掃描

檢查重啟后數(shù)據(jù)庫實例狀態(tài)、CRS狀態(tài)、監(jiān)聽狀態(tài)等。并通知應(yīng)用檢查應(yīng)用

后續(xù)改進(jìn)措施：

1、   應(yīng)用側(cè)核查高耗sql模塊，并進(jìn)行優(yōu)化，數(shù)據(jù)庫側(cè)可以協(xié)助提供技術(shù)支持。

2、   開發(fā)商加強(qiáng)上線評審，評審?fù)ㄟ^后方可上線，避免私自未經(jīng)評審上線。

3、應(yīng)用修改連接機(jī)制，進(jìn)行數(shù)據(jù)庫高可用配置（連接數(shù)據(jù)庫VIP，而不是物理IP）。