故障處理之記一起倒庫(kù)多次，找兒子的過(guò)程

IT那活兒發(fā)布于2023-01-11 13:20 / 1033人閱讀

“XX庫(kù)又倒了”，最近這已成為大家的一句口頭禪了。心里雖然碎碎念念，但身體還是很誠(chéng)+順滑的登上了環(huán)境。所有日志擼了一圈兒，確定還是之前的老毛病。

最近半個(gè)月，前前后后宕了6次。看到這兒，擼友們可能會(huì)有疑惑，萎了這么多次，難道還沒(méi)找到原因嗎？你們媳婦兒脾氣可真好，不會(huì)跳？不會(huì)給送你個(gè)草色的帽子啥滴。。。

大胸弟，先別急，哥先簡(jiǎn)單介紹下情況，這個(gè)庫(kù)是邊緣的庫(kù)，11G單實(shí)例。宕個(gè)一兩次影響也不大，但是這樣5～6次的搞，再?gòu)?qiáng)的漢子臉上也繃不住啊。

其實(shí)這個(gè)故障，在第一次萎的時(shí)候，我們就核查到是由于磁盤(pán)鏈路異常或其他網(wǎng)絡(luò)相關(guān)問(wèn)題導(dǎo)致（SAN網(wǎng)絡(luò)相關(guān)原因），相關(guān)故障處理及結(jié)論也郵件各方，并請(qǐng)求網(wǎng)絡(luò)側(cè)進(jìn)行核查。

后面通過(guò)溝通得知在故障之前進(jìn)行過(guò)網(wǎng)絡(luò)改造，但網(wǎng)絡(luò)側(cè)也是提起褲子就不認(rèn)兒子的主兒，一句話正常（我沒(méi)做，我沒(méi)干，我沒(méi)漏）。后面正如大家看到的，半個(gè)月泄了6次（內(nèi)褲都洗不贏了）。就這種內(nèi)褲都沒(méi)有了的情況下，網(wǎng)絡(luò)側(cè)還反饋正常。。。。。。

看來(lái)要想網(wǎng)絡(luò)側(cè)承認(rèn)兒子是他的，得做DNA親子鑒定了。

以最近捉奸現(xiàn)場(chǎng)為例，分析如下：

1、主機(jī)日志顯示04:42:30時(shí)刻點(diǎn)磁盤(pán)offline

2、asm日志顯示04:42:30時(shí)刻點(diǎn)，DG盤(pán)DWDATA2、DWDATA的磁盤(pán)offline，I/O讀寫(xiě)掛起，磁盤(pán)組被強(qiáng)制dismount

3、數(shù)據(jù)庫(kù)alert日志顯示04:42:30磁盤(pán)無(wú)法讀寫(xiě)。

4、報(bào)錯(cuò)涉及的部分?jǐn)?shù)據(jù)文件如下:

5、故障時(shí)間點(diǎn)，通過(guò)oswatch可以看到當(dāng)時(shí)主機(jī)負(fù)載并不高

半個(gè)月以來(lái)共出現(xiàn)6次故障（每次都是同一個(gè)姿勢(shì)），經(jīng)核查，故障時(shí)間點(diǎn)，主機(jī)負(fù)載正常，cpu、內(nèi)存資源充足，操作系統(tǒng)日志均顯示有磁盤(pán)offline，數(shù)據(jù)庫(kù)alert日志顯示磁盤(pán)無(wú)法進(jìn)行讀寫(xiě)，asm日志顯示無(wú)法讀寫(xiě)磁盤(pán)，強(qiáng)制dismount DG盤(pán)。

結(jié)合數(shù)據(jù)庫(kù)日志，asm日志，操作系統(tǒng)日志可以看出是由于磁盤(pán)offline導(dǎo)致數(shù)據(jù)庫(kù)無(wú)法讀寫(xiě)磁盤(pán)進(jìn)而導(dǎo)致數(shù)據(jù)庫(kù)宕掉。

所以，還是之前的結(jié)論：相關(guān)SAN網(wǎng)絡(luò)導(dǎo)致磁盤(pán) offline，產(chǎn)生一系列數(shù)據(jù)庫(kù)層面的故障。

其實(shí)捉奸不是目的，只是為了更好的解決問(wèn)題，有時(shí)候紅紅脖子，拍拍屁股也挺好，這樣更容易讓各方認(rèn)兒子。當(dāng)然如果有其他的高效認(rèn)兒子的方式更好，總是這樣拿著高倍攝像機(jī)，看的人也焦躁。

當(dāng)然，安慰自己的方式就是：做的就是幫人提褲子，認(rèn)兒子的活兒，也是本職工作吧。