一體機系統盤offline的處理過程

IT那活兒發布于2023-01-11 13:19 / 1376人閱讀

一體機系統盤offline的處理過程

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

概述：

一體機有數據盤和系統盤，數據盤要是missing可以由其它柜數據盤重平衡后修復，但是系統盤在硬件上只有一組冗余，壞了之后需要即時修復。

一

事情發生及分析

1. 發現問題

收到一體機數據庫ASM存在離線磁盤組的告警告警。

2. ASM檢查

數據庫檢查ASM磁盤情況，發現存在offline disk磁盤。

3. 臨時方案

嘗試手動online asm disk，執行后失敗報not visible cluster-wide。

說明存在損壞，有可能是物理壞盤了。

4. 分析日志

1）查看ASM日志，確認為底層磁盤有問題。

2）登錄一體機進行狀態檢查，發現所有磁盤組為正常，對應ASM的的磁盤組提示狀態未更新。

找到對應的節點進行日志檢查，發現存在ERROR日志，確認為00號盤損壞，需要及時更換 。（注：一個cell節點有12塊盤其中00和01為系統盤所以存在異常需要立馬進行更換，避免出現因系統盤異常導致的二次故障）

二

解決過程

經過和同事分析后，必須盡快對物理盤進行修復，先對壞盤drop，再修復物理盤。

1. 舊盤清理drop

在db節點上grid用戶登錄，這是要確認一下asm disk是不是被drop掉。drop掉就可以直接更換，如果沒有，就需要手動去drop。

[root@dw01db01 ~]# su - oracle
[oracle@dw01db01 ~]$ ssh oracle@dw01db02
[oracle@dw01db01 ~]$ env
[oracle@dw01db01 ~]$ export ORACLE_SID=+ASM1
[oracle@dw01db01 ~]$ export ORACLE_HOME=/u01/app/11.2.0.3/grid
[oracle@dw01db01 ~]$ sqlplus / as sysasm
SQL> set linesize 132
SQL> col path format a50
SQL> select group_number,name,state from v$asm_diskgroup;
GROUP_NUMBER NAME STATE
------------ ------------------------------ -----------
1 DATAC1 MOUNTED
2 DATAC2 MOUNTED
3 DATAC3 MOUNTED
4 DBFS_DG MOUNTED
5 RECOC1 MOUNTED
SQL>select group_number,path,header_status,mount_status,mode_status,name from V$ASM_DISK where path like %CD_00_ndw1celadm02;SQL> SQL>

GROUP_NUMBER PATH HEADER_STATU MOUNT_S MODE_ST NAME
------------ -------------------------------------------------- ------------ ------- ------- ------------------------------
0      o/192.168.XX.7;192.168.XX.8/RECOC1_CD_00_ndw1celad UNKNOWN CLOSED ONLINE
m02

0      o/192.168.XX.7;192.168.XX.8/DATAC1_CD_00_ndw1celad UNKNOWN CLOSED ONLINE
m02

本次磁盤損壞ASM相關的磁盤沒有drop，需手動drop,在手動drop之前還需要確認當前的ASM實例是否仍在reblance。

SQL> select * from gv$asm_operation where state=RUN;
no rows selected------沒有正在運行的reblance

沒有運行的reblance，進行磁盤drop：

SQL> alter diskgroup RECOC1 drop disk RECOC1_CD_00_ndw1celadm02 
rebalance power 4;----并發可根據實際情況進行調整

2. 機房現場檢查

完成drop后即可進行磁盤更換，在機房找到指定一體機，上方為db節點，下方為cell節點（drop掉后到對應cell節點檢查狀態會發現該塊異常盤未提出節點，cell節點的順序是由下至上），查看故障指示燈，橙燈亮表示為有異常！

3. 機房硬盤更換

找到指定位置后進行拔插，注意拔掉磁盤后等待5-10分鐘再將磁盤插入。

在此過程中遇到問題：

本次X5-X6為一套集群，并且X5-X6的硬件可以共用的，但是X5的硬盤為4T，X6為8T。剛好攜帶的硬件為8T進行插盤后無法兼容。導致插入新盤狀態持續未恢復！
此過程中重新插入拔出不會有任何影響，重新跟換適配盤進行插入。所以更換前一定確認清楚設備型號已經其他節點已經運行的設備容量。
更換為指定符合要求的硬件后，插入硬盤指示燈閃爍后仍為橙燈，檢查發現為新盤一直未加入到節點組中。通過cellcli -e list alerthistory命令可查看新盤插入后的分配情況，提示未分配到指定的組中，檢查發現為節點的/目錄滿了導致，清理后再次拔插磁盤恢復正常。
由于00和01為系統盤所以當/目錄空間不足時無法進行重新平衡）插入后觀察指示燈，綠燈快速閃爍后恢復正常閃爍。登錄對應cell節點檢查日志。

[root@ndw1celadm02 ~]# cellcli -e list alerthistory---查看日志
[root@ndw1celadm02 ~]#cellcli -e list griddisk---檢查狀態

都恢復正常后進行rebalance操作：

alter diskgroup DATAC1 rebalance power 32;

至此一體機換盤全部完成！

三

事情總結

每天做好一體機硬件巡檢。
每天做好數據庫存儲ASM巡檢。
壞盤后即時做好應急方案，根據實際情況制定處理方案并解決。
事情出現后，若無法自己判斷嚴重性，應該立即上報，尋求專家協同分析后，再制定相應措施，避免二次故障及人為問題。
做好備件核查及備件入庫，避免出現硬件問題，無法即時得到更換。

本文作者：曹安勻（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器分布式存儲系統的部署過程數據處理過程 webrtc聲音處理過程 webrtc音頻處理過程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129236.html

【云極高性能計算 EPC】操作指南：安裝步驟及大文件下載指南

摘要：主機內置免費的網盤加速功能，百度網盤超級會員。百度網盤對非超級會員限制下載速度操作指南，登錄主機。，選擇需要下載的大文件資源，下載速度可達。下載速度文件大小小時小時下載成本下載文件，若使用主機的帶寬，單次下載所需的流量費用為元。VASP軟件官網：[www.vasp.at]安裝步驟安裝依賴包yum -y install cmake pkgconfig yum groupinstall Deve...

Tecode 2022-06-28 19:00 評論0 收藏0
私有云怎么搭建之智能調度

摘要：智能調度系統實時監測集群所有計算節點計算存儲網絡等負載信息，作為虛擬機調度和管理的數據依據。當有新的虛擬資源需要部署時，調度系統會優先選擇低負荷節點進行部署，確保整個集群節點的負載。智能調度是 UCloudStack 平臺虛擬機資源調度管理的核心，由調度模塊負責調度任務的控制和管理，用于決策虛擬機運行在哪一臺物理服務器上，同時管理虛擬機狀態及遷移計劃，保證虛擬機可用性和可靠性。智能調度系統實...

ernest.wang 2022-06-28 15:47 評論0 收藏0
DBASK問答集萃第四期

摘要：問題九庫控制文件擴展報錯庫的擴展報錯，用的是裸設備，和還是原來大小，主庫的沒有報錯，并且大小沒有變，求解釋。專家解答從報錯可以看出，控制文件從個塊擴展到個塊時報錯，而裸設備最大只支持個塊，無法擴展，可以嘗試將參數改小，避免控制文件報錯。鏈接描述引言近期我們在DBASK小程序新關聯了運維之美、高端存儲知識、一森咖記、運維咖啡吧等數據領域的公眾號，歡迎大家閱讀分享。問答集萃接下來，...

SKYZACK 2019-07-25 12:39 評論0 收藏0
私有云搭建-私有云搭建之存儲虛擬化

摘要：平臺采用分布式存儲系統作為虛擬化存儲，用于對接虛擬化計算及通用數據存儲服務，消除集中式網關，使客戶端直接與存儲系統進行交互，并以多副本糾刪碼多級故障域數據重均衡故障數據重建等數據保護機制，確保數據安全性和可用性。云計算平臺通過硬件輔助的虛擬化計算技術最大程度上提高資源利用率和業務運維管理的效率，整體降低 IT 基礎設施的總擁有成本，并有效提高業務服務的可用性、可靠性及穩定性。在解決計算資源的...

ernest.wang 2022-06-28 15:50 評論0 收藏0
斷網支付開閘，知位停車發布多項物聯網停車新技術

摘要：月日下午，阿里云聯合智芯原動主辦以無人值守，一望而知為主題的知位停車新品發布會暨合作伙伴大會，在深圳成功舉行。未來，憑借阿里云強大的生態賦能以及智芯原動領先的行業技術不斷的深度融合，知位停車創新科技將引領智慧物聯網停車新時代。 10月28日下午，阿里云IoT聯合智芯原動主辦以無人值守，一望而...

xumenger 2021-11-17 09:33 評論0 收藏0
浪潮存儲：聯接新數據時代

摘要：見證高光時刻在月日的大會上，浪潮存儲產品線總經理李輝隆重發布了新一代全閃存儲，以及自研的固態盤。殷東升表示，年贊華將加大力度，聯手浪潮存儲提供一攬子解決方案，滿足智慧金融的新需求。毫無疑問，計算產業正處于一個前所未有的變革期。和此前不同，新的計算形態不斷涌現，從本地到云上，從數據中心到邊緣節點，計算變得無處不在。與之對應的，則是數據鋪天蓋地而來，藉由實時在線的新型應用，人們希望傾向于收集全生...

Harriet666 2019-04-29 17:52 評論0 收藏0