資訊專欄INFORMATION COLUMN
摘要：數據中心運維也喜靜不喜動，少動慎動，這能最大程度減少故障發生。不過，的確是應該最大限度地去主動降低數據中心操作頻率，盡量少動，這樣可極大降低故障發生概率。作為數據中心的運維人，要時刻牢記祖訓。
“沒有折騰，就沒有故障”這句話雖糙，但卻很有道理，尤其在運維上。據有關咨詢機構統計，數據中心的故障中有百分之七十是人為故障，也就是與人的活動強相關，可見人對于數據中心來說是多么可怕。人為故障其中也可以分為有意的和無意的。有意的是指明知道一些操作會造成數據中心故障，仍執意去做的，這些人往往希望通過造成數據中心運行癱瘓，而達到不可告人的目的，這種故障占到了人為故障的80％，剩余的就是無意的。數據中心本身是一個復雜龐大的系統，運維的人員不可能面面俱到都精通所有技術細節，當接觸到自己不熟悉或不了解的地方，操作易引發意想不到的結果。還有不少的設備，軟件質量不高，反復操作下發就容易引發軟件問題，從而造成業務中斷。這種情況在數據中心里還不少見，數據中心里設備成千上萬，數量龐大，動一動問題就來了，所以運行穩定的數據中心不要輕易去改動，就讓它自己處于最佳狀態去運行下去。
眾所周知，但凡遇到一些重大節日和活動，大型的數據中心都會進行封網，停止一切操作和活動行為，目的就是為了減少故障發生，將人為操作風險降低，將觸發BUG的風險降低。這種方式行之有效，除了可能出現一些硬件故障外，幾乎很少發生其它類問題。我們都知道烏龜的壽命很長，活上幾百年輕飄飄的，就是因為烏龜很少動，移動緩慢，這大大延長了它的生存壽命。數據中心運維也喜靜不喜動，少動慎動，這能最大程度減少故障發生。金融銀行業的數據中心對可靠性要求很高，為了避免出故障，銀行的數據中心內部制定了嚴格的操作制度，所有的操作都要遵守統一規范，任何命令的下發和變更都要經過行里提前審核，甚至在模擬環境中驗證過沒問題，才開始到現網中去實施操作，銀行業的數據中心操作最為規范，使得數據中心的可靠性也最高。
不過，為了快速響應業務需求和提高資源利用率，運維又不得不頻繁折騰，不動基本做不到。一個數據中心可能每周晚上都有安排變更，還有設備軟件升級、配置優化、設備替換等工作，數據中心總是有沒完沒了的變更操作，這樣不可避免地在操作過程中出現一些新問題，導致數據中心總是無法穩定下來，業務經常受到影響，這其實就違背了運維祖訓的宗旨。數據中心里需要的技術知識太多，涵蓋多個學科幾十個門類，沒有誰能全部掌握，完全掌握一門都很難，這時制定相應的操作，受限知識面，總會有考慮不周的地方，一旦有漏掉就可能在操作過程中產生問題。對于變更操作，任何人都沒有絕對的把握，凡事都可能有意外，就像是做手術，再小的手術也是有風險的，也要家屬簽字，萬一出了事故手術操作者能免責。
既然不能避免折騰，那就想辦法不讓折騰出問題。首先要分治。分治就是把風險高的和風險低的分開、重要性高的和不高的分開、簡單的和復雜的分開、頻繁變動的和不頻繁的分開。歸根到底都在做兩件事：封裝復雜度、隔離變化。運維架構層的分治，在業界已經非常普遍了，比如應用服務器和數據庫服務器分離、交易數據庫和用戶數據庫分離，生產環境和測試環境隔絕。數據中心是有很多小系統組成的，相互之間要松耦合，最好是隔離的，這樣一個小系統故障，影響是局部的，不會影響全局。其次是管人。要減少人為折騰出的故障，就要加強對人的約束和管理。不同技術等級的人能做的操作權限是不同的，一個新手要上線操作，必須要由老工程師來指導。要制定詳細的人員管理規章制度，對運維的人員形成約束力，對運維的人員進行考核、監控、管理，增強運維人員工作的責任心，有獎有罰。制定嚴格的各項規章制度，一般的數據中心都需要24小時常年不間斷向外提供服務，所以要給數據中心人員充分的休息時間，按時的上下班，避免長時間工作、疲勞工作，減少出錯概率。第三是管事。當數據中心需要變更和優化操作時，需要運維團隊的人員進行整體討論，對預知的風險進行分析，確保操作不會對運行業務造成影響。每個變更都是整個技術團隊的討論通過做出的決定，而不是個人的行為，這樣能將技術性人為故障降到最低。要制定好回退方案，一旦出現異常情況立即回退，事后將原因分析情況后再進行二次變更。畢竟運維的人員都不是專業搞設備的，對設備內部處理和實現并不見得很清楚，重大的變更操作可以邀請設備廠家的技術人員參與和支持，降低操作錯誤的風險。每次操作都要做好充分準備，必要的模擬演練、提前的業務搬移、緊急通道的準備等都需要，這樣才能降低故障發生的風險。
“沒有折騰，就沒有故障”是金口良言，聽上去很有道理，實際卻很難做得到。數據中心本就是一個數據高速流動的場所，業務需求時時都在變化，為了滿足業務部署和發展的需求，不讓對數據中心變更、折騰，根本就是做不到，“沒有折騰”只是一種理想的狀態罷了。不過，的確是應該最大限度地去主動降低數據中心操作頻率，盡量少動，這樣可極大降低故障發生概率。人是數據中心活動中的最重要因素，沒有人的參與哪里來的數據中心，而偏偏人也同時給數據中心帶來成長的煩惱，人在運維的過程中作用依然舉足輕重。作為數據中心的運維人，要時刻牢記祖訓。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/5099.html
摘要：陳旭相信的發布將開啟人工智能技術與傳統運維碰撞顛覆的新時代。我卻認為是一場顛覆傳統運維的盛筵。綜上所述，的確是一場對于傳統運維工具的顛覆革命，每個企業都應該從現在開始，關注并嘗試使用智能運維平臺。 顛覆傳統運維。是 OneAPM CEO 陳旭經常掛在嘴邊的一句話。為什么說 AIOps 將顛覆傳統運維?如何才能把人工智能和運維管理相結合并落地?2018年5月，OneAPM 推出了全新的 ...
摘要：作者介紹王藝，百度云智能運維架構研發負責人。年轉向運維方向，作為智能運維架構方向的技術負責人，致力于為百度智能運維平臺和產品提供高性能高可用可擴展的系統架構和基礎設施。持續的數據建設，是智能運維建設的關鍵。 作者介紹王藝，百度云智能運維架構研發負責人。2010年加入百度，先后負責百度鏈接庫、百度志愿計算、百度統一資源管理的研發，經歷過千億級網頁鏈接的洗禮，也調度過數十萬量級的服務器，熱衷于直...
摘要：無監控不運維運維行業有句話無監控不運維。沒了監控，什么基礎運維，業務運維都是瞎子。監控報警模塊此模塊主要完成監控腳本的設置報警規則設置，報警閥值設置報警聯系人設置等，并將報警結果進行集中展現和歷史記錄。常見的監控報警工具有等。 無監控、不運維 運維行業有句話：無監控、不運維。是的，一點也不夸張，監控俗稱第三只眼。沒了監控，什么基礎運維，業務運維都是瞎子。** 開篇 所以說監控是運維這個...
摘要：無監控不運維運維行業有句話無監控不運維。沒了監控，什么基礎運維，業務運維都是瞎子。監控報警模塊此模塊主要完成監控腳本的設置報警規則設置，報警閥值設置報警聯系人設置等，并將報警結果進行集中展現和歷史記錄。常見的監控報警工具有等。 無監控、不運維 運維行業有句話：無監控、不運維。是的，一點也不夸張，監控俗稱第三只眼。沒了監控，什么基礎運維，業務運維都是瞎子。** 開篇 所以說監控是運維這個...
摘要：導讀阿里巴巴轉型之后，運維平臺是如何建設的阿里巴巴高級技術專家陳喻結合運維自身的理解，業務場景的分析和業界方法論的一些思考，得出來一些最佳實踐分享給大家。實施效果嘉賓介紹陳喻亞松，阿里巴巴高級技術專家。 導讀：阿里巴巴DevOps轉型之后，運維平臺是如何建設的？阿里巴巴高級技術專家陳喻結合運維自身的理解，業務場景的分析和業界方法論的一些思考，得出來一些最佳實踐分享給大家。 前言 我是這...
閱讀 1049·2021-11-24 09:39
閱讀 3578·2021-11-22 13:54
閱讀 2542·2021-10-11 10:59
閱讀 773·2021-09-02 15:40
閱讀 1025·2019-08-30 15:55
閱讀 1042·2019-08-30 13:57
閱讀 2305·2019-08-30 13:17
閱讀 3025·2019-08-29 18:32
