摘要:支付寶瘋起來(lái)連自己都打的項(xiàng)目就是紅藍(lán)軍技術(shù)攻防演練,他們不僅每周進(jìn)行全棧級(jí)別的演練,每年還會(huì)舉行規(guī)模極大的期中考試和期末考試。在支付寶,藍(lán)軍從屬于螞蟻金服技術(shù)風(fēng)險(xiǎn)部,而紅軍則包括及各業(yè)務(wù)部門(mén)的技術(shù)團(tuán)隊(duì)。
摘要:?紅軍 VS 藍(lán)軍,誰(shuí)是更強(qiáng)者?
?小螞蟻說(shuō):
自古紅藍(lán)出CP,在螞蟻金服就有這樣兩支“相愛(ài)相殺”的隊(duì)伍——紅軍和藍(lán)軍。藍(lán)軍是進(jìn)攻方,主要職責(zé)是挖掘系統(tǒng)的弱點(diǎn)并發(fā)起“真實(shí)”的攻擊,俗稱(chēng)“找茬”;紅軍則是防守方,其防控體系建設(shè)中的實(shí)時(shí)核對(duì)平臺(tái)能夠做到穩(wěn)定的分鐘級(jí)核對(duì)異常發(fā)現(xiàn)能力,并提供業(yè)務(wù)快速接入的能力。
支付寶“瘋起來(lái)連自己都打”的項(xiàng)目就是紅藍(lán)軍技術(shù)攻防演練,他們不僅每周進(jìn)行全棧級(jí)別的演練,每年還會(huì)舉行規(guī)模極大的“期中考試”和“期末考試”。接下來(lái)就跟著小螞蟻一起去看看這對(duì)紅藍(lán)cp的日常“互懟”生活吧!
如果一個(gè)技術(shù)團(tuán)隊(duì)不干別的,專(zhuān)門(mén)“搞破壞”,這是一種怎樣的存在?這真的不是“天方夜譚”,在支付寶確實(shí)有這么一支隊(duì)伍——技術(shù)藍(lán)軍。藍(lán)軍的任務(wù)就是不斷地攻擊和進(jìn)攻,而防守方則是技術(shù)紅軍。在支付寶,藍(lán)軍從屬于螞蟻金服技術(shù)風(fēng)險(xiǎn)部(SRE),而紅軍則包括SRE及各業(yè)務(wù)部門(mén)的技術(shù)團(tuán)隊(duì)。
說(shuō)到SRE,就需要科普一下了。SRE全拼為Site Reliability Engineer,是軟件工程師和系統(tǒng)管理員的結(jié)合,是一種要求極高的技術(shù)工種。據(jù)說(shuō),目前全球只有少數(shù)幾家頂級(jí)互聯(lián)網(wǎng)公司擁有真正意義上的SRE團(tuán)隊(duì),螞蟻金服是其中之一。
由藍(lán)軍主導(dǎo)的技術(shù)攻防演練就是那個(gè)傳說(shuō)中的“瘋起來(lái)連自己都打”的項(xiàng)目,今天,就來(lái)起底一下這個(gè)神秘的項(xiàng)目。
紅藍(lán)軍技術(shù)攻防演練與螞蟻金服技術(shù)風(fēng)險(xiǎn)部的發(fā)展息息相關(guān),而螞蟻技術(shù)風(fēng)險(xiǎn)的演進(jìn)軌跡和游戲中的不斷打怪升級(jí)非常相像。
早期是質(zhì)量+運(yùn)維+架構(gòu)師三角協(xié)同,各司其職并自發(fā)性的開(kāi)展一些技術(shù)風(fēng)險(xiǎn)相關(guān)的工作。2013年,螞蟻金服技術(shù)團(tuán)隊(duì)提出了質(zhì)量2.0戰(zhàn)略,以統(tǒng)一的規(guī)章、統(tǒng)一的流程和統(tǒng)一的陣型,開(kāi)始體系化地沉淀故障檢測(cè)等方面的平臺(tái)化能力。
大概一年后,也就是2014年,專(zhuān)門(mén)成立了技術(shù)質(zhì)量部,從全域視角解決技術(shù)風(fēng)險(xiǎn)的問(wèn)題。
2015年,技術(shù)質(zhì)量部正式升級(jí)成為技術(shù)風(fēng)險(xiǎn)部,專(zhuān)注研發(fā)及架構(gòu)的技術(shù)風(fēng)險(xiǎn)問(wèn)題,并完成相應(yīng)解決方案和落地的平臺(tái)。
2016年,技術(shù)風(fēng)險(xiǎn)部再次升級(jí)為SRE團(tuán)隊(duì)。
SRE團(tuán)隊(duì)組建后,就開(kāi)始全面開(kāi)展故障自動(dòng)定位、自適應(yīng)容災(zāi)、防抖、精細(xì)化高可用等工作。其中防抖這塊,要保證任何的網(wǎng)絡(luò)或基礎(chǔ)設(shè)施抖動(dòng),用戶(hù)都無(wú)感知;而精細(xì)化高可用,又叫單筆高可用,其顆粒度可以精準(zhǔn)到用戶(hù)的每一筆交易,遠(yuǎn)遠(yuǎn)優(yōu)于行業(yè)內(nèi)的機(jī)房級(jí)高可用。
同時(shí),那個(gè)熱衷“找茬”的組織——技術(shù)藍(lán)軍也正式成立。這個(gè)專(zhuān)門(mén)的、擁有獨(dú)立職能的團(tuán)隊(duì)不干別的,主要職責(zé)是挖掘系統(tǒng)的弱點(diǎn)并發(fā)起“真實(shí)”的攻擊,紅藍(lán)軍技術(shù)攻防演練也自此誕生。
牛X的是,技術(shù)藍(lán)軍并不對(duì)各業(yè)務(wù)方負(fù)責(zé),只對(duì)應(yīng)用架構(gòu)及防御系統(tǒng)的穩(wěn)定性和可靠性負(fù)責(zé)。在藍(lán)軍眼中,故障的發(fā)生是必然的,只是時(shí)間早晚而已。藍(lán)軍只有想盡辦法去觸發(fā)這些故障,這樣,在故障真實(shí)發(fā)生的時(shí)候,才有足夠的應(yīng)付能力。
所以,藍(lán)軍發(fā)掘各類(lèi)脆弱點(diǎn),并通過(guò)紅藍(lán)軍技術(shù)攻防演練,不斷驗(yàn)證防御系統(tǒng)的可靠性。而故障防御系統(tǒng)及不斷優(yōu)化的高可用架構(gòu)則是由SRE團(tuán)隊(duì)的紅軍與各業(yè)務(wù)深度合作,沉淀、構(gòu)建出來(lái)的。
現(xiàn)在,全棧級(jí)別的技術(shù)攻防演練每周都在進(jìn)行,藍(lán)軍似乎對(duì)“瘋起來(lái)連自己都打”很上癮。
持續(xù)不斷的攻防演練,讓藍(lán)軍和紅軍的技術(shù)能力得到了極大地提升,同時(shí)雙方“武器庫(kù)”也在不斷升級(jí)。
2017年秋天,藍(lán)軍團(tuán)隊(duì)在成立后的兩個(gè)月內(nèi),自主研發(fā)了字節(jié)碼級(jí)別的故障注入系統(tǒng)Awatch,這個(gè)武器的厲害之處在于可以實(shí)時(shí)地對(duì)運(yùn)行中的業(yè)務(wù)系統(tǒng)進(jìn)行任意鏈路的編織侵入。這對(duì)于對(duì)于技術(shù)藍(lán)軍以及整個(gè)紅藍(lán)攻防體系,具有里程碑式的意義。
藍(lán)軍研發(fā)出了厲害的武器,紅軍也沒(méi)閑著。
與此同時(shí),技術(shù)紅軍的防控體系建設(shè)也在如火如荼地進(jìn)行著,實(shí)時(shí)核對(duì)平臺(tái)橫空而出。該平臺(tái)能夠做到穩(wěn)定的分鐘級(jí)核對(duì)異常發(fā)現(xiàn)能力,在某些場(chǎng)景下可以做到秒級(jí)發(fā)現(xiàn),并且平臺(tái)提供了業(yè)務(wù)快速接入的能力;紅軍還在實(shí)時(shí)核對(duì)平臺(tái)的基礎(chǔ)之上,升級(jí)演化出一套智能核對(duì)平臺(tái)(內(nèi)部代號(hào)四道防線),引入AI技術(shù)自動(dòng)識(shí)別業(yè)務(wù)問(wèn)題,目前這套防線已經(jīng)覆蓋螞蟻80%以上的業(yè)務(wù)。另外,各個(gè)業(yè)務(wù)域針對(duì)自身業(yè)務(wù)的一些特殊性,也研發(fā)了相應(yīng)的核對(duì)系統(tǒng)。
盡管藍(lán)軍制造故障的能力有很大的提高,但大部分的故障場(chǎng)景主要是各個(gè)業(yè)務(wù)方提供的,只有極少數(shù)是藍(lán)軍人工梳理業(yè)務(wù)或者分析代碼產(chǎn)出。此時(shí),藍(lán)軍團(tuán)隊(duì)認(rèn)為,日常演練常態(tài)化,在故障場(chǎng)景發(fā)現(xiàn)方面不能再依賴(lài)業(yè)務(wù),必須建立自主發(fā)現(xiàn)故障場(chǎng)景的能力。
2018年3月,藍(lán)軍推出故障場(chǎng)景挖掘平臺(tái),基于Awatch探針探測(cè)應(yīng)用內(nèi)數(shù)據(jù)流,以此進(jìn)行“弱點(diǎn)挖掘”。這套弱點(diǎn)挖掘體系,能夠自動(dòng)發(fā)現(xiàn)故障場(chǎng)景,最高能夠在5分鐘內(nèi)產(chǎn)生500+的故障場(chǎng)景,紅藍(lán)攻防的日常演練的最為重要一塊拼圖終于完成!
然而新的問(wèn)題來(lái)了。
藍(lán)軍的故障挖掘平臺(tái)能力毋庸置疑,但有攻擊就需要應(yīng)急,高頻攻防實(shí)施亦會(huì)給紅軍帶來(lái)大量的人力消耗。持續(xù)應(yīng)急壓力驅(qū)動(dòng),紅軍開(kāi)展““故障自愈”架構(gòu)體系升級(jí)及能力建設(shè),以效能為目標(biāo),結(jié)合仿真,紅藍(lán)軍一起研發(fā)了“無(wú)損”攻防體系,并且推出與之匹配的度量平臺(tái),自動(dòng)度量攻防結(jié)果,數(shù)據(jù)可視化。
目前,常態(tài)紅藍(lán)技術(shù)對(duì)抗保持每周200+個(gè)故障場(chǎng)景的節(jié)奏在持續(xù)運(yùn)作。
在線、實(shí)時(shí)、隨地、無(wú)差別……這是支付寶技術(shù)藍(lán)軍實(shí)施攻擊行為的幾大標(biāo)簽。
2017年年底的紅藍(lán)技術(shù)攻防周,技術(shù)藍(lán)軍發(fā)起攻擊,但由于故障組件一處隱藏bug導(dǎo)致故障命中數(shù)量遠(yuǎn)遠(yuǎn)大于預(yù)期,給紅軍增添了不少麻煩,業(yè)務(wù)線的技術(shù)同學(xué)投入大量的人力和資源進(jìn)行善后。此情此景之下,紅軍方面不僅沒(méi)有抱怨,反而給予藍(lán)軍鼓勵(lì),“這次預(yù)期外的故障攻擊是最真實(shí)的應(yīng)急鍛煉!”
2018年年中的一次紅藍(lán)技術(shù)攻防中,藍(lán)軍在周末發(fā)起突襲,而剛好紅軍的相關(guān)同學(xué)正在舉辦婚禮。于是,一群程序員趕緊拿出吃飯的家伙,噼里啪啦敲著鍵盤(pán)進(jìn)行應(yīng)急,那畫(huà)面簡(jiǎn)直不要太美了。
還是在2018年的一次對(duì)抗中,紅軍祭出了“尖端武器”——自適應(yīng)防災(zāi)、防抖等,這讓藍(lán)軍吃盡苦頭,幾乎每次攻擊都無(wú)功而返。挫敗感飆升的藍(lán)軍最終放出大招,讓紅軍接受了非常猛烈的炮火洗禮。
有意思的是,似乎藍(lán)軍攻擊得越歡,紅軍的同學(xué)越高興……雖然看上去很受虐,但卻沒(méi)毛病,因?yàn)樗{(lán)軍攻擊得越狠越深入,被挖掘和發(fā)現(xiàn)出來(lái)的技術(shù)風(fēng)險(xiǎn)就會(huì)越確定,防御系統(tǒng)的能力也會(huì)因此而得到提升。
令人震驚的是,為了防止藍(lán)軍的“襲擊”,紅軍除了在防御系統(tǒng)方面下十足的功夫,每年期中和期末的紅藍(lán)技術(shù)攻防演練,紅軍都要舉辦一個(gè)儀式——那就是拜關(guān)公,除了叩拜,還得給驅(qū)邪鎮(zhèn)惡的關(guān)公獻(xiàn)禮,禮品包括旺仔牛奶、格子襯衫、鍵盤(pán)、香煙等。
螞蟻金服技術(shù)風(fēng)險(xiǎn)部門(mén)經(jīng)過(guò)不斷地升級(jí),并將紅藍(lán)技術(shù)攻防演練形成常態(tài)化。除了每周進(jìn)行全棧級(jí)別的演練,每年還會(huì)舉行規(guī)模極大的“期中考試”和“期末考試”。這意味著,支付寶的風(fēng)險(xiǎn)防控體系持續(xù)地經(jīng)受打磨與錘煉。
目前,支付寶的“紅藍(lán)對(duì)抗”演練已經(jīng)沉淀出一整套成熟的風(fēng)險(xiǎn)防控體系,通過(guò)仿真環(huán)境模擬天災(zāi)人禍,去考驗(yàn)技術(shù)架構(gòu)的健壯性及技術(shù)人員的應(yīng)急能力,從而全面地提升系統(tǒng)穩(wěn)定,實(shí)現(xiàn)系統(tǒng)的高可靠性和高可用性。
所謂的天災(zāi)和人禍。天災(zāi)指的是,當(dāng)出現(xiàn)臺(tái)風(fēng)、斷網(wǎng)、火情等極端異常情況的時(shí)候,系統(tǒng)如何快速應(yīng)對(duì)。這有點(diǎn)類(lèi)似于今年杭州云棲ATEC大會(huì)上,螞蟻金服副CTO胡喜現(xiàn)場(chǎng)演練的異常斷網(wǎng)情況下,“三地五中心”自動(dòng)切換,保證支付服務(wù)不中斷。人禍則是指因技術(shù)人員操作失誤引發(fā)故障后,系統(tǒng)如何快速應(yīng)。
在螞蟻金融科技官網(wǎng)(https://tech.antfin.com/)上可以看到,這些技術(shù)風(fēng)險(xiǎn)相關(guān)的能力已經(jīng)對(duì)外開(kāi)放,目前共有3款產(chǎn)品,包括容災(zāi)應(yīng)急平臺(tái)、全鏈路壓測(cè)和資金安全監(jiān)控;另外,還有3款產(chǎn)品,變更管控、巡檢平臺(tái)和黑屏運(yùn)維管控即將上線對(duì)外開(kāi)放。
閱讀原文
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/11424.html
摘要:之前沒(méi)有接入該功能時(shí),商城用戶(hù)如果想要退款,我們需要先查到對(duì)應(yīng)用戶(hù)的支付流水號(hào),然后寫(xiě)退款申請(qǐng)給財(cái)務(wù),財(cái)務(wù)到支付寶進(jìn)行查詢(xún)。調(diào)用支付寶支持多筆退款。 payment 項(xiàng)目2.0版本 這個(gè)接口主要用于退款操作。之前沒(méi)有接入該功能時(shí),商城用戶(hù)如果想要退款,我們需要先查到對(duì)應(yīng)用戶(hù)的支付流水號(hào),然后寫(xiě)退款申請(qǐng)給財(cái)務(wù),財(cái)務(wù)到支付寶進(jìn)行查詢(xún)。完了之后原路退回。然后告訴程序,程序再去修改訂單狀態(tài)。...
摘要:調(diào)用支付寶配置信息轉(zhuǎn)款接口,必須配置以下兩項(xiàng)生成轉(zhuǎn)款單號(hào)便于測(cè)試轉(zhuǎn)款數(shù)據(jù)愚不可及測(cè)試批量轉(zhuǎn)款跳轉(zhuǎn)支付寶這個(gè)接口也是需要管理員輸入支付密碼,才能夠完成,完成后也會(huì)回調(diào)。是收款賬號(hào)姓名收款方的支付寶賬戶(hù)名。支付寶原接口地址 payment 項(xiàng)目2.0版本 這個(gè)接口蠻有用的,不過(guò)現(xiàn)階段支付寶已經(jīng)停止審核啦!微信的轉(zhuǎn)賬功能還可以繼續(xù)使用。企業(yè)可以轉(zhuǎn)賬到其他支付寶賬戶(hù)。對(duì)于企業(yè)活動(dòng)非常有幫助,...
摘要:實(shí)際上這一篇和上一篇均可以看作是關(guān)于加解密的懶漢入門(mén)篇安全加強(qiáng)篇一的后續(xù),只不過(guò)側(cè)重點(diǎn)在于安全上。回到上篇結(jié)果提到的問(wèn)題,就是對(duì)稱(chēng)加密的安全性要人命,非對(duì)稱(chēng)加密的性能非常要人命。元首作為高智商罪犯,這種低級(jí)錯(cuò)誤是不可能犯的。 為什么標(biāo)題總是要帶上API安全關(guān)鍵字呢?因?yàn)槲蚁胛覙?lè)意。 實(shí)際上這一篇和上一篇均可以看作是《關(guān)于PHP加解密的懶漢入門(mén)篇(API安全加強(qiáng)篇一)》》)的后續(xù),只不過(guò)...
摘要:實(shí)際上這一篇和上一篇均可以看作是關(guān)于加解密的懶漢入門(mén)篇安全加強(qiáng)篇一的后續(xù),只不過(guò)側(cè)重點(diǎn)在于安全上。回到上篇結(jié)果提到的問(wèn)題,就是對(duì)稱(chēng)加密的安全性要人命,非對(duì)稱(chēng)加密的性能非常要人命。元首作為高智商罪犯,這種低級(jí)錯(cuò)誤是不可能犯的。 為什么標(biāo)題總是要帶上API安全關(guān)鍵字呢?因?yàn)槲蚁胛覙?lè)意。 實(shí)際上這一篇和上一篇均可以看作是《關(guān)于PHP加解密的懶漢入門(mén)篇(API安全加強(qiáng)篇一)》》)的后續(xù),只不過(guò)...
摘要:,如果有需要安裝的演示請(qǐng)登陸二當(dāng)家的查看學(xué)生或還沒(méi)有工作的童鞋可以無(wú)條件享用本站所有素材資源目前包含了支付寶版支付寶版財(cái)付通等,這幾個(gè)常用的支付平臺(tái),支付方式均為即時(shí)到賬,不包含擔(dān)保支付。 演示查看:http://www.erdangjiade.com/ph...php給客戶(hù)開(kāi)發(fā)網(wǎng)站的時(shí)候需要用到各大平臺(tái)付款功能,下面就免費(fèi)分享給大家,此類(lèi)是個(gè)成熟類(lèi),網(wǎng)上down下來(lái)的,經(jīng)過(guò)修改測(cè)試了...
閱讀 1000·2021-11-22 13:52
閱讀 1440·2021-11-19 09:40
閱讀 3119·2021-11-16 11:44
閱讀 1262·2021-11-15 11:39
閱讀 3892·2021-10-08 10:04
閱讀 5331·2021-09-22 14:57
閱讀 3095·2021-09-10 10:50
閱讀 3176·2021-08-17 10:13