摘要:連接性,傳輸的數據,安全,延遲與性能,客戶端與服務器間的狀態同步成為管理系統時需要考慮的問題。每次進化都需要我們打造與管理所需的技術需要的技術,系統,技能變化。
By James TurnbullInes Sombra March 20, 2018
https://www.oreilly.com/ideas...
在過去的幾周,我們一直在反饋從我們第一次站在職場時就在變化的工業技術。我們在尋找在兩個不同的但是重疊領域的變化:技術的變化與方法學的變化。我們大部分人第一次接觸的系統是第一代的CS應用。它與它的上一代系統有很大不同:其通過控制臺連接到一個運行在大型機或中型機的中心化應用。工程師像增強服務器一樣學習它的客戶端邏輯。連接性,傳輸的數據,安全,延遲與性能,客戶端與服務器間的狀態同步成為管理系統時需要考慮的問題。
復雜性的提高需要其對應的管理這些系統的方法與技能的提高。新類型的系統意味著新技能,理解新工具,框架,與編程語言。我們可以發現現在很多以前集中在一個角色的技能開始分散:前端工程師,后端工程師,數據科學家,設計師,UX/UI專家,還有其他專家。我們可以發現這個階段建立了很多孤島功能并且在轉換這些孤島間的復雜性。DevOps與SRE社區在試圖消滅以上的孤島。
從第一代CS系統,我們可以看到很大的變化。大部分是由于技術對于做生意至關重要-對所有行業的任何生意都是這樣。這與客戶要求快速在不同地理區域的設備上部署結合。舉個例子,從街角錄像帶店租賃錄像進化為在Netflix與Hulu上的流媒體。我們期望分發內容的延遲從小時或分鐘降低到秒。我們期望內容分發可以24 7 365 天在我們所有地區的設備上:從我們的家和辦公室到移動中。我們作為客戶,不需要關心基礎設施或系統達到此目的的復雜性:我們只想看新賽季的比賽。
每次進化都需要我們打造與管理所需的技術需要的技術,系統,技能變化。在大多數時候,這些變化引入了更多的復雜性:我們曾經管理CS系統需要的技能與知識與現代分布式系統需要的彈性,低延遲,高可用的需求有很大不同。所以,我們需要知道哪些我們之前不知道的呢?
重定義最小可用產品作為從業者,我們要做得更好。由于可用性與彈性已經是主要考慮的問題,應用程序的最小可用產品需要被重定義。好的設計目標現在需要把包括基本的對于運維性,安全,性能與可觀察性的架構目標。每個工程師,從在React組件上工作的前端工程師到在構建一個分布式數據集的后端工程師,需要考慮他們系統的小部分是如何影響整個系統的。
用戶對性能的需要已經對計算模型與狀態管理策略產生了新的限制。計算模型開始轉向Serverless與邊緣計算架構,期望能降低用戶延遲。這是我們學到的新一課:計算節點越靠近用戶越有效率。
對于狀態管理也是這樣。應用正在從最開始的分布式狀態,共享存儲,甚至數據遷移從中心存儲向邊緣或云計算升級。接近最終用戶可以保證更快速的決策,但大大增加我們應用的復雜性。
每一處約束都代表工程師需要理解他們自己維護的部分與其他部分的變化可能對宏觀系統造成的影響。當這些內容由于復雜性或缺乏對系統的深刻理解不能在心里建模掌握時,就需要用程序的方式來建模,如觀察,插樁,追蹤,測試。
我們現在已經不能使用簡單的方式來監測故障或使用簡單的方式來調試故障。復雜架構與分布式的應用,看起來很適合用探針,但可能對終端用戶無法實現良好的性能。就算在觀測事件與指標,由于不同系統間的相關性與平衡性,而且計算延遲在分布式系統中也不夠精確,我們很難用傳統方式獲得一張全圖。
應用的instrumentation在開發過程中已經是一個必選項而不是一種事后行為了。每個工程師都需要考慮如何清楚的表示他們系統的狀態,性能與可觀測性。這需要工程師學習與適應新技術來交付這些新的能力。
進化的技術生態新的框架,架構,過程,一個成長的工具生態幫我們完成這些挑戰。他們有些還處于孵化階段,但會快速變成熟。我們已經看到了這種變革:只花了四年容器已經成為了主流技術,并且我們正在致力于使用類似kubernetes工具來支持復雜應用級別的抽象。部署上也有類似的變更正在發生,serverless,邊緣計算技術,安全,性能與系統可觀測性。
最后,沒有變化能存在在人與組織之外。我們需要開發必須的領導技能去構建跨功能團隊,并保證夠構建這些系統所需的快速迭代。我們需要繼續投入在DevOps與SRE社區來打破估到,無縫改造團隊并提高開發效率。圍繞快速交付高質量,安全與高性能應用的團隊組織可以創造高創新性的產品與組織。
對于剛開始或正在路上的組織和行業從業者, O"Reilly"s Velocity會議有一系列計劃來幫助公司處理這些現代復雜性。來自于Google,Netflix,Microsoft,Amazon,Twitter,Nordstorm,Slack,Fastly的開發者與工程師會來分享他們的在構建,伸縮,加固分布式系統的成功與失敗的經驗。你會有機會學習,社交,歡笑,并與觀眾和行業領袖進行分享。
本文來自微信公眾號「麥芽面包,id「darkjune_think」
轉載請注明。微信掃一掃關注公眾號。
交流Email: zhukunrong@yeah.net
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/69432.html
摘要:摘要本文主要講了神經進化是深度學習的未來,以及如何用進化計算方法優化深度學習。揭示了神經進化的突破性研究深度學習的大部分取決于網絡的規模和復雜性。在這三個例子中,使用神經進化成功地超越了最先進的基準。 摘要: 本文主要講了神經進化是深度學習的未來,以及如何用進化計算方法(EC)優化深度學習(DL)。 過去幾年時間里,我們有一個完整的團隊致力于人工智能研究和實驗。該團隊專注于開發新的進化...
摘要:通過在中結合進化算法執行架構搜索,谷歌開發出了當前較佳的圖像分類模型。本文是谷歌對該神經網絡架構搜索算法的技術解讀,其中涉及兩篇論文,分別是和。此外,谷歌還使用其新型芯片來擴大計算規模。 通過在 AutoML 中結合進化算法執行架構搜索,谷歌開發出了當前較佳的圖像分類模型 AmoebaNet。本文是谷歌對該神經網絡架構搜索算法的技術解讀,其中涉及兩篇論文,分別是《Large-Scale Ev...
摘要:友盟朋新宇在開場演講中,友盟朋新宇表示,在數據化智能化的今天,進化是一種態度,更是一種選擇。在朋新宇看來,數據加工有三大過程過程第一層是采集,友盟技術平臺每天能夠支撐萬億級的采集能力。 10月16日,友盟+主辦的2018UBDC全域大數據峰會在北京舉辦。峰會以DI·進化為主題——8小時,10余家黑科技企業,超40位國內頂級專家主題分享,近3500位數據從業者共同見證,旨在讓更多企業會用...
閱讀 2650·2021-11-25 09:43
閱讀 670·2021-11-12 10:36
閱讀 4615·2021-11-08 13:18
閱讀 2168·2021-09-06 15:00
閱讀 3106·2019-08-30 15:56
閱讀 924·2019-08-30 13:57
閱讀 1985·2019-08-30 13:48
閱讀 1413·2019-08-30 11:13