【深度】Kubernetes在京東人工智能平臺(tái)的應(yīng)用

bingchen 發(fā)布于2019-06-28 15:59 / 3459人閱讀

摘要：目前是容器圈里的當(dāng)紅炸子雞，京東人工智能平臺(tái)登月中也大量應(yīng)用了。我們將在月日，北京，國(guó)家會(huì)議中心舉辦的京東技術(shù)開放日人工智能平臺(tái)的系統(tǒng)架構(gòu)與數(shù)據(jù)處理專場(chǎng)中，專題分享在京東人工智能平臺(tái)的應(yīng)用。

“目前Kubernetes是容器圈里的“當(dāng)紅炸子雞”，京東人工智能平臺(tái)——登月中也大量應(yīng)用了Kubernetes。在京東資深架構(gòu)師范振看來，登月平臺(tái)的設(shè)計(jì)出發(fā)點(diǎn)就是Kubernetes調(diào)度一切。”

在京東，分布式機(jī)器學(xué)習(xí)平臺(tái)已經(jīng)應(yīng)用于包括電商，金融等多個(gè)應(yīng)用場(chǎng)景。“我們將在9月16日，北京，國(guó)家會(huì)議中心舉辦的京東技術(shù)開放日——人工智能平臺(tái)的系統(tǒng)架構(gòu)與數(shù)據(jù)處理專場(chǎng)中，專題分享Kubernetes在京東人工智能平臺(tái)的應(yīng)用。”

范振談到：“包括將學(xué)習(xí)任務(wù)分配到集群的物理節(jié)點(diǎn)上進(jìn)行運(yùn)算，如果遇到任務(wù)失敗的情況，Kubernetes 會(huì)自動(dòng)重啟任務(wù)；以及Kubernetes可以把很多并發(fā)進(jìn)程組織成service，并且實(shí)現(xiàn)auto scaling——白天用戶數(shù)量多的時(shí)候，增加Web service里的進(jìn)程數(shù)，減少AI作業(yè)的進(jìn)程數(shù)。晚上減少Web service里的進(jìn)程數(shù)，釋放資源給AI作業(yè)，提升機(jī)器資源利用率和降低基礎(chǔ)設(shè)施成本。”

這些內(nèi)容都將在9月16日，北京，國(guó)家會(huì)議中心舉辦的京東技術(shù)開放日上做專題分享。

人工智能的集中式爆發(fā)，機(jī)器學(xué)習(xí)的訓(xùn)練過程對(duì)于快速迭代的高要求，讓能夠輕量級(jí)接入，并且可以對(duì)用戶提供秒級(jí)響應(yīng)的Kubernetes發(fā)揮了巨大的優(yōu)勢(shì)。師出同門的Google Tensorflow項(xiàng)目很早也進(jìn)行了與Kubernetes的集成，京東的人工智能平臺(tái)上實(shí)現(xiàn)了Spark on Kubernetes。

從Kubernetes的角度出發(fā)，把Driver和Executor分別Container化，完成Spark的原生調(diào)度，架構(gòu)更清晰。同時(shí)，繼承了Docker的計(jì)算資源隔離性，通過Kubernetes的Namespace，將不同的Job從網(wǎng)絡(luò)上徹底隔離。

在9月16日，北京，國(guó)家會(huì)議中心舉辦的京東技術(shù)開放日上，這些大家關(guān)注的熱點(diǎn)內(nèi)容，都將在活動(dòng)現(xiàn)場(chǎng)精彩呈現(xiàn)。

范振認(rèn)為，未來Kubernetes也可能會(huì)成為云管理平臺(tái)的統(tǒng)治者，也還會(huì)有更多的應(yīng)用在Kubernetes上原生運(yùn)行起來。因?yàn)閷?duì)于Kubernetes，它可以把很多分散的物理計(jì)算資源抽象成一個(gè)大的資源池，利用這些資源來執(zhí)行用戶的計(jì)算任務(wù)。對(duì)于用戶來說，操作一個(gè)分散的集群資源就像在使用一臺(tái)計(jì)算機(jī)。

實(shí)際上，Kubernetes不僅簡(jiǎn)單的解決了容器的部署和運(yùn)行問題，它還關(guān)注如何幫助用戶構(gòu)建容器化分布式服務(wù)這個(gè)問題。因此9月16日，北京，國(guó)家會(huì)議中心舉辦的京東技術(shù)開放日對(duì)于在容器化道路上還在“摸著石頭過河”的用戶來說，也是很有價(jià)值的。

“Kubernetes作為一個(gè)快速演進(jìn)的項(xiàng)目，應(yīng)用起來潛在的坑還是很多的。本次京東技術(shù)開放日上的Kubernetes議題，就是在你做為應(yīng)用新技術(shù)方面，可以借鑒的很好的一次經(jīng)驗(yàn)分享。” ——京東副總裁翁志