解讀 | Mesos 1.2.0 Release

cuieney 發(fā)布于2019-05-28 17:02 / 601人閱讀

摘要：如何更好地支持容器化應(yīng)用的調(diào)度應(yīng)該是近期的工作重點(diǎn)。舉例來(lái)說(shuō)，當(dāng)通過(guò)請(qǐng)求時(shí)，恢復(fù)的將通過(guò)正常的部分進(jìn)行報(bào)告。此外，還有多個(gè)修復(fù)和改進(jìn)。

Mesos 1.2.0 Release 解讀

Mesos剛剛發(fā)布了最新的1.2.0版本，新版本解決了社區(qū)之前呼聲比較多的幾個(gè)問(wèn)題，看得出Mesos開(kāi)發(fā)組的推進(jìn)進(jìn)度還是非常快速而平穩(wěn)的。這也是Mesos社區(qū)一貫的作風(fēng)，核心Feature穩(wěn)定優(yōu)先，周邊功能積極支持。

根據(jù)1.2.0 Release note列出的幾個(gè)新Feature，可以看到幾個(gè)主要的改進(jìn)都是圍繞著容器相關(guān)的，其中既包含對(duì)Mesos Containerizer改進(jìn)，同時(shí)也有對(duì)Docker Containerizer功能補(bǔ)充，這些工作都是圍繞之前Mesos社區(qū)提出的Unified Containerier目標(biāo)來(lái)進(jìn)行的。

容器化和Docker技術(shù)在開(kāi)發(fā)者中間已經(jīng)廣泛流行，將來(lái)的服務(wù)標(biāo)準(zhǔn)化，容器化應(yīng)該會(huì)做的越來(lái)越好，Mesos作為調(diào)度系統(tǒng)的首選，順應(yīng)潮流也是大勢(shì)所趨。如何更好地支持容器化應(yīng)用的調(diào)度應(yīng)該是Mesos近期的工作重點(diǎn)。

數(shù)人云逐一分析Release Note中的各個(gè)部分：

MESOS-5931

Mesos Containerizer實(shí)驗(yàn)性支持auto backend， overlayfs優(yōu)先于aufs，由于bind backend需要事先存在，需要通過(guò)agent啟動(dòng)時(shí)的image_provisioner_backend參數(shù)明確指出。

解讀——

相比Docker Containerizer，Volume一直是Mesos Containerier的弱點(diǎn)，由于Layered存儲(chǔ)一開(kāi)始就是Docker的招牌優(yōu)勢(shì)，目的是減少運(yùn)行時(shí)容器對(duì)存儲(chǔ)的過(guò)度使用。Docker當(dāng)前支持Aufs， Overlayfs，DeviceMapper集中CoW形式的Volume， Bind Mounted Volume本質(zhì)上不是一種CoW存儲(chǔ)，目的更多是幫助在Host和主機(jī)之間做存儲(chǔ)共享。

Docker社區(qū)下一步主要推的是OverlayFS和OverlayFS2，而之前生產(chǎn)環(huán)境應(yīng)用比較廣泛的DeviceMapper卻沒(méi)有在Mesos支持范圍，看得出Mesos是緊跟Docker腳步的。

Agent啟動(dòng)增加了image_provisioner_backend參數(shù)，目的是指定預(yù)先設(shè)定的bind backend地址。

MESOS-6402

（實(shí)驗(yàn)）支持Mesos containerizer的rlimit。對(duì)于使用Mesos containerizer來(lái)啟動(dòng)容器， Isolator添加了對(duì)設(shè)置POSIX資源限制（(rlimits）的支持。POSIX rlimits可以被用來(lái)控制一個(gè)進(jìn)程中耗費(fèi)的資源。細(xì)節(jié)見(jiàn)http://mesos.apache.org/docum...。

解讀——

Mesos之前支持isolator如posix/cpu, posix/mem，以及cgroup/cpu等，這次又增加了rlimit isolator, 可以更靈活的配置Executor比如文件句柄數(shù)量，connection數(shù)量等。

MESOS-6419

（實(shí)驗(yàn)）Teardown未注冊(cè)的Framework。Master現(xiàn)在對(duì)待恢復(fù)的Framework將和對(duì)待已經(jīng)注冊(cè)但是當(dāng)前斷開(kāi)連接的Framework非常類似。舉例來(lái)說(shuō)，當(dāng)通過(guò)HTTP請(qǐng)求Framework時(shí)，恢復(fù)的Framework將通過(guò)正常的“Frameworks”部分進(jìn)行報(bào)告。它意味著不再有“孤兒任務(wù)”的概念：如果Master知道這個(gè)任務(wù)，任務(wù)就會(huì)運(yùn)行在Framework之下。類似的，在恢復(fù)的Framework上的“teardown”操作現(xiàn)在已經(jīng)正常工作了。

解讀——

Teardown unregistered frameworks，通過(guò)這個(gè)改進(jìn)，目測(cè)可以TearDown一些超時(shí)的Frameworks，可以很好的清理Frameworks下的tasks，之前困擾Swan【數(shù)人云開(kāi)源Mesos調(diào)度器】開(kāi)發(fā)的一個(gè)問(wèn)題就是如何清理Crashed之后的Swan的task問(wèn)題，通過(guò)這個(gè)功能可以很好的幫助Swan解決這個(gè)問(wèn)題。

MESOS-6460

（實(shí)驗(yàn)）容器的Attach和Exec。這個(gè)特性為正在運(yùn)行的Mesos任務(wù)附加一個(gè)遠(yuǎn)程客戶端到其stdin, stdout和stderr上提供了新的Agent API，也提供了一個(gè)在同一容器內(nèi)啟動(dòng)新進(jìn)程作為運(yùn)行的Mesos任務(wù)、并附加到它的stdin, stdout和stderr上的API。在更高的層面，這些API在功能上模仿了Docker attach和Docker exec。這個(gè)特性主要是為了讓用戶能夠調(diào)試運(yùn)行中的Mesos任務(wù)。

解讀——

針對(duì)Docker Containerizer的一個(gè)改進(jìn)，之前由于沒(méi)有此功能Debug時(shí)候都是通過(guò)Mesos task找到對(duì)應(yīng)的Docker容器，接著通過(guò)Docker命令進(jìn)入到容器當(dāng)中看Docker運(yùn)行時(shí)狀態(tài)，還好數(shù)人云的產(chǎn)品之前通過(guò)Proxy到Docker daemon已經(jīng)解決了這個(gè)問(wèn)題，現(xiàn)如今如果Mesos能解決這個(gè)問(wèn)題，可以考慮通過(guò)Mesos attach到容器當(dāng)中，不過(guò)性能有待考慮，畢竟運(yùn)行時(shí)日志是個(gè)挺可怕的量。

MESOS-6758

（實(shí)驗(yàn)性）在Mesos Containerizer支持“Basic” Docker私有鏡像倉(cāng)庫(kù)驗(yàn)證。直到目前，Mesos Containerizer一直假定Bearer auth，但是現(xiàn)在我們也為私有鏡像倉(cāng)庫(kù)支持”Basic auth”。請(qǐng)注意AWS ECS采用了Basic authorization但是尚不可用，因?yàn)镸ESOS-5172的重定向問(wèn)題。

解讀——

私有鏡像倉(cāng)庫(kù)驗(yàn)證的問(wèn)題一直是困擾我的問(wèn)題，這次Mesos終于考慮到這個(gè)問(wèn)題了。之前普遍的做法，包括Marathon都是將私用倉(cāng)庫(kù)的用戶名密碼達(dá)成tar通過(guò)fetch功能下載到sandbox當(dāng)中，Docker executor啟動(dòng)之后發(fā)現(xiàn)賬號(hào)后模擬登陸，其實(shí)Docker API早有支持，有了Basic HTTP auth就不用繞一大圈解決登錄問(wèn)題。

此外，還有200多個(gè)bug修復(fù)和改進(jìn)。對(duì)于全部的版本更新說(shuō)明，請(qǐng)移步https://git-wip-us.apache.org...。

關(guān)于更新：

從Mesos1.1.0滾動(dòng)更新到Mesos1.2.0非常簡(jiǎn)單。只有一些小的調(diào)整，向后兼容的降低。更新過(guò)程中的細(xì)節(jié)請(qǐng)參考http://mesos.apache.org/docum...。