周末“干活”之 Mesos Meetup

warmcheng 發(fā)布于2019-05-28 16:58 / 2751人閱讀

摘要：愛奇藝歷程采用的軟件棧服務(wù)現(xiàn)狀集群建設(shè)自動(dòng)化部署經(jīng)驗(yàn)沒有采用嵌入式管理服務(wù)降低風(fēng)險(xiǎn)，對(duì)紅帽有一點(diǎn)擔(dān)憂。再次感謝和數(shù)人科技共同組織的，非常期待下一次的周末相聚。

周末兩天都是大霧霾天，作為運(yùn)營也不能在家宅，告別了技術(shù)就得腿兒勤點(diǎn)兒。

非常感謝 Linker 的 Sam Chen 和 數(shù)人科技 的 CTO 共同組織的Mesos Meetup，OneAPM 最帥的 Docker 工程獅～陳亮與 Linker Networks、愛奇藝、PingCAP，浙江移動(dòng) 的程序猿們一起分享了在 Mesos 技術(shù)棧的實(shí)踐。

本想把會(huì)議過程詳細(xì)總結(jié)下來，發(fā)現(xiàn)干貨頗多很難窮舉，還好 Linker 和 浙江移動(dòng) 在微信公眾號(hào)上迅速地把各自內(nèi)容分享出來，這節(jié)省了我一大部分工作。具體內(nèi)容請(qǐng)看以下鏈接：

霧霾天看Linker Mesos Meetup 干貨分享，媽媽說，可以驅(qū)霾！

三墩IT人在北京Mesos Meetup技術(shù)沙龍發(fā)表基于Mesos的DCOS實(shí)踐演講

將其它分享內(nèi)容一一呈現(xiàn)：

首先，感謝 VMWare 提供的場(chǎng)地。

軟廣過后，干活呈上：

首先是領(lǐng)科云分享了如何通過微服務(wù)Mesos技術(shù)棧構(gòu)筑的新一代自動(dòng)化管理云平臺(tái)。

詳細(xì)講述了如何通過 領(lǐng)科云 快速構(gòu)筑 Mysql 分布式集群的實(shí)現(xiàn)原理。

有意思的是我們還看到了 領(lǐng)科云 的臺(tái)灣合作伙伴～工研院，一方面說明臺(tái)灣的技術(shù)發(fā)展同樣迅速，另一方面體現(xiàn)了 領(lǐng)科云 的國際化視野。

尤為重要的是領(lǐng)科云分享了研發(fā)過程中，在 Mesos 技術(shù)棧遇到的問題和技術(shù)瓶頸。

例如：Dubbo 跟 Port Mapping 的沖突問題，如何保證HA、降低網(wǎng)絡(luò)性能損耗等問題。

我不是一線研發(fā)人員，雖然小本兒不停的記錄也沒曉得其中奧義。如果讀者有更多的技術(shù)咨詢和交流，請(qǐng)繼續(xù)聯(lián)系 領(lǐng)科云。

第二場(chǎng)還是 領(lǐng)科云 在 CI/CD 持續(xù)集成和交付方面的技術(shù)管理經(jīng)驗(yàn)分享，此處省去500字具體內(nèi)容請(qǐng)?jiān)L問 領(lǐng)科云 的官方微信。

霧霾天看Linker Mesos Meetup 干貨分享，媽媽說，可以驅(qū)霾！

然后是 愛奇藝 的同學(xué)在 Mesos 技術(shù)棧方面的實(shí)戰(zhàn)。首先道歉一下由于內(nèi)容太精彩，忘記拍下這位同學(xué)的社交信息，如果大家誰有請(qǐng)分享給我，特此感謝。

愛奇藝 Mesos 歷程

采用的軟件棧

Mesos 服務(wù)現(xiàn)狀

Mesos 集群建設(shè)

自動(dòng)化部署經(jīng)驗(yàn)

沒有采用嵌入式管理服務(wù)、降低風(fēng)險(xiǎn)，對(duì)紅帽有一點(diǎn)擔(dān)憂。

監(jiān)控方案及要點(diǎn)

報(bào)警方案

HA 方案

統(tǒng)計(jì)報(bào)告

從愛奇藝的監(jiān)控方案和統(tǒng)計(jì)報(bào)告我們可以看出，愛奇藝監(jiān)控服務(wù)主要關(guān)注CPU的資源消耗，尤其是在一段時(shí)間內(nèi)的CPU資源利用率。因?yàn)橐曨l服務(wù)有大量的視頻轉(zhuǎn)碼需求，如何利用好忙閑時(shí)的資源分配，提高用戶在線體驗(yàn)是非常關(guān)鍵的。還提到了Mesos管理CPU核數(shù)時(shí)的缺陷，分配4核資源會(huì)搶占8核，導(dǎo)致某些在線資源的性能損耗，以至?xí)簳r(shí)方案是將在線服務(wù)和離線服務(wù)分開部署，這將勢(shì)必會(huì)給Mesos管理帶來一定不變，沒有體現(xiàn)微服務(wù)更好的特性。另外，大家想知道為什么愛奇藝對(duì)新技術(shù)以及架構(gòu)接受那么快而且要求那么苛刻，因?yàn)樗麄僊esos團(tuán)隊(duì)沒有運(yùn)維工程師。贊！

另外 數(shù)人科技 也討論了一下他們給客戶實(shí)施Mesos方案的監(jiān)控經(jīng)驗(yàn)。他們給客戶搭建的是 Mesos ＋ Ceph 存儲(chǔ)方案，監(jiān)控統(tǒng)計(jì)主要關(guān)注的是微服務(wù)的IOPS性能跟 愛奇藝 的業(yè)務(wù)特點(diǎn)大相徑庭，看來微服務(wù)業(yè)務(wù)場(chǎng)景化監(jiān)控將成為常態(tài)。

可問題來了？

一般的互聯(lián)網(wǎng)公司想要構(gòu)筑一套這樣的監(jiān)控服務(wù)得有多復(fù)雜，包括愛奇藝的統(tǒng)計(jì)報(bào)告平臺(tái)都是Ruby on Rails敏捷開發(fā)的，這樣的技術(shù)團(tuán)隊(duì)也是鳳毛麟角。

人才難求啊！

稍安，這個(gè)問題我們一會(huì)兒分解！

第四個(gè)分享是來自我們 OneAPM 安全產(chǎn)品團(tuán)隊(duì) OneASP 的 Docker 工程師～陳亮使用Mesos技術(shù)棧構(gòu)筑測(cè)試運(yùn)維平臺(tái)的實(shí)踐。

陳亮同學(xué)詳細(xì)講述了一個(gè)工程師在Mesos技術(shù)棧如何“從0到1”的一個(gè)過程，并且流程化的講述了一個(gè)自動(dòng)化運(yùn)維平臺(tái)的構(gòu)筑過程，哪些時(shí)間點(diǎn)遇到哪些問題，如何采取有效的實(shí)戰(zhàn)策略。

另外，陳亮還給廣大 Docker Mesos 工程師提前帶來了一個(gè)新年禮物：

Mesos 自動(dòng)化 SaaS 監(jiān)控服務(wù)

而且 OneAPM 的 Cloud Insight 監(jiān)控云組件的類型不僅限于此，請(qǐng)看：

我們提供的強(qiáng)大功能：

我們目標(biāo)服務(wù)的客戶群體：

我們還能提供什么？

還等什么？30s 云組件監(jiān)控服務(wù)瞬間幫你搞定！

剛才前面留了伏筆～如何才能擁有 愛奇藝 一樣的技術(shù)團(tuán)隊(duì)，快速打造Mesos監(jiān)控服務(wù)？想必有了答案

再來看看驚喜吧！

Meetup當(dāng)天過后，世界上首位使用 Cloud Insight 監(jiān)控 Druid 的程序猿誕生了！

哈哈！還等什么？快來 免費(fèi)試用 Cloud Insight 吧。

平復(fù)心情，OneAPM 的分享先告一段落！
我們進(jìn)行下一話題～程序媛，這是技術(shù)圈中經(jīng)常談?wù)摰囊粋€(gè)內(nèi)容。巧的是接著做技術(shù)分享的工程師就是一個(gè)妹紙：
showImg("https://segmentfault.com/img/remote/1460000004897737");" width="300" height="200">

可能是太關(guān)注妹紙，她講的高深莫測(cè)的TiDB半天沒聽懂，只能回來繼續(xù)認(rèn)真研究了。最后為大家分享的是來自傳統(tǒng)電信行業(yè)的 浙江移動(dòng)，此處省去1000字具體內(nèi)容請(qǐng)參考 三墩IT人 微信號(hào)的精彩內(nèi)容：

三墩IT人在北京Mesos Meetup技術(shù)沙龍發(fā)表基于Mesos的DCOS實(shí)踐演講

這里我想說的是 浙江移動(dòng) 在傳統(tǒng)行業(yè)積極進(jìn)取，努力嘗試新技術(shù)，敢為天下先的精神確實(shí)讓互聯(lián)網(wǎng)行業(yè)也不得不欽佩。看來這就是“互聯(lián)網(wǎng)＋”的真正意義～互聯(lián)互通、互相學(xué)習(xí)、共同進(jìn)步！

周末每天一場(chǎng)的參會(huì)使人有點(diǎn)疲憊，但內(nèi)心、思想上得到了非常多的充實(shí)，從技術(shù)、架構(gòu)到行業(yè)、市場(chǎng)。再次感謝 Linker 和 數(shù)人科技 共同組織的Mesos Meetup，非常期待下一次的周末相聚。

本文僅代表作者個(gè)人觀點(diǎn)