Mesos安裝篇（一）

stormzhang 發布于2019-06-28 15:45 / 3092人閱讀

摘要：誕生于的一個研究項目，現已成為中的項目。是指外部的計算框架，如，等，這些計算框架可通過注冊的方式接入，以便進行統一管理和資源分配。要求可接入的框架必須有一個調度器模塊，該調度器負責框架內部的任務調度。

Mesos誕生于UC Berkeley的一個研究項目，現已成為Apache Incubator中的項目。Mesos計算框架一個集群管理器，提供了有效的、跨分布式應用或框架的資源隔離和共享，可以運行Hadoop、MPI、Hypertable、Spark。使ZooKeeper實現容錯復制，使用Linux Containers來隔離任務，支持多種資源計劃分配。

總體架構

Apache Mesos由四個組件組成，分別是Mesos-master，mesos-slave，framework和executor。

mesos中的基本術語解釋

Mesos-master：是整個系統的核心，負責管理接入mesos的各個framework（由frameworks_manager管理）和slave（由slaves_manager管理），并將slave上的資源按照某種策略分配給framework（由獨立插拔模塊Allocator管理）。

Mesos-slave：負責接收并執行來自mesos-master的命令、管理節點上的mesos-task，并為各個task分配資源。mesos-slave將自己的資源量發送給mesos-master，由mesos-master中的Allocator模塊決定將資源分配給哪個framework，當前考慮的資源有CPU和內存兩種，也就是說，mesos-slave會將CPU個數和內存量發送給mesos-master，而用戶提交作業時，需要指定每個任務需要的CPU個數和內存量，這樣，當任務運行時，mesos-slave會將任務放到包含固定資源的linux container中運行，以達到資源隔離的效果。

Framework：是指外部的計算框架，如Hadoop，Mesos等，這些計算框架可通過注冊的方式接入mesos，以便mesos進行統一管理和資源分配。Mesos要求可接入的框架必須有一個調度器模塊，該調度器負責框架內部的任務調度。當一個framework想要接入mesos時，需要修改自己的調度器，以便向mesos注冊，并獲取mesos分配給自己的資源，這樣再由自己的調度器將這些資源分配給框架中的任務，也就是說，整個mesos系統采用了雙層調度框架

Executor：執行器，安裝到mesos-slave上，用于啟動計算框架中的task。

安裝部署

部署環境介紹

內核版本：
[root@ctn-7-11 ~]# uname -a
Linux ctn-7-11.ptmind.com 3.10.0-327.4.4.el7.x86_64 #1 SMP Tue Jan 5 16:07:00 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

系統版本：
[root@ctn-7-11 ~]# more /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)

docker版本：
[root@ctn-7-13 ~]# docker --version
Docker version 1.10.3, build 20f81dd

集群所有主機添加主機名
[root@ctn-7-12 ~]# more /etc/hosts
---略---
172.16.7.12 ctn-7-12.ptmind.com ctn-7-12
172.16.7.13 ctn-7-13.ptmind.com ctn-7-13
172.16.7.14 ctn-7-14.ptmind.com ctn-7-14

為配置方便講服務器ssh免密碼登陸打通
[root@ctn-7-11 workspace]# for ip in $(cat /workspace/mesoslist);do echo ------$ip-----;ssh root@$ip hostname;done
------172.16.7.11-----
ctn-7-11.ptmind.com
------172.16.7.12-----
ctn-7-12.ptmind.com
------172.16.7.13-----
ctn-7-13.ptmind.com
------172.16.7.14-----
ctn-7-14.ptmind.com

安裝前準備

關閉防火墻
sudo systemctl stop firewalld
sudo systemctl disable firewalld

安裝docker
sudo yum update
curl -sSL https://get.docker.com/ | sh

安裝常用軟件包
yum install git lrzsz wget elinks nc -y

添加yum源（所有主機，安裝其中一個即可）
rpm -Uvh http://repos.mesosphere.io/el...
rpm -Uvh http://repos.mesosphere.io/el...
rpm -Uvh http://repos.mesosphere.io/el...

集群服務部署規劃
服務器IP地址主機名安裝服務
172.16.7.12ctn-7-12.ptmind.com mesos-master 、zookeeper、mesos-slave 、chronos
172.16.7.13ctn-7-13.ptmind.com mesos-master 、zookeeper、mesos-slave 、
172.16.7.14ctn-7-14.ptmind.com mesos-master 、zookeeper、mesos-slave、marathon

更多內容正在更新中，銀盾泰安將持續為您發布最新最有用的資訊，敬請期待！

GPU云服務器云服務器推薦一篇利用th Mesos 上一篇屬性篇

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/26886.html

飛馳在Mesos的渦輪引擎上

摘要：方案二和也運行在中。新增刪除節點變更配置均需要手工介入。公司已有的大多都是容器形式部署在各個服務器上。目前我們在每個節點上部署了傳統的。在接下來的階段團隊也會對此做進一步的探索。回想起第一次接觸Mesos, 當時有很多困惑: 這到底是用來做啥的？跟YARN比有什么優勢？有哪些大公司在使用么?。然而現在技術日新月異地發展, Mesos這個生態圈也開始被越來越多的團隊熟悉關注, 像k8...

xorpay 2019-06-28 15:19 評論0 收藏0
Docker 與 Mesos 的前生今世 | 數人云CTO肖德時@KVM分享實錄

摘要：今天小數給大家帶來一篇技術正能量滿滿的分享來自社區線上群分享的實錄，分享嘉賓是數人云肖德時。第二級調度由被稱作的組件組成。它們是最小的部署單元，由統一創建調度管理。今天小數給大家帶來一篇技術正能量滿滿的分享——來自KVM社區線上群分享的實錄，分享嘉賓是數人云CTO肖德時。嘉賓介紹：肖德時，數人云CTO 十五年計算機行業從業經驗，曾為紅帽 Engineering Service ...

0x584a 2019-06-28 15:09 評論0 收藏0
基于Docker搭建多節點Mesos/Marathon

摘要：摘要在之前的一篇博客中，我介紹了基于搭建單機版，但是僅僅使用了單個節點。具有容錯功能當容器由于節點崩潰等原因意外停止運行時，會自動將容器調度到其他節點。因此，目前僅適合運行無狀態的服務，而數據庫等有狀態服務應該單獨部署。摘要: 在之前的一篇博客中，我介紹了基于Docker搭建單機版Mesos/Marathon，但是僅僅使用了單個節點。而在這篇博客中，我將介紹基于Docker搭建多節點...

ConardLi 2019-06-28 15:16 評論0 收藏0
技術干貨 | 初次微服務體驗：從Docker容器農場說起

摘要：或許你的第一次微服務體驗，就從本文開始在本文中，和等紛紛亮相，并配有詳細的代碼說明。該角色與本地網絡及的配置設置相關。由于會在虛擬機初始化過程中自動執行配置任務，因此惟一的解決辦法就是將相關內容提取至單獨的劇本當中這是一篇溫和有趣的技術文章，如果你初識Docker，對微服務充滿興趣，不妨一讀。或許你的第一次微服務體驗，就從本文開始…… 在本文中，Mesos、Zookeeper、Ma...

魏憲會 2019-06-28 15:09 評論0 收藏0