azkaban 部署-azkaban 的部署和應用

白馬嘯西風發布于2022-09-06 18:40 / 749人閱讀

第一步：包準備

?首先我們先將Azkaban Web服務器、Azkaban執行服務器和MySQL統一拷貝到虛擬機/usr/local/src/azkaban目錄下，

具體的命令如下：

[root@master zkaban]# ll|awk '{print $NF}'
98600
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
azkaban-web-server-2.5.0.tar.gz
mysql-libs.zip
[root@master zkaban]# pwd
/usr/local/src/zkaban

數據庫準備?

??當前azkaban只支持 mysql，不支持其它的非關系型數據庫，我們需安裝mysql服務器，本文檔中的演示情況是默認已安裝好mysql服務器，并建立了 root用戶，密碼 root，如果沒安裝的需要自己安裝一下。

第二步：安裝azkaban?

快速命令

cd /usr/local/azkaban/
mkdir -p /usr/local/azkaban/
tar xf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban/
tar xf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban/
tar xf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban/
cd /usr/local/azkaban/
ln -sf azkaban-web-2.5.0 server
ln -sf azkaban-executor-2.5.0 executor

詳細過程

[root@master src]# cd zkaban/
[root@master zkaban]# ls
azkaban-executor-server-2.5.0.tar.gz  azkaban-sql-script-2.5.0.tar.gz  azkaban-web-server-2.5.0.tar.gz  mysql-libs.zip
[root@master zkaban]# ll
total 98600
-rw-r--r-- 1 root root 11157302 Feb 16  2017 azkaban-executor-server-2.5.0.tar.gz
-rw-r--r-- 1 root root     1928 Feb 16  2017 azkaban-sql-script-2.5.0.tar.gz
-rw-r--r-- 1 root root 11989669 Feb 16  2017 azkaban-web-server-2.5.0.tar.gz
-rw-r--r-- 1 root root 77807942 Mar  3  2017 mysql-libs.zip
[root@master zkaban]# mkdir -p /usr/local/azkaban
[root@master zkaban]# tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master zkaban]# tar -xf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master zkaban]# tar -xf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master zkaban]# cd /usr/local/azkaban/
[root@master azkaban]# ln -sf azkaban-web-2.5.0 server
[root@master azkaban]# ln -sf azkaban-executor-2.5.0 executor

數據導入?

azkaban腳本導入，進入mysql，創建azkaban數據庫，并將解壓的腳本導入到azkaban數據庫。

快速部署

source /usr/local/azkaban/server/create-all-sql-2.5.0.sql

詳細操作

[root@master azkaban]# pwd
/usr/local/azkaban
[root@master azkaban]# ls /usr/local/azkaban/server/create-all-sql-2.5.0.sql 
/usr/local/azkaban/server/create-all-sql-2.5.0.sql
[root@master azkaban]# mysql -uroot -proot
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 751
Server version: 5.7.26 MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database azkaban;
Query OK, 1 row affected (0.02 sec)

mysql> use azkaban;
Database changed
mysql> source /usr/local/azkaban/server/create-all-sql-2.5.0.sql
Query OK, 0 rows affected (0.07 sec)

Query OK, 0 rows affected (0.02 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

mysql> show tables;
+------------------------+
| Tables_in_azkaban      |
+------------------------+
| active_executing_flows |
| active_sla             |
| execution_flows        |
| execution_jobs         |
| execution_logs         |
| project_events         |
| project_files          |
| project_flows          |
| project_permissions    |
| project_properties     |
| project_versions       |
| projects               |
| properties             |
| schedules              |
| triggers               |
+------------------------+
15 rows in set (0.00 sec)
mysql> exit
Bye

2.3 證書制作?

[root@master server]# cd
[root@master ~]# cd /usr/local/azkaban/server/
[root@master server]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password:          <---- 輸入一個密碼[推薦000000，后面配置文件會用到]
Re-enter new password:            <---- 重復輸入
What is your first and last name?
  [Unknown]:    <----  回車
What is the name of your organizational unit?
  [Unknown]:    <----  回車
What is the name of your organization?
  [Unknown]:    <----  回車
What is the name of your City or Locality?
  [Unknown]:    <----  回車
What is the name of your State or Province?
  [Unknown]:    <----  回車
What is the two-letter country code for this unit?
  [Unknown]:    <----  回車
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown correct?
  [no]:  y      <----  輸入y回車

Enter key password for <jetty>
    (RETURN if same as keystore password):   <----  輸入之前密碼 000000
Re-enter new password:                       <----  再次輸入密碼 000000

Warning:
keystore keystore -destkeystore keystore -deststoretype pkcs12".
[root@master server]# ls
azkaban.version  bin  conf  extlib  keystore  lib  plugins  web
[root@master server]# ecll
-bash: ecll: command not found
[root@master server]# ll
total 12
-rw-r--r-- 1 root root  105 Apr 22  2014 azkaban.version
drwxr-xr-x 2 root root  112 Apr 22  2014 bin
drwxr-xr-x 2 root root   57 Aug 13 11:14 conf
drwxr-xr-x 2 root root    6 Apr 22  2014 extlib
-rw-r--r-- 1 root root 2244 Aug 13 11:16 keystore
drwxr-xr-x 2 root root 4096 Aug 13 11:14 lib
drwxr-xr-x 2 root root    6 Apr 22  2014 plugins
drwxr-xr-x 6 root root   73 Aug 13 11:14 web
[root@master server]# du -sh keystore 
4.0K    keystore

cd /usr/local/azkaban/server/
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

2.4 時間同步?

?? 所有機器時間都要同步一致。省略，因為我新機器優化，已經配置過了。

2.5 配置文件修改?

2.5.1 Web服務器配置?

[root@master server]# cd ..
[root@master azkaban]# ls
azkaban-2.5.0  azkaban-executor-2.5.0  azkaban-web-2.5.0  executor  server
[root@master azkaban]# cd server/
[root@master server]# ll
total 16
-rw-r--r-- 1 root root  105 Apr 22  2014 azkaban.version
drwxr-xr-x 3 root root  179 Aug 13 11:40 bin
drwxr-xr-x 2 root root   57 Aug 13 11:34 conf
-rw-r--r-- 1 root root    7 Aug 13 11:40 currentpid
drwxr-xr-x 2 root root    6 Apr 22  2014 extlib
-rw-r--r-- 1 root root 2244 Aug 13 11:16 keystore
drwxr-xr-x 2 root root 4096 Aug 13 11:14 lib
drwxr-xr-x 2 root root    6 Apr 22  2014 plugins
drwxr-xr-x 6 root root   73 Aug 13 11:14 web
[root@master server]# cd conf/
[root@master conf]# ls
azkaban.properties  azkaban-users.xml

2.5.2 執行服務器配置?

修改解釋如下:

[root@master conf]# cat azkaban-users.xml 
<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
    <user username="admin" password="admin" roles="admin,metrics" />    
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>

<user username="admin" password="admin" roles="admin,metrics" /> 用戶名和密碼都會admin

[root@master conf]# egrep -v '#|^$' azkaban.properties 
azkaban.name=Test                           # 服務器UI名稱，用于服務器上方顯示的名字
azkaban.label=My Local Azkaban              # 描述
azkaban.default.servlet.path=/index
web.resource.dir=/usr/local/azkaban/server/web/   # 默認web 目錄
default.timezone.id=Asia/Shanghai                 # 時區
user.manager.class=azkaban.user.XmlUserManager    # 用戶權限管理默認類
user.manager.xml.file=/usr/local/azkaban/server/conf/azkaban-users.xml  # 配置文件[要使用絕對路徑]
executor.global.properties=/usr/local/azkaban/server/conf/global.properties # 配置文件[要使用絕對路徑]
azkaban.project.dir=projects
database.type=mysql      # 數據庫類型(目前只支持mysql)
mysql.port=3306          # mysql 端口
mysql.host=master        # mysql的ip/域名
mysql.database=azkaban   # mysql創建的庫
mysql.user=root          # 鏈接mysql 用戶
mysql.password=root      # 鏈接mysql 密碼
mysql.numconnections=100 # 最大鏈接數
velocity.dev.mode=false
jetty.maxThreads=25
jetty.ssl.port=8443      # web端口
jetty.port=8081
jetty.keystore=/usr/local/azkaban/server/keystore   # 證書地址[要使用絕對路徑]
jetty.password=000000    # 制作證書的密碼
jetty.keypassword=000000 # 制作證書的密碼
jetty.truststore=/usr/local/azkaban/server/keystore # 證書地址[要使用絕對路徑]
jetty.trustpassword=000000 # 制作證書的密碼
executor.port=12321
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

可以配置smtp郵箱，可以發郵件

2.6 啟動?

啟動web服務器

啟動執行服務器

cd /usr/local/azkaban/executor/bin/
./azkaban-executor-start.sh

查詢

[root@master bin]# jps
37828 ResourceManager
109029 Jps
37670 SecondaryNameNode
37481 NameNode
26334 Master
68879 QuorumPeerMain
99967 AzkabanExecutorServer
100126 AzkabanWebServer

注意啟動順序

2.7 登錄?

??啟動完成后，在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務器IP地址:8443，即可訪問azkaban服務了。在登錄中輸入剛才新的戶用名及密碼，點擊 login。

圖片.png

GPU云服務器云服務器 azkaban 私有云部署和本地部署的對比云服務器上部署應用的優勢公司云服務器的使用和部署

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127491.html

cdhazkaban-cdhazkaban介紹、安裝和使用

工作流調度系統一個完整的數據分析系統大都是由海量的任務單元組成shell腳本程序，java，mapreduce程序、hive腳本等等組成，非常復雜，各任務單元之間存在時間先后及前后依賴關系。為了很好地組織起這樣的復雜系統，能夠按照計劃執行，就必須要一個工作流調度系統來調度執行。例如，某個業務系統可能每天產生20G原始數據，我們每天都要對其進行處理。具體處理步驟如下所示：1. 通過Hadoop先將原...

白馬嘯西風 2022-09-06 18:25 評論0 收藏0
大數據入門指南（GitHub開源項目）

摘要：項目地址前言大數據技術棧思維導圖大數據常用軟件安裝指南一分布式文件存儲系統分布式計算框架集群資源管理器單機偽集群環境搭建集群環境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環境下的安裝部署和命令行的基本使用常用操作分區表和分桶表視圖項目GitHub地址：https://github.com/heibaiying... 前言大數據技術棧思維導圖大數據常用軟件安裝指...

guyan0319 2019-08-19 11:46 評論0 收藏0
azkaban 安裝

摘要：否則沒有配置環境會報錯。重新編譯打包就可以 azkaban azkaban 是一個用Java開發的開源調度工具workflow,同類型的工具有用Python開發的 airflow 和 luigi. build 在我的windows上無法build成功，我在CentOS上build成功了 git clone https://github.com/azkaban/azkaban.git c...

luqiuwen 2019-08-15 12:21 評論0 收藏0
azkaban的使用方法

1：單任務Azkaba內置的任務類型支持command、javaroot@leco:/home/leco#catfoo.job type=command command=echofoo root@leco:/home/leco#zipfoo.zipfoo.job updating:foo.job(deflated13%)我們把job的資源文件可以打包成為zip格式的。然后通過azkaban...

白馬嘯西風 2022-09-07 15:10 評論0 收藏0
使用azkaban 建立一個簡單的任務調度系統

摘要：使用建立一個簡單的任務調度系統可以作為任務的調度工具，也可以作為任務和任務的調度工具。更加方便，只要在中增加一個方法，返回對象，然后任務可以直接在初始化的中讀取到這個參數。使用azkaban 建立一個簡單的任務調度系統 azkaban 可以作為hadoop 任務的調度工具，也可以作為shell任務和java任務的調度工具。安裝過程有點繁瑣，見安裝文檔。 Job Type 見鏈接 ht...

Bmob 2019-08-15 12:27 評論0 收藏0

發表評論

登陸后可評論

0條評論

白馬嘯西風

男|高級講師

我要關注我要私信

TA的文章

超融合虛擬化

閱讀 1209·2023-02-24 11:21
超融合服務器價格

閱讀 1405·2023-02-24 10:55
超融合架構的優缺點

閱讀 2407·2023-02-24 10:47
超融合是什么意思

閱讀 3099·2023-02-24 10:44
揭秘超融合解決方案,讓IT更簡單!

閱讀 885·2023-02-24 10:38
購買服務器托管

閱讀 610·2022-12-25 19:44
成都服務器托管多少錢

閱讀 752·2022-12-25 19:39
minecraft服務器托管

閱讀 866·2022-12-25 19:36

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

azkaban 部署-azkaban 的部署和應用

第一步：包準備

數據庫準備?

第二步：安裝azkaban?

數據導入?

azkaban腳本導入，進入mysql，創建azkaban數據庫，并將解壓的腳本導入到azkaban數據庫。

2.3 證書制作?

2.4 時間同步?

2.5 配置文件修改?

2.5.1 Web服務器配置?

2.5.2 執行服務器配置?

2.6 啟動?

2.7 登錄?

相關文章

cdhazkaban-cdhazkaban介紹、安裝和使用

大數據入門指南（GitHub開源項目）

azkaban 安裝

azkaban的使用方法

**使用azkaban 建立一個簡單的任務調度系統**

發表評論

0條評論

白馬嘯西風

男|高級講師

TA的文章

超融合虛擬化

超融合服務器價格

超融合架構的優缺點

超融合是什么意思

揭秘超融合解決方案,讓IT更簡單!

購買服務器托管

成都服務器托管多少錢

minecraft服務器托管

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

azkaban 部署-azkaban 的部署和應用

第一步：包準備

數據庫準備?

第二步：安裝azkaban?

數據導入?

azkaban腳本導入，進入mysql，創建azkaban數據庫，并將解壓的腳本導入到azkaban數據庫。

2.3 證書制作?

2.4 時間同步?

2.5 配置文件修改?

2.5.1 Web服務器配置?

2.5.2 執行服務器配置?

2.6 啟動?

2.7 登錄?

相關文章

發表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

azkaban腳本導入，進入mysql，創建azkaban數據庫，并將解壓的腳本導入到azkaban數據庫。