azkaban的使用方法

白馬嘯西風發布于2022-09-07 15:10 / 904人閱讀

1：單任務

Azkaba內置的任務類型支持command、java

root@leco:/home/leco# cat foo.job 
type=command
command=echo foo
root@leco:/home/leco# zip foo.zip foo.job 
updating: foo.job (deflated 13%)

我們把job的資源文件可以打包成為zip格式的。然后通過azkaban的web管理平臺創建project并上傳job壓縮包即可。

操作步驟如下：

圖片.png

2：多依賴任務

創建有依賴關系的多個job描述,第一個job：foo.job

root@leco:/home/leco/cc# cat foo.job 
type=command
command=echo foo

將所有job資源文件打到一個zip包中

root@leco:/home/leco/cc# ls foobar.zip 
foobar.zip

圖片.png

3：HDFS 任務?

通過azkaban 在hdfs上創建以azkaban為名的目錄。

root@leco:/home/leco/cc# ls
bar.job  foobar.zip  foo.job  foo.zip  hdfs.job
root@leco:/home/leco/cc# zip hdfs.zip hdfs.job 
  adding: hdfs.job (deflated 12%)
root@leco:/home/leco/cc# cat hdfs.job 
type=command
command=/usr/local/hadoop-2.6.5/bin/hadoop fs -mkdir /azkaban

開始之前檢查hdfs

[root@master server]# hadoop fs -ls /|grep azkaban
[root@master server]#

開始之前hdfs沒有azkaban目錄

查看結果

[root@master server]# hadoop fs -ls /|grep azkaban
drwxr-xr-x   - root supergroup          0 2019-08-13 15:55 /azkaban

4. MapReduce任務?

??Mr任務依然可以使用command的job類型來執行

準備數據

[root@master hadoop]# hadoop fs -mkdir /azkaban_demo
[root@master hadoop]# hadoop fs -put /etc/passwd /azkaban_demo
[root@master hadoop]# hadoop fs -ls /azkaban_demo/
Found 1 items
-rw-r--r--   3 root supergroup       1159 2019-08-13 16:06 /azkaban_demo/passwd

mrwc

root@leco:/home/leco/cc# cat mrwc.job 
type=command
command=/usr/local/hadoop/bin/hadoop  jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  wordcount /azkaban_demo /azkaban_out

root@leco:/home/leco/cc# ls mrwc*
mrwc.job  mrwc.zip

檢查

[root@master hadoop]# hadoop fs -ls /azkaban_out
ls: `/azkaban_out': No such file or directory

圖片.png

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127556.html

azkaban 安裝

摘要：否則沒有配置環境會報錯。重新編譯打包就可以 azkaban azkaban 是一個用Java開發的開源調度工具workflow,同類型的工具有用Python開發的 airflow 和 luigi. build 在我的windows上無法build成功，我在CentOS上build成功了 git clone https://github.com/azkaban/azkaban.git c...

luqiuwen 2019-08-15 12:21 評論0 收藏0
azkaban 部署-azkaban 的部署和應用

第一步：包準備?首先我們先將Azkaban Web服務器、Azkaban執行服務器和MySQL統一拷貝到虛擬機/usr/local/src/azkaban目錄下，具體的命令如下：[root@masterzkaban]#ll|awk'{print$NF}' 98600 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script...

白馬嘯西風 2022-09-06 18:40 評論0 收藏0
使用azkaban 建立一個簡單的任務調度系統

摘要：使用建立一個簡單的任務調度系統可以作為任務的調度工具，也可以作為任務和任務的調度工具。更加方便，只要在中增加一個方法，返回對象，然后任務可以直接在初始化的中讀取到這個參數。使用azkaban 建立一個簡單的任務調度系統 azkaban 可以作為hadoop 任務的調度工具，也可以作為shell任務和java任務的調度工具。安裝過程有點繁瑣，見安裝文檔。 Job Type 見鏈接 ht...

Bmob 2019-08-15 12:27 評論0 收藏0
cdhazkaban-cdhazkaban介紹、安裝和使用

工作流調度系統一個完整的數據分析系統大都是由海量的任務單元組成shell腳本程序，java，mapreduce程序、hive腳本等等組成，非常復雜，各任務單元之間存在時間先后及前后依賴關系。為了很好地組織起這樣的復雜系統，能夠按照計劃執行，就必須要一個工作流調度系統來調度執行。例如，某個業務系統可能每天產生20G原始數據，我們每天都要對其進行處理。具體處理步驟如下所示：1. 通過Hadoop先將原...

白馬嘯西風 2022-09-06 18:25 評論0 收藏0
大數據入門指南（GitHub開源項目）

摘要：項目地址前言大數據技術棧思維導圖大數據常用軟件安裝指南一分布式文件存儲系統分布式計算框架集群資源管理器單機偽集群環境搭建集群環境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環境下的安裝部署和命令行的基本使用常用操作分區表和分桶表視圖項目GitHub地址：https://github.com/heibaiying... 前言大數據技術棧思維導圖大數據常用軟件安裝指...

guyan0319 2019-08-19 11:46 評論0 收藏0