摘要:否則沒有配置環(huán)境會報錯。重新編譯打包就可以
azkaban
azkaban 是一個用Java開發(fā)的開源調(diào)度工具workflow,同類型的工具有用Python開發(fā)的 airflow 和 luigi.
build在我的windows上無法build成功,我在CentOS上build成功了
</>復(fù)制代碼
git clone https://github.com/azkaban/azkaban.git
cd azkaban
./gradlew build installDist
run
我的需求比較簡單 solo server 就可以滿足要求
</>復(fù)制代碼
cd azkaban-solo-server/build/install/azkaban-solo-server
bin/azkaban-solo-start.sh
bin/azkaban-solo-shutdown.sh
config
使用MySQL數(shù)據(jù)庫,MySQL新建用戶
</>復(fù)制代碼
CREATE DATABASE azkaban;
CREATE USER "azkaban"@"%" IDENTIFIED BY "azkaban";
GRANT ALL PRIVILEGES ON azkaban.* to "azkaban"@"%";
修改配置文件
</>復(fù)制代碼
#設(shè)置為上海時間(東八區(qū)),否則會按美國時間執(zhí)行
default.timezone.id=Asia/Shanghai
#注釋掉默認的H2數(shù)據(jù)庫配置后,配置MySQL數(shù)據(jù)庫
database.type=mysql
mysql.port=3306
mysql.host=192.168.0.1
mysql.database=azkaban
mysql.user=username
mysql.password=password
mysql.numconnections=10
#配置告警郵件
mail.sender=xxx@163.com
mail.host=smtp.163.com
mail.user=mailUsername
mail.password=mailPassword
啟動的時候會自動創(chuàng)建數(shù)據(jù)庫
pluginhttps://github.com/azkaban/az...
使用ant編譯,需要安裝ant
</>復(fù)制代碼
sudo yum install ant
sudo yum install ant-junit
sudo apt-get install ant
sudo apt-get install ant-optional
</>復(fù)制代碼
git clone https://github.com/azkaban/azkaban-plugins.git
# step 1
cd azkaban-plugins
cd plugins
cd hadoopsecuritymanager
ant package
# step 2
cd ..
cd crypto
ant package
# step 3
cd ..
cd jobtype
ant package
azkaban-plugins/dist/jobtype/packages/azkaban-jobtype-3.0.0.tar.gz
解壓到
azkaban/azkaban-solo-server/build/install/azkaban-solo-server/plugins/jobtypes
commonprivate.properties
common.properties
execute.as.user 設(shè)置為false,否者會報錯
</>復(fù)制代碼
# configs for jobtype security settings
execute.as.user=false
azkaban.native.lib=
我目前只想運行java job,不想使用hadoop,修改源代碼,可以不使用hadoop。否則沒有配置hadoop 環(huán)境會報錯。
</>復(fù)制代碼
--- a/plugins/jobtype/src/azkaban/jobtype/JavaJob.java
+++ b/plugins/jobtype/src/azkaban/jobtype/JavaJob.java
@@ -75,8 +75,8 @@ public class JavaJob extends JavaProcessJob {
classPath.add(getSourcePathFromClass(JavaProcessJob.class));
classPath.add(getSourcePathFromClass(SecurityUtils.class));
- classPath.add(HadoopConfigurationInjector.getPath(getJobProps(),
- getWorkingDirectory()));
+ //classPath.add(HadoopConfigurationInjector.getPath(getJobProps(),
+ // getWorkingDirectory()));
String loggerPath = getSourcePathFromClass(org.apache.log4j.Logger.class);
if (!classPath.contains(loggerPath)) {
@@ -157,8 +157,8 @@ public class JavaJob extends JavaProcessJob {
@Override
public void run() throws Exception {
- HadoopConfigurationInjector.prepareResourcesToInject(getJobProps(),
- getWorkingDirectory());
+ //HadoopConfigurationInjector.prepareResourcesToInject(getJobProps(),
+ // getWorkingDirectory());
super.run();
}
}
--- a/plugins/jobtype/src/azkaban/jobtype/JavaJobRunnerMain.java
+++ b/plugins/jobtype/src/azkaban/jobtype/JavaJobRunnerMain.java
@@ -104,7 +104,7 @@ public class JavaJobRunnerMain {
}
_logger.info("Class name " + className);
- HadoopConfigurationInjector.injectResources(new Props(null, props));
+ //HadoopConfigurationInjector.injectResources(new Props(null, props));
// Create the object using proxy
if (SecurityUtils.shouldProxy(props)) {
重新編譯打包就可以
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/67891.html
摘要:使用建立一個簡單的任務(wù)調(diào)度系統(tǒng)可以作為任務(wù)的調(diào)度工具,也可以作為任務(wù)和任務(wù)的調(diào)度工具。更加方便,只要在中增加一個方法,返回對象,然后任務(wù)可以直接在初始化的中讀取到這個參數(shù)。 使用azkaban 建立一個簡單的任務(wù)調(diào)度系統(tǒng) azkaban 可以作為hadoop 任務(wù)的調(diào)度工具,也可以作為shell任務(wù)和java任務(wù)的調(diào)度工具。安裝過程有點繁瑣,見安裝文檔。 Job Type 見鏈接 ht...
第一步:包準備?首先我們先將Azkaban Web服務(wù)器、Azkaban執(zhí)行服務(wù)器和MySQL統(tǒng)一拷貝到虛擬機/usr/local/src/azkaban目錄下,具體的命令如下:[root@masterzkaban]#ll|awk'{print$NF}' 98600 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script...
工作流調(diào)度系統(tǒng)一個完整的數(shù)據(jù)分析系統(tǒng)大都是由海量的任務(wù)單元組成shell腳本程序,java,mapreduce程序、hive腳本等等組成,非常復(fù)雜,各任務(wù)單元之間存在時間先后及前后依賴關(guān)系。為了很好地組織起這樣的復(fù)雜系統(tǒng),能夠按照計劃執(zhí)行,就必須要一個工作流調(diào)度系統(tǒng)來調(diào)度執(zhí)行。例如,某個業(yè)務(wù)系統(tǒng)可能每天產(chǎn)生20G原始數(shù)據(jù),我們每天都要對其進行處理。具體處理步驟如下所示:1. 通過Hadoop先將原...
因為Segmentfault的文章發(fā)布審核對格式要求太嚴格了,我去簡書了 地址在這里https://www.jianshu.com/p/bff11c87565b
摘要:項目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲系統(tǒng)分布式計算框架集群資源管理器單機偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項目GitHub地址:https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...
閱讀 1815·2019-08-30 13:54
閱讀 2729·2019-08-29 17:27
閱讀 1115·2019-08-29 17:23
閱讀 3355·2019-08-29 15:20
閱讀 1230·2019-08-29 11:28
閱讀 1571·2019-08-26 10:39
閱讀 1319·2019-08-26 10:29
閱讀 645·2019-08-26 10:13