国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

azkaban 安裝

luqiuwen / 630人閱讀

摘要:否則沒有配置環(huán)境會報錯。重新編譯打包就可以

azkaban

azkaban 是一個用Java開發(fā)的開源調(diào)度工具workflow,同類型的工具有用Python開發(fā)的 airflow 和 luigi.

build

在我的windows上無法build成功,我在CentOS上build成功了

</>復(fù)制代碼

  1. git clone https://github.com/azkaban/azkaban.git
  2. cd azkaban
  3. ./gradlew build installDist
run

我的需求比較簡單 solo server 就可以滿足要求

</>復(fù)制代碼

  1. cd azkaban-solo-server/build/install/azkaban-solo-server
  2. bin/azkaban-solo-start.sh
  3. bin/azkaban-solo-shutdown.sh
config

使用MySQL數(shù)據(jù)庫,MySQL新建用戶

</>復(fù)制代碼

  1. CREATE DATABASE azkaban;
  2. CREATE USER "azkaban"@"%" IDENTIFIED BY "azkaban";
  3. GRANT ALL PRIVILEGES ON azkaban.* to "azkaban"@"%";

修改配置文件

</>復(fù)制代碼

  1. #設(shè)置為上海時間(東八區(qū)),否則會按美國時間執(zhí)行
  2. default.timezone.id=Asia/Shanghai
  3. #注釋掉默認的H2數(shù)據(jù)庫配置后,配置MySQL數(shù)據(jù)庫
  4. database.type=mysql
  5. mysql.port=3306
  6. mysql.host=192.168.0.1
  7. mysql.database=azkaban
  8. mysql.user=username
  9. mysql.password=password
  10. mysql.numconnections=10
  11. #配置告警郵件
  12. mail.sender=xxx@163.com
  13. mail.host=smtp.163.com
  14. mail.user=mailUsername
  15. mail.password=mailPassword

啟動的時候會自動創(chuàng)建數(shù)據(jù)庫

plugin

https://github.com/azkaban/az...

使用ant編譯,需要安裝ant

</>復(fù)制代碼

  1. sudo yum install ant
  2. sudo yum install ant-junit
  3. sudo apt-get install ant
  4. sudo apt-get install ant-optional

</>復(fù)制代碼

  1. git clone https://github.com/azkaban/azkaban-plugins.git
  2. # step 1
  3. cd azkaban-plugins
  4. cd plugins
  5. cd hadoopsecuritymanager
  6. ant package
  7. # step 2
  8. cd ..
  9. cd crypto
  10. ant package
  11. # step 3
  12. cd ..
  13. cd jobtype
  14. ant package

azkaban-plugins/dist/jobtype/packages/azkaban-jobtype-3.0.0.tar.gz
解壓到
azkaban/azkaban-solo-server/build/install/azkaban-solo-server/plugins/jobtypes

commonprivate.properties
common.properties

execute.as.user 設(shè)置為false,否者會報錯

</>復(fù)制代碼

  1. # configs for jobtype security settings
  2. execute.as.user=false
  3. azkaban.native.lib=

我目前只想運行java job,不想使用hadoop,修改源代碼,可以不使用hadoop。否則沒有配置hadoop 環(huán)境會報錯。

</>復(fù)制代碼

  1. --- a/plugins/jobtype/src/azkaban/jobtype/JavaJob.java
  2. +++ b/plugins/jobtype/src/azkaban/jobtype/JavaJob.java
  3. @@ -75,8 +75,8 @@ public class JavaJob extends JavaProcessJob {
  4. classPath.add(getSourcePathFromClass(JavaProcessJob.class));
  5. classPath.add(getSourcePathFromClass(SecurityUtils.class));
  6. - classPath.add(HadoopConfigurationInjector.getPath(getJobProps(),
  7. - getWorkingDirectory()));
  8. + //classPath.add(HadoopConfigurationInjector.getPath(getJobProps(),
  9. + // getWorkingDirectory()));
  10. String loggerPath = getSourcePathFromClass(org.apache.log4j.Logger.class);
  11. if (!classPath.contains(loggerPath)) {
  12. @@ -157,8 +157,8 @@ public class JavaJob extends JavaProcessJob {
  13. @Override
  14. public void run() throws Exception {
  15. - HadoopConfigurationInjector.prepareResourcesToInject(getJobProps(),
  16. - getWorkingDirectory());
  17. + //HadoopConfigurationInjector.prepareResourcesToInject(getJobProps(),
  18. + // getWorkingDirectory());
  19. super.run();
  20. }
  21. }
  22. --- a/plugins/jobtype/src/azkaban/jobtype/JavaJobRunnerMain.java
  23. +++ b/plugins/jobtype/src/azkaban/jobtype/JavaJobRunnerMain.java
  24. @@ -104,7 +104,7 @@ public class JavaJobRunnerMain {
  25. }
  26. _logger.info("Class name " + className);
  27. - HadoopConfigurationInjector.injectResources(new Props(null, props));
  28. + //HadoopConfigurationInjector.injectResources(new Props(null, props));
  29. // Create the object using proxy
  30. if (SecurityUtils.shouldProxy(props)) {

重新編譯打包就可以

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/67891.html

相關(guān)文章

  • 使用azkaban 建立一個簡單的任務(wù)調(diào)度系統(tǒng)

    摘要:使用建立一個簡單的任務(wù)調(diào)度系統(tǒng)可以作為任務(wù)的調(diào)度工具,也可以作為任務(wù)和任務(wù)的調(diào)度工具。更加方便,只要在中增加一個方法,返回對象,然后任務(wù)可以直接在初始化的中讀取到這個參數(shù)。 使用azkaban 建立一個簡單的任務(wù)調(diào)度系統(tǒng) azkaban 可以作為hadoop 任務(wù)的調(diào)度工具,也可以作為shell任務(wù)和java任務(wù)的調(diào)度工具。安裝過程有點繁瑣,見安裝文檔。 Job Type 見鏈接 ht...

    Bmob 評論0 收藏0
  • azkaban 部署-azkaban 的部署和應(yīng)用

    第一步:包準備?首先我們先將Azkaban Web服務(wù)器、Azkaban執(zhí)行服務(wù)器和MySQL統(tǒng)一拷貝到虛擬機/usr/local/src/azkaban目錄下,具體的命令如下:[root@masterzkaban]#ll|awk'{print$NF}' 98600 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script...

    白馬嘯西風 評論0 收藏0
  • cdhazkaban-cdhazkaban介紹、安裝和使用

    工作流調(diào)度系統(tǒng)一個完整的數(shù)據(jù)分析系統(tǒng)大都是由海量的任務(wù)單元組成shell腳本程序,java,mapreduce程序、hive腳本等等組成,非常復(fù)雜,各任務(wù)單元之間存在時間先后及前后依賴關(guān)系。為了很好地組織起這樣的復(fù)雜系統(tǒng),能夠按照計劃執(zhí)行,就必須要一個工作流調(diào)度系統(tǒng)來調(diào)度執(zhí)行。例如,某個業(yè)務(wù)系統(tǒng)可能每天產(chǎn)生20G原始數(shù)據(jù),我們每天都要對其進行處理。具體處理步驟如下所示:1. 通過Hadoop先將原...

    白馬嘯西風 評論0 收藏0
  • azkaban集群模式安裝與execute-as-user配置

    因為Segmentfault的文章發(fā)布審核對格式要求太嚴格了,我去簡書了 地址在這里https://www.jianshu.com/p/bff11c87565b

    Tonny 評論0 收藏0
  • 大數(shù)據(jù)入門指南(GitHub開源項目)

    摘要:項目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲系統(tǒng)分布式計算框架集群資源管理器單機偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項目GitHub地址:https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...

    guyan0319 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<