国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

oozie創(chuàng)建工作流，手動(dòng)配置和使用Hue配置

fasss / 1854人閱讀

摘要：創(chuàng)建工作流工作流的執(zhí)行命令參考博客，也可以鍵入查看幫助手動(dòng)配置的文件，存放文件可能用到的一些參數(shù)注意變量名不要包含特殊字符，否則在中會(huì)出現(xiàn)無(wú)法解析變量名的問(wèn)題的路徑必須在上，因?yàn)檎麄€(gè)集群要訪問(wèn)如果為，表示只是測(cè)試當(dāng)前的，并不具體記錄

oozie創(chuàng)建工作流

工作流的執(zhí)行命令參考博客：https://www.jianshu.com/p/6cb3a4b78556，也可以鍵入oozie help查看幫助

手動(dòng)配置oozie的workflow

job.properties文件，存放workflow.xml文件可能用到的一些參數(shù)
job.properties

# 注意變量名不要包含特殊字符，否則在 spark 中會(huì)出現(xiàn)無(wú)法解析變量名的問(wèn)題
# oozie.wf.application.path的路徑必須在hdfs上，因?yàn)檎麄€(gè)集群要訪問(wèn)

nameNode=hdfs://txz-data0:9820
resourceManager=txz-data0:8032
oozie.use.system.libpath=true
oozie.libpath=${nameNode}/share/lib/spark2/jars/,${nameNode}/share/lib/spark2/python/lib/,${nameNode}/share/lib/spark2/hive-site.xml
oozie.wf.application.path=${nameNode}/workflow/data-factory/download_report_voice_and_upload/Workflow
oozie.action.sharelib.for.spark=spark2

archive=${nameNode}/envs/py3.tar.gz#py

# 如果 dryrun 為 true，表示只是測(cè)試當(dāng)前的 workflow，并不具體記錄相應(yīng) job
dryrun=false

sparkMaster=yarn-cluster
sparkMode=cluster
scriptRoot=/workflow/data-factory/download_report_voice_and_upload/Python
sparkScriptBasename=download_parquet_from_data0_upload_online.py
sparkScript=${scriptRoot}/${sparkScriptBasename}
pysparkPath=py/py3/bin/python3

workflow.xml文件





    
        ${resourceManager}
        ${nameNode}
    

    

    
        
            ${sparkMaster}
            ${sparkMode}
            report_voice_download_pyspark
            ${sparkScriptBasename}
            
                --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=${pysparkPath}
            
            ${sparkScript}#${sparkScriptBasename}
            ${archive}
        

        
        
    

    
        
            Workflow failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]

將這兩個(gè)文件放在本地磁盤(pán)上面，例如放在文件夾/home/workflow/中

運(yùn)行命令oozie job -oozie http://txz-data0:11000/oozie -config /home/workflow/job.properties -run即可運(yùn)行這個(gè)workflow

這樣手寫(xiě)配置的話，在Hue上面是不可見(jiàn)的，所以后面都是在Hue上面配置workflow，然后再配置Schedule。具體配置見(jiàn)博客https://blog.csdn.net/qq_22918243/article/details/89204111

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/43803.html

相關(guān)文章

  • Hue開(kāi)發(fā)指南 托管Hadoop集群 UHadoop

    摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個(gè)標(biāo)簽拖動(dòng)到中。頁(yè)面權(quán)限控制頁(yè)面權(quán)限控制頁(yè)面權(quán)限控制點(diǎn)擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開(kāi)發(fā)指南本篇目錄1. 配置工作流2. Hue頁(yè)面權(quán)限控制Hue是面向 Hadoop 的開(kāi)源用戶界面，可以讓您更輕松地運(yùn)行和開(kāi)發(fā) Hive 查詢、管理 HDFS 中的文件、運(yùn)行和開(kāi)發(fā) Pig 腳本以及管理表。服務(wù)默認(rèn)已經(jīng)啟動(dòng)，用戶只需要配置外網(wǎng)IP，在防火墻中配...

    ernest.wang 評(píng)論0 收藏1340

  • 集群創(chuàng)建 智能大數(shù)據(jù)平臺(tái) USDP

    摘要：點(diǎn)擊創(chuàng)建集群按鈕開(kāi)始創(chuàng)建集群資源點(diǎn)擊創(chuàng)建集群按鈕開(kāi)始創(chuàng)建集群資源創(chuàng)建集群創(chuàng)建集群設(shè)置地域和可用區(qū)信息設(shè)置地域和可用區(qū)信息請(qǐng)根據(jù)您的需要，在創(chuàng)建集群向?qū)е性O(shè)置新集群所歸屬的地域及可用區(qū)信息。 集群創(chuàng)建本篇目錄開(kāi)始創(chuàng)建集群資源開(kāi)始部署集群服務(wù)和組件智能大數(shù)據(jù)平臺(tái)USDP集群的創(chuàng)建過(guò)程，分為兩個(gè)部分，即在公有云控制臺(tái)中，創(chuàng)建USDP的集群資源，待創(chuàng)建完成后，進(jìn)入您獨(dú)享的USDP管理服務(wù)開(kāi)始規(guī)劃并創(chuàng)...

    ernest.wang 評(píng)論1 收藏3013

  • Oozie開(kāi)發(fā)指南 托管Hadoop集群 UHadoop

    摘要：開(kāi)發(fā)指南開(kāi)發(fā)指南開(kāi)發(fā)指南本篇目錄運(yùn)行運(yùn)行定義定義定義工作流，為將多個(gè)按照一定的順序組織起來(lái)，按照既定的路徑運(yùn)行的一個(gè)整體。配置將定時(shí)調(diào)度頻率改為分鐘。一個(gè)會(huì)創(chuàng)建并執(zhí)行。例如，，，，則時(shí)間為動(dòng)作的實(shí)際創(chuàng)建時(shí)間。 Oozie開(kāi)發(fā)指南本篇目錄1. 運(yùn)行Coordinator Job2. Coordinator Action3. Coordinator Application4. Coordinat...

    ernest.wang 評(píng)論0 收藏2923

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<