摘要:免費領(lǐng)取驗證碼內(nèi)容安全短信發(fā)送直播點播體驗包及云服務(wù)器等套餐更多網(wǎng)易技術(shù)產(chǎn)品運營經(jīng)驗分享請訪問網(wǎng)易云社區(qū)。文章來源網(wǎng)易云社區(qū)
本文由作者余寶虹授權(quán)網(wǎng)易云社區(qū)發(fā)布。
使用戶ndp部署一個Java應(yīng)用大家都非常熟悉的,但是看到某些同學(xué)用非常繁瑣的方式部署storm應(yīng)用的時候,我覺得很有必要整一個幫助教程,ndp幫助文檔里面沒有,ks論壇上也沒有找到,借這個契機(jī)對這個問題做一個簡短的使用說明。
首先看看原始的部署storm的方式:
步驟一:切換到目標(biāo)git分支,在應(yīng)用目錄下執(zhí)行mvn clean package -Dmaven.test.skip=true 來打包;
步驟二:將打包后的jar包上傳到服務(wù)端;
步驟三:在服務(wù)器終端執(zhí)行啟動命令。
上面的步驟非常的繁瑣,需要服務(wù)器的權(quán)限,需要vpn,如果事先沒有提單申請的話,還必須花點時間等待這個權(quán)限下來,除此之外還要使用NC,SCP,Python SimpleHTTPServer或者圖像化的ftp工具Filezilla等上傳應(yīng)用到服務(wù)器。有沒有有更好更簡潔快速的方式的呢,一步搞定呢?答案是肯定的,ndp已經(jīng)為我們提供了相關(guān)的功能。
如何去做呢,搭建一鍵化的storm部署環(huán)境有下面幾個步驟,具體步驟如下(和常規(guī)應(yīng)用部署相同的步驟請參考ndp的使用說明文檔):
步驟一:在模塊根目錄下面創(chuàng)建三個目錄,分別是online,qa,test,分別對應(yīng)三套環(huán)境中的啟動,停止腳本放入對應(yīng)的目錄下面;
start.sh 腳本內(nèi)容如下:
!/bin/bashSTORM_HOME=/home/nisp/apache-storm-bin
$STORM_HOME/bin/storm jar /home/nisp/storm-job/risk-detect/risk-storm-jar-with-dependencies.jar com.netease.is.storm.StormRunner risk_detect_topology test
stop.sh 腳本內(nèi)容如下:
!/bin/bashSTORM_HOME=/home/nisp/apache-storm-bin
$STORM_HOME/bin/storm kill risk_detect_topology
步驟二:集群配置中選擇應(yīng)用類型,請選擇“自定義”選項,其它使用默認(rèn)值即可;
步驟三:構(gòu)建配置中,build.xml選項選擇“自定義提交”,并將如下的ant腳本復(fù)制粘貼進(jìn)去
上面的ant腳本中指定了啟動,停止storm應(yīng)用腳本的目錄位置,這個和步驟一描述的代碼結(jié)構(gòu)保持一致。
步驟四:發(fā)布配置選擇第一模板,并填寫腳本的執(zhí)行路徑(ndp可以執(zhí)行)
注意:上述命令使用ndp執(zhí)行時,ndp會使用下面的范式
nohup ${START_CMD} >/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log 2>>/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log.err &
如果start_cmd填寫的是符合命令(包含&&或者;)的話就會提示類似“nohup: failed to run command cd": No such file or directory”的異常,直接在服務(wù)器終端是可以正常執(zhí)行的,這是因為使用ndp后,ndp將范式改造為nohup ${START_CMD}` >/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log 2>>/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log.err &后才可以使用符合命令,就現(xiàn)在而言復(fù)雜的命令可以都寫在腳本里面,外面使用簡單命令。
完成上面的四個步驟以后就可以直接通過ndp構(gòu)建發(fā)布storm應(yīng)用了,發(fā)布構(gòu)建和普通java項目一樣,這里就不贅述了。
還在用原始方法的同學(xué),改造起來吧,借助ndp每次5分鐘變5s鐘不是夢,省下的時間去做些更有意義的事情吧。
免費領(lǐng)取驗證碼、內(nèi)容安全、短信發(fā)送、直播點播體驗包及云服務(wù)器等套餐
更多網(wǎng)易技術(shù)、產(chǎn)品、運營經(jīng)驗分享請訪問網(wǎng)易云社區(qū)。
文章來源: 網(wǎng)易云社區(qū)
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/25361.html
摘要:項目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲系統(tǒng)分布式計算框架集群資源管理器單機(jī)偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項目GitHub地址:https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...
摘要:年發(fā)表了基于和存儲的大規(guī)模實時推薦系統(tǒng)實現(xiàn)了一系列經(jīng)典推薦算法的實時版本實現(xiàn)了數(shù)種實時算法提高推薦精度廣泛應(yīng)用于業(yè)務(wù)有效提高騰訊采用使用原因,支持實時數(shù)據(jù)流式計算,良好的可擴(kuò)展性可容錯性,采用簡單編程模型。 1.實時推薦系統(tǒng)與相關(guān)工作 1.1 原因 實時計算能夠及時捕獲用戶短時興趣,同時能夠快速反饋分發(fā)當(dāng)前系統(tǒng)的用戶興趣內(nèi)容。大量實踐以及發(fā)表的文章都顯示了推薦系統(tǒng)實時化,對推薦精準(zhǔn)度的...
閱讀 3529·2021-11-22 11:59
閱讀 945·2021-09-27 13:36
閱讀 3603·2021-09-24 09:47
閱讀 2251·2021-09-01 11:39
閱讀 970·2021-08-31 09:37
閱讀 2304·2021-08-05 10:01
閱讀 1665·2019-08-30 15:55
閱讀 694·2019-08-30 15:54