Hive將UDF編譯到源碼中（idea）

forrest23 發(fā)布于2019-08-16 16:57 / 1223人閱讀

摘要：有時(shí)候需要改寫源碼，比如將常用的某個(gè)放在源碼中，啟動(dòng)即可使用。所以推薦使用來(lái)完成改源碼的操作，好處不言而喻。這是因?yàn)樵诃h(huán)境不能執(zhí)行。同名文件夾是這個(gè)包解壓后的文件夾，上傳到可直接使用，免解壓。

有時(shí)候需要改寫源碼，比如將常用的某個(gè)UDF放在源碼中，啟動(dòng)即可使用。在Linux上直接改寫源碼是很容易出錯(cuò)的，因?yàn)関im沒有檢測(cè)提示，直到打包時(shí)過了很久才報(bào)錯(cuò)，并找到日志才發(fā)現(xiàn)是哪里寫錯(cuò)了，而且提示的也不清楚。所以推薦使用idea來(lái)完成改源碼的操作，好處不言而喻。

1.下載解壓hive源碼，用idea打開為Maven項(xiàng)目（jdk1.8），這時(shí)所有的依賴就會(huì)自動(dòng)下載

2.將寫好的UDF的java代碼放在org.apache.hadoop.hive.ql.udf包下

3.在org.apache.hadoop.hive.ql.exec.FunctionRegistry類中靜態(tài)代碼塊添加注冊(cè)

4.Maven打包

1）點(diǎn)掉tests，相當(dāng)于-DskipTests=true

2）命令行添加-e，可以輸出錯(cuò)誤棧信息

3）Profiles填寫hadoop-2 dist,相當(dāng)于-Phadoop-2,dist（如上圖）

運(yùn)行報(bào)錯(cuò)：

Caused by: java.io.IOException: Cannot run program "bash" (in directory "F:IdeaProjectshive-1.1.0-cdh5.7.0common"): CreateProcess error=2, 系統(tǒng)找不到指定的文件。

這是因?yàn)樵赪indows環(huán)境不能執(zhí)行bash。那么需要能執(zhí)行bash環(huán)境，有一個(gè)神器：Git
安裝git后，打開Git Bash，即可在Windows系統(tǒng)中執(zhí)行Linux命令了！
cd到hive源碼項(xiàng)目根目錄，執(zhí)行mvn -e clean package -Phadoop-2,dist -DskipTests=true

注意事項(xiàng)：需要配置Maven環(huán)境變量，并且一定要寫%M2_HOME%而非%MAVEN_HOME%！

編譯成功后，在項(xiàng)目根目錄下的packaging/target下會(huì)生成tar包和一個(gè)同名文件夾，如下圖。同名文件夾是這個(gè)tar包解壓后的文件夾，上傳到Linux可直接使用，免解壓。