hadoop-2.6.0-cdh5.7.0源碼編譯支持壓縮

NoraXie 發布于2019-08-19 11:36 / 695人閱讀

摘要：準備解壓源碼包，看到里面有個文件，里面列出了編譯所需依賴組件。轉載鏈接文章中或通過安裝或通過自己下載提供了所有正確版本組件，并將已下載組件通過百度云分享。可以看到編譯的支持了各種壓縮，親測有效

準備：
解壓hadoop-2.6.0-cdh5.7.0.tar.gz源碼包，看到里面有個BUILDING.txt文件，里面列出了編譯所需依賴組件。

Requirements:

Unix System
JDK 1.7+
Maven 3.0 or later
Findbugs 1.3.9 (if running findbugs)
ProtocolBuffer 2.5.0
CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
Zlib devel (if compiling native code)
openssl devel ( if compiling native hadoop-pipes )
Internet connection for first build (to fetch all Maven and Hadoop dependencies)

轉載鏈接文章中或通過yum安裝或通過自己下載提供了所有正確版本組件，并將已下載組件通過百度云分享。
我想補充一點的是，yum安裝可能報出Another app is currently holding the yum lock; waiting for it to exit...的錯誤，可參考https://blog.csdn.net/testcs_...
強制關閉yum進程來解決。

編譯：

根據BUILDING.txt提示

Build options:
Use -Pnative to compile/bundle native code   * Use -Pdocs to
generate & bundle the documentation in the distribution (using -Pdist)
Use -Psrc to create a project source TAR.GZ   * Use -Dtar to create a TAR with the distribution (using -Pdist)
Building distributions:
Create binary distribution without native code and without
documentation:
$ mvn package -Pdist -DskipTests -Dtar
Create binary distribution with native code and with documentation:
$ mvn package -Pdist,native,docs -DskipTests -Dtar

cd到解壓后的hadoop-2.6.0-cdh5.7.0源碼目錄下，使用mvn -e clean package -Pdist,native -DskipTests -Dtar編譯（使用-e參數輸出錯誤堆棧信息，有利于定位），編譯完成后，默認會在源碼根目錄的hadoop-dist目錄下生成target，里面的hadoop-2.6.0-cdh5.7.0文件夾就是已經編譯好并已解壓的hadoop了（直接用的），可以將其拷貝到自定義的位置進行部署配置。

[root@NN1 hadoop-2.6.0-cdh5.7.0]# ./bin/hadoop checknative
19/04/10 11:22:34 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/04/10 11:22:34 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /root/hadoop-c/hadoop-2.6.0-cdh5.7.0-target/hadoop-2.6.0-cdh5.7.0/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:99
bzip2:   true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so

可以看到編譯的hadoop支持了各種壓縮，親測有效！

USDP大數據平臺 c語言數據壓縮源碼源碼編譯步驟源碼編譯模塊源碼編譯調試

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/77526.html

Nginx(1)-創建一個靜態 Web 站點

摘要：的配置文件是以塊形式組織，每個都是以一個塊名稱和一對大括號組成。這里注意的是，當打開的是首頁依然是一個頁面，只有中繼續定義了查看靜態網站文件系統目錄中的某一目錄時，才會將文件列出。使用此啟動類型應同時指定，以便能夠跟蹤服務的主進程。初識Nginx Nginx 的三個主要應用場景：靜態資源服務：通過本地文件系統提供服務反向代理服務：緩存加速與負載均衡 API服務：OpenRest...

simpleapples 2019-07-25 14:42 評論0 收藏0
webpack優化

摘要：使用要給項目構建接入動態鏈接庫的思想，需要完成以下事情把網頁依賴的基礎模塊抽離出來，打包到一個個單獨的動態鏈接庫中去。接入已經內置了對動態鏈接庫的支持，需要通過個內置的插件接入，它們分別是插件用于打包出一個個單獨的動態鏈接庫文件。 webpack優化查看所有文檔頁面：全棧開發，獲取更多信息。原文鏈接：webpack優化，原文廣告模態框遮擋，閱讀體驗不好，所以整理成本文，方便查找。 ...

ChanceWong 2019-08-22 17:34 評論0 收藏0
【失敗】windows10中利用MingGW編譯64 bit GVIM with python27/

摘要：終極目標問題描述首先聲明，這是一次失敗的編譯經歷，僅供參考，歡迎討論。近期發現是一個很棒的編輯器，簡潔高效。所以，毅然決然，自己從源碼編譯一個。首先運行上面目錄樹中的。我猜想這可能和我的失敗有關。設置為，編譯結果是，則代表。終極目標 VIM = Python multi-version IDE 問題描述首先聲明，這是一次失敗的編譯經歷，僅供參考，歡迎討論。近期發現VIM是一個很棒...

cikenerd 2019-07-25 10:17 評論0 收藏0