BigData精品文章

• 

  Hadoop分布式集群的搭建

  ...為了方便操作每個節點，默認在/usr/local/下新建一個名為bigdata的文件夾，存放所有的大數據相關的軟件。 $ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop:hadoop /usr/local/bigdata/ 4.1 解壓 $ sudo mkdir /usr/local/bigdata/java $ sudo tar -...

  leon 2019-07-24 10:56 評論0 收藏0
• 

  Hadoop安裝-Hadoop安裝方法

  ...adoop的方法如下：首先在命令行輸入以下代碼mkdir/opt/bigdata tarxfhadoop-2.6.5.tar.gz-C/opt/bigdata/ cd/opt/bigdata/ ln-sfhadoop-2.6.5hadoop詳細過程[root@node01~]#mkdir/opt/bigdata [root@node01~]#&n...

  白馬嘯西風 2022-09-07 15:20 評論0 收藏0
• 

  Spark的安裝及配置

  ...壓到安裝目錄 $ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/ $ cd /usr/local/bigdata/ $ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3 2.2 修改配置文件 配置文件位于/usr/local/bigdata/spark-2.4.3/conf目錄下。 (...

  lunaticf 2019-07-24 10:56 評論0 收藏0
• 

  大數據開發系列五：kafka& zookeeper 配置kerberos認證

  ....1 創建principle添加用戶kadmin.local -q addprinc -randkey zookeeper/bigdata-05@HADOOP.COMkadmin.local -q addprinc -randkey zookeeper/bigdata-01@HADOOP.COMkadmin.local -q addprinc -randkey zookeeper/data0...

  不知名網友 2023-01-11 11:02 評論0 收藏2694
• 

  Hive的安裝及配置

  ...接Derby 2.1 解壓 $ tar -zxvf apache-hive-2.3.5-bin.tar.gz -C /usr/local/bigdata & cd /usr/local/bigdata $ mv apache-hive-2.3.5-bin hive-2.3.5 $ sudo chown -R hadoop:hadoop hive #之前bigdata目錄已經修改過權限了 2....

  v1 2019-07-24 10:56 評論0 收藏0
• 

  zookeeper的安裝和使用

  ...e /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/bigdata/data/zkdata # the port at which the clients will connect clientPort=2181 # the maximum number of client connection...

  alogy 2019-07-24 10:57 評論0 收藏0
• 

  java-study-bigdata-flink-網絡資料-02-flink-wordcount

  flink word count 1、滑動窗口-wordcount ## 1.1 原理&code ## 原理： 代碼：https://github.com/chengbingh... ## 1.2 測試 ## 本地測試 linux 上執行：nc -l 10101 運行main方法 提交到集群測試 1、偽分布式集群搭建下載：https://www.apache.org/dyn/cl.....

  jsdt 2019-08-16 13:46 評論0 收藏0
• 

  java-study-bigdata-flink-網絡資料-03-flink-集群搭建

  Flink集群搭建 1、Standalone cluster 準備環境：機器：centos7-1（manager）, cenetos7-2(已經配置ssh免密登陸,關閉防火墻)jdk：jdk1.8flink:flink-1.6.1-bin-hadoop27-scala_2.11.tgz 1.1 flink 配置修改 配置jobmanager：FLINK_HOME/conf/flink-conf.y...

  bigdevil_s 2019-08-16 13:45 評論0 收藏0
• 

  java-study-bigdata-flink-網絡資料-01-flink 基本原理和應用場景

  前言 flink 相關學習，資料來源于網絡Flink中文社區：https://doc.flink-china.org/i...Flink官方網站：https://flink.apache.org/簡書上的翻譯：https://www.jianshu.com/u/e7c...教程：https://ke.qq.com/course/list... 1、Flink 簡介 備注：迭代計算用于機器學...

  DandJ 2019-08-16 13:45 評論0 收藏0