摘要:按打開終端窗口,執(zhí)行如下命令安裝并設(shè)置免密登陸注意每次配置時,需要注意當(dāng)前目錄為。的配置文件位于中,偽分布式需要修改個配置文件和。的配置文件是格式,每個配置以聲明的和的方式來實現(xiàn)。
1.創(chuàng)建Hadoop用戶
三部曲:添加用戶,設(shè)置密碼,給該用戶設(shè)置管理員權(quán)限
為 hadoop 用戶增加管理員權(quán)限,方便部署,避免一些對新手來說比較棘手的權(quán)限問題
sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo
2.登陸hadoop用戶后,更新apt
當(dāng)前用戶為hadoop,我們先更新一下 apt,后續(xù)我們使用 apt 安裝軟件,如果沒更新可能有一些軟件安裝不了。按 ctrl+alt+t 打開終端窗口,執(zhí)行如下命令:
sudo apt-get update
3.安裝ssh并設(shè)置ssh免密登陸
注意:每次配置時,需要注意當(dāng)前目錄為hadoop。
集群、單節(jié)點模式都需要用到 SSH 登陸(類似于遠(yuǎn)程登陸,你可以登錄某臺 Linux 主機,并且在上面運行命令),Ubuntu 默認(rèn)已安裝了 SSH client,此外還需要安裝 SSH server:
hadoop@master:~$sudo apt-get install openssh-server //設(shè)置免密登陸,下面命令將創(chuàng)建一個新的密鑰 ssh-keygen -t rsa -P ""
如下圖:
并將生成的密鑰加入到授權(quán)中:
hadoop@master:~$cat /home/hadoop/.ssd/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys #測試SSH設(shè)置通過“hadoop”用戶連接到locahost,就是先su hadoop,然后使用ssh hadoop@master:~$ssh localhost
4.安裝java
先檢查 Ubuntu 操作系統(tǒng)的架構(gòu)是32位還是64位
xugui@master:~$file /sbin/init
然后安裝相應(yīng)的jdk,例如,jdk-8-linux-x64.tar.gz
在本教程中,我們將提取的下載文件到 /usr/local ,如下命令:
xugui@master:~$ sudo tar -xvf jdk-8u60-linux-64.tar.gz -C /usr/local #添加環(huán)境變量 vim /etc/porfile
添加下面內(nèi)空到系統(tǒng)變量,即 /etc/profile 文件的結(jié)束
JAVA_HOME=/usr/local/jdk1.8.0_60 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin export JAVA_HOME export PATH
現(xiàn)在讓 Ubuntu 知道 JDK/JRE 的位置
xugui@master:~$ sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/jdk1.8.0_60/bin/java" 1 xugui@master:~$ sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/jdk1.8.0_60/bin/javac" 1 xugui@master:~$ sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/jdk1.8.0_60/bin/javaws" 1
告訴 Ubuntu 我們安裝的即 jdk1.8.0_60 必須是默認(rèn)的Java
xugui@master:~$ sudo update-alternatives --set java /usr/local/jdk1.8.0_60/bin/java xugui@master:~$ sudo update-alternatives --set javac /usr/local/jdk1.8.0_60/bin/javac xugui@master:~$ sudo update-alternatives --set javaws /usr/local/jdk1.8.0_60/bin/javaws
最后查看Java的版本:java -version
5.下載并安裝hadoop
去hadoop官網(wǎng)下載hadoop-2.6.0.tar.gz
我們選擇將 Hadoop 安裝至 /usr/local/ 中:
sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local # 解壓到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 將文件夾名改為hadoop sudo chown -R hadoop ./hadoop # 修改文件權(quán)限
Hadoop偽分布式配置
添加環(huán)境變量:vim ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop export JAVA_HOME=/usr/local/jdk1.8.0_60 export PATH=$PATH:$HADOOP_HOME/bin
然后 source ~/.bashrc
配置關(guān)聯(lián)HDFS,設(shè)置 JAVA_HOME 在文件 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 中
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh #添加jdk export JAVA_HOME=/usr/local/jdk1.8.0_60
Hadoop 可以在單節(jié)點上以偽分布式的方式運行,Hadoop 進程以分離的 Java 進程來運行,節(jié)點既作為 NameNode 也作為 DataNode,同時,讀取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,偽分布式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)。
修改配置文件 :core-site.xml vim /usr/local/hadoop/etc/hadoop/core-site.xml#修改配置文件 hdfs-site.xml: vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000 dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
Map Reduce 配置
#修改配置文件: mapred-site.xml vim /usr/local/hadoop/etc/hadoop/mapred-site.xmlmapreduce.jobtracker.address localhost:9001
在hadoop用戶下,先用ssh localhost,然后格式化hdfs:
#./bin/hdfs是相對路徑,就是先cd到/usr/local/hadoop目錄下 hadoop@master:~$./bin/hdfs namenode -format
顯示格式化成功
#./sbin同上是相對路徑,啟動hdfs和 ./sbin/start-dfs.sh ./sbin/start-yarn.sh #然后輸入jps,查看是否啟動成功 jps
如下圖:
終止這兩個守護進程hdfs和yarn
./sbin/stop-dfs.sh ./sbin/stop-yarn.sh
到目前為止,偽分布式環(huán)境已經(jīng)搭建成功了。
我也是新手,寫個教程總結(jié)一下,然后也是踩了不少坑過來的,可以參考一下以下兩個教程:
http://dblab.xmu.edu.cn/blog/...
https://wizardforcel.gitbooks...
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/70770.html
摘要:中默認(rèn)配置和的存放位置的地址就是基于此。需配置成,才可運行程序的主機名對客戶端暴露的地址。客戶端通過該地址向提交應(yīng)用程序,殺死應(yīng)用程序等對暴露的訪問地址。注意,該參數(shù)是不可修改的,一旦設(shè)置,整個運行過程中不可動態(tài)修改。 集群環(huán)境 Hadoop版本為2.7.4 JDK版本1.8.0_144 安裝了三臺虛擬機分別設(shè)定名稱和IP如下 主機名稱 IP地址 master 192.1...
摘要:,一個開源的消息隊列工具,且由語言開發(fā)的的開源實現(xiàn)的。第一系統(tǒng)環(huán)境安裝升級這里我們使用的是系統(tǒng)。第二安裝依賴環(huán)境我們在執(zhí)行安裝之前,需要安裝依賴環(huán)境。第三安裝然后我們需要啟動服務(wù)。RabbitMQ,一個開源的消息隊列工具,且由 Erlang 語言開發(fā)的 AMQP的開源實現(xiàn)的。RabbitMQ最早源于金融系統(tǒng),使用在分布式系統(tǒng)中存儲轉(zhuǎn)發(fā)消息,在易用性、擴展性、高可用性等方面表現(xiàn)都比較優(yōu)秀。在這...
摘要:第一次接觸集群,感謝官方的指導(dǎo)文檔和許多網(wǎng)友提供的教程,糊糊涂涂算是把集群部署起來了。應(yīng)該為每個運行的機器添加一個,否則集群處于狀態(tài)。至此的集群搭建算是完成了,下一步會進行塊設(shè)備的搭建。參考分布式存儲部署手冊如何在中安裝存儲集群部署版 第一次接觸ceph集群,感謝官方的指導(dǎo)文檔和許多網(wǎng)友提供的教程,糊糊涂涂算是把集群部署起來了。由于Luminous12.2剛發(fā)布不久,部署起來跟舊版本還...
摘要:查看版本,確認(rèn)已正確安裝查看鏡像拉取一個默認(rèn)拉去最新版本的鏡像,當(dāng)然也可以指定之后的數(shù)字為鏡像版本拉取成功后該數(shù)字即為鏡像的標(biāo)簽進入鏡像首先查看我們的拉取的鏡像輸出即為我們剛拉取的鏡像,繼續(xù)執(zhí)行若不是,需要帶上以交互模式運行容 查看docker版本,確認(rèn)docker已正確安裝 $ docker --version Docker version 18.09.2, build 624796...
閱讀 3699·2021-11-11 16:55
閱讀 1646·2021-10-08 10:04
閱讀 3580·2021-09-27 13:36
閱讀 2761·2019-08-30 15:53
閱讀 1855·2019-08-30 11:17
閱讀 1259·2019-08-29 16:55
閱讀 2098·2019-08-29 13:57
閱讀 2513·2019-08-29 13:13