摘要:命令如果是集群做這一步將上的放到其他的目錄下。命令遠程主機用戶名遠程主機名或存放路徑。修改權限,命令測試是否成功輸入用戶名密碼,然后退出,再次不用密碼,直接進入系統。
①修改主機名
hostnamectl set-hostname hadoop00
②添加hadoop 用戶
創建hadoop 用戶
[root@hadoop00 ~]# adduser hadoop
為hadoop用戶設置密碼
[root@hadoop00 ~]# passwd hadoop
為hadoop用戶設置root權限 在sudoers中添加下面內容
[root@hadoop00 ~]# vim /etc/sudoers
hadoop ALL=(ALL) ALL?
③配置免密碼登陸
-- 配置ssh,實現無密碼登陸
每臺虛擬機上,使用
ssh-keygen -t rsa
一路按回車就行了。
打開~/.ssh
[hadoop@hadoop001 .ssh]$ sudo cat id_rsa.pub >> authorized_keys
①在master上將公鑰放到authorized_keys里。命令:sudo cat id_rsa.pub >> authorized_keys
② 如果是集群做這一步 將master上的authorized_keys放到其他linux的~/.ssh目錄下。
命令:sudo scp authorized_keys hadoop@10.10.11.192:~/.ssh
sudo scp authorized_keys 遠程主機用戶名@遠程主機名或ip:存放路徑。
③修改authorized_keys權限,命令:chmod 644 authorized_keys
④測試是否成功
ssh hadoop00 輸入用戶名密碼,然后退出,再次ssh hadoop00不用密碼,直接進入系統。這就表示成功了。
④下載jdk 和 hadoop 放到 ~/software目錄下 然后解壓到 ~/app目錄下
tar -zxvf 壓縮包名字 -C ~/app/
⑤配置環境變量
vi ~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/app/hadoop......
export PATH=$HADOOP_HOME/bin:$PATH
#保存退出后
source ~/.bash_profile
⑥進入到解壓后的hadoop目錄
cd etc/hadoop
vi hadoop-env.sh
#找到下面內容添加java home
export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
fs.default.name
hdfs://hadoop000:8020
dfs.namenode.name.dir
/home/hadoop/app/tmp/dfs/name
dfs.datanode.data.dir
/home/hadoop/app/tmp/dfs/data
dfs.replication
1
cp mapred-site.xml.template mapred-site.xml
? 在mapred-site.xml 的configuration 節點中添加
mapreduce.framework.name
yarn
yarn.nodemanager.aux-services
mapreduce_shuffle
⑦來到hadoop的bin目錄
./hadoop namenode -format (這個命令只運行一次)
⑧ 啟動hdfs 進入到 sbin
./start-dfs.sh
⑨ 啟動啟動yarn 在sbin中
./start-yarn.sh
啟動后 jps 看到 說明偽分布式搭建成功
6145 DataNode
6514 ResourceManager
6612 NodeManager
67065 Jps
6282 SecondaryNameNode
6046 NameNode
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/125934.html
摘要:總之,項目還算很受歡迎吧,這篇博客將介紹項目的升級版。一項目介紹將打包到鏡像中,就可以快速地在單個機器上搭建集群,這樣可以方便新手測試和學習。之前的版本使用為集群提供服務,由于網絡功能更新,現在并不需要了。運行參考第二部分啟動,并運行。 摘要: kiwenlau/hadoop-cluster-docker是去年參加Docker巨好玩比賽開發的,得了二等獎并贏了一塊蘋果手表,目前這個項目...
摘要:由于最近在做一個小比賽,,需要搭建數據處理平臺,,由于數據量比較大,因此選擇了,本人并不是很熟悉這個平臺,,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會用到。 ?由于最近在做一個小比賽,,需要搭建數據處理平臺,,由于數據量比較大,因此選擇了Hadoop,本人并不是很熟悉這個平臺,,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會用到。搭建過程并不困難,由于手上沒...
閱讀 3528·2023-04-25 20:09
閱讀 3733·2022-06-28 19:00
閱讀 3053·2022-06-28 19:00
閱讀 3071·2022-06-28 19:00
閱讀 3160·2022-06-28 19:00
閱讀 2870·2022-06-28 19:00
閱讀 3031·2022-06-28 19:00
閱讀 2628·2022-06-28 19:00