国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

hadoop搭建

Tecode / 1927人閱讀

摘要:命令如果是集群做這一步將上的放到其他的目錄下。命令遠程主機用戶名遠程主機名或存放路徑。修改權限,命令測試是否成功輸入用戶名密碼,然后退出,再次不用密碼,直接進入系統。

  • root用戶密碼 itcast
  • hadoop用戶密碼 hadoop
  • ①修改主機名

    hostnamectl set-hostname hadoop00
  • ②添加hadoop 用戶

    創建hadoop 用戶
    [root@hadoop00 ~]# adduser hadoop
    為hadoop用戶設置密碼 
    [root@hadoop00 ~]# passwd hadoop   
    為hadoop用戶設置root權限  在sudoers中添加下面內容
    [root@hadoop00 ~]# vim /etc/sudoers
    hadoop ALL=(ALL) ALL?
  • ③配置免密碼登陸

    -- 配置ssh,實現無密碼登陸
    每臺虛擬機上,使用   
    ssh-keygen -t rsa    
    一路按回車就行了。
    打開~/.ssh 
    [hadoop@hadoop001 .ssh]$ sudo cat id_rsa.pub >> authorized_keys
     ①在master上將公鑰放到authorized_keys里。命令:sudo cat id_rsa.pub >> authorized_keys
     ② 如果是集群做這一步 將master上的authorized_keys放到其他linux的~/.ssh目錄下。
      命令:sudo scp authorized_keys hadoop@10.10.11.192:~/.ssh       
       sudo scp authorized_keys 遠程主機用戶名@遠程主機名或ip:存放路徑。
     ③修改authorized_keys權限,命令:chmod 644 authorized_keys
     ④測試是否成功
     ssh hadoop00 輸入用戶名密碼,然后退出,再次ssh hadoop00不用密碼,直接進入系統。這就表示成功了。
    
    
  • ④下載jdk 和 hadoop 放到 ~/software目錄下 然后解壓到 ~/app目錄下

    tar -zxvf 壓縮包名字 -C ~/app/
  • ⑤配置環境變量

    vi ~/.bash_profile
    export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
    export PATH=$JAVA_HOME/bin:$PATH
    export HADOOP_HOME=/home/hadoop/app/hadoop......
    export PATH=$HADOOP_HOME/bin:$PATH
    
    #保存退出后
    source ~/.bash_profile
  • ⑥進入到解壓后的hadoop目錄

    • 修改hadoop-env.sh
    cd etc/hadoop
    vi hadoop-env.sh
    #找到下面內容添加java home
    export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
    • 修改 core-site.xml 在 節點中添加
    
      fs.default.name
      hdfs://hadoop000:8020
    
    • 修改hdfs-site.xml 在 configuration節點中添加
    
        dfs.namenode.name.dir
        /home/hadoop/app/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        /home/hadoop/app/tmp/dfs/data
    
    
        dfs.replication
        1
    
    • 修改 mapred-site.xml
    • 默認沒有這個 從模板文件復制
    cp mapred-site.xml.template mapred-site.xml

? 在mapred-site.xml 的configuration 節點中添加


    mapreduce.framework.name
    yarn
    • 修改yarn-site.xml configuration 節點中添加
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    • ⑦來到hadoop的bin目錄

      ./hadoop namenode -format (這個命令只運行一次)
    • ⑧ 啟動hdfs 進入到 sbin

      ./start-dfs.sh
    • ⑨ 啟動啟動yarn 在sbin中

      ./start-yarn.sh
    • 啟動后 jps 看到 說明偽分布式搭建成功

      6145 DataNode
      6514 ResourceManager
      6612 NodeManager
      67065 Jps
      6282 SecondaryNameNode
      6046 NameNode
      

    文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

    轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/125934.html

    相關文章

    • 基于Docker搭建Hadoop集群之升級版

      摘要:總之,項目還算很受歡迎吧,這篇博客將介紹項目的升級版。一項目介紹將打包到鏡像中,就可以快速地在單個機器上搭建集群,這樣可以方便新手測試和學習。之前的版本使用為集群提供服務,由于網絡功能更新,現在并不需要了。運行參考第二部分啟動,并運行。 摘要: kiwenlau/hadoop-cluster-docker是去年參加Docker巨好玩比賽開發的,得了二等獎并贏了一塊蘋果手表,目前這個項目...

      Zoom 評論0 收藏0
    • Hadoop大數據處理平臺的搭建

      摘要:由于最近在做一個小比賽,,需要搭建數據處理平臺,,由于數據量比較大,因此選擇了,本人并不是很熟悉這個平臺,,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會用到。 ?由于最近在做一個小比賽,,需要搭建數據處理平臺,,由于數據量比較大,因此選擇了Hadoop,本人并不是很熟悉這個平臺,,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會用到。搭建過程并不困難,由于手上沒...

      jone5679 評論0 收藏0

    發表評論

    0條評論

    最新活動
    閱讀需要支付1元查看
    <