摘要：由于最近在做一個小比賽，，需要搭建數據處理平臺，，由于數據量比較大，因此選擇了，本人并不是很熟悉這個平臺，，因此搭建過程中遇到了許多問題，，所以想記錄一下，以后可能會用到。

?由于最近在做一個小比賽，，需要搭建數據處理平臺，，由于數據量比較大，因此選擇了Hadoop，本人并不是很熟悉這個平臺，，因此搭建過程中遇到了許多問題，，所以想記錄一下，以后可能會用到。
搭建過程并不困難，由于手上沒有服務器，在虛擬機中搭建，本次搭建系統環境是ubuntu 14.04LTS，hadoop的版本是2.7.3

首先在ubuntu上安裝java環境，我選擇的是jdk1.8，jdk可以直接在官網下載，下載完成后上傳到ubuntu上

由于個人喜好，，我將它解壓到usr文件夾下

`cp java* /usr/`
`sudo tar -xzf java*`
`move java* java`

然后添加環境變量，sudo vim /etc/profile,在文件末尾追加一下幾行：

`#java`
`export JAVA_HOME=/usr/java`
`export JRE_HOME=/usr/java/jre`
`export CLASSPATH=$JAVA_HOME/lib`
`export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin`

然后下載hadoop2.7.3的壓縮包，并將其解壓到usr文件夾下，

然后添加環境變量，同上追加一下幾行：

`#hadoop`
`export HADOOP_HOME=/usr/hadoop`
`export PATH=$PATH:$HADOOP_HOME/sbin`
`export PATH=$PATH:$HADOOP_HOME/bin`

到這里準備工作幾乎完成了，下面需要配置ssh免密碼登錄，

先生成密鑰ssh-keygen -t rsa,一路回車，然后

`cd ~/.ssh`

cat id_rsa.pub >> ~/.ssh/authorized_keys

`chmod 600 authorized_keys`

添加一個用戶組和用戶來管理hadoop，首先添加一個用戶組，groupadd hadoop useradd hadoop -g hadoop passeord hadoop 輸入兩次密碼，到這里就完成了用戶和組的添加

此時需要配置hadoop環境，先創建dfs的文件夾，切換到hadoop用戶，然后在hadoop文件夾下添加dfs/name,dfs/data,/tmp

修改hadoop文件的屬性
切換到/usr/hadoop/etc/hadoop
1) 配置文件：hadoop-env.sh(文件都在/usr/hadoop/etc/hadoop中)
修改JAVA_HOME值（export JAVA_HOME=/usr/java）?

2) 配置文件：yarn-env.sh
修改JAVA_HOME值（export JAVA_HOME=/usr/java）

3) 配置文件：core-site.xml

   
   
       fs.defaultFS
       hdfs://master:9000
   
   
       io.file.buffer.size
       131072
   
   
       hadoop.tmp.dir
       file:/usr/hadoop/tmp
       Abase for other temporary   directories.
   
   

4)配置文件：hdfs-site.xml

   
      
               dfs.namenode.secondary.http-address
              master:9001
      
    
            dfs.namenode.name.dir
            file:/usr/hadoop/dfs/name
      
     
             dfs.datanode.data.dir
             file:/usr/hadoop/dfs/data
      
      
              dfs.replication
              2
       
       
                dfs.webhdfs.enabled
                 true
        
   

5) 配置文件：mapred-site.xml
先創建然后編輯
?cp mapred-site.xml.template mapred-site.xml

   
           
         mapreduce.framework.name
               yarn
          
         
                 mapreduce.jobhistory.address
                 master:10020
         
         
               mapreduce.jobhistory.webapp.address
               master:19888
      
   

6) 配置文件：yarn-site.xml

   
       
              yarn.nodemanager.aux-services
              mapreduce_shuffle
       
       
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
              org.apache.hadoop.mapred.ShuffleHandler
       
       
              yarn.resourcemanager.address
              master:8032
      
      
              yarn.resourcemanager.scheduler.address
              master:8030
      
      
           yarn.resourcemanager.resource-tracker.address
            master:8031
     
     
             yarn.resourcemanager.admin.address
              master:8033
      
      
              yarn.resourcemanager.webapp.address
              master:8088
      
   

到了這里基本完成了單機的配置，現在可以克隆虛擬機，，完成后修改hosts文件和主機名

ip分別是 192.168.137.150 151 152，hostname分別是master1 node1 node2,打開hosts文件配置ip和主機對應，然后修改/usr/hadoop/etc/hadoop/slaves 添加內容

node1
node2

完成配置，進行測試
啟動hadoophdfs namenode -format

sbin/start-all.sh sbin/mr-jobhistory-daemon.sh start