摘要：本文作者本文鏈接安裝說(shuō)明在安裝之前，需要安裝集群環(huán)境，如果沒(méi)有可以查看分布式集群的搭建用到的軟件軟件版本下載地址節(jié)點(diǎn)安排名稱主節(jié)點(diǎn)子節(jié)點(diǎn)子節(jié)點(diǎn)安裝解壓到安裝目錄修改配置文件配置文件位于目錄下。

本文作者：foochane?
本文鏈接：https://foochane.cn/article/2019051904.html

在安裝spark之前，需要安裝hadoop集群環(huán)境，如果沒(méi)有可以查看：Hadoop分布式集群的搭建

$ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/
$ cd /usr/local/bigdata/
$ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3

配置文件位于/usr/local/bigdata/spark-2.4.3/conf目錄下。

將spark-env.sh.template重命名為spark-env.sh。
添加如下內(nèi)容：

export SCALA_HOME=/usr/local/bigdata/scala
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=Master
SPARK_LOCAL_DIRS=/usr/local/bigdata/spark-2.4.3
SPARK_DRIVER_MEMORY=512M

將slaves.template重命名為slaves
修改為如下內(nèi)容：

Slave01
Slave02

在~/.bashrc文件中添加如下內(nèi)容，并執(zhí)行$ source ~/.bashrc命令使其生效

export SPARK_HOME=/usr/local/bigdata/spark-2.4.3
export PATH=$PATH:/usr/local/bigdata/spark-2.4.3/bin:/usr/local/bigdata/spark-2.4.3/sbin

先啟動(dòng)hadoop

$ cd $HADOOP_HOME/sbin/
$ ./start-dfs.sh
$ ./start-yarn.sh
$ ./start-history-server.sh

然后啟動(dòng)啟動(dòng)sapark

$ cd $SPARK_HOME/sbin/
$ ./start-all.sh
$ ./start-history-server.sh

要注意的是：其實(shí)我們已經(jīng)配置的環(huán)境變量，所以執(zhí)行start-dfs.sh和start-yarn.sh可以不切換到當(dāng)前目錄下，但是start-all.sh、stop-all.sh和/start-history-server.sh這幾個(gè)命令hadoop目錄下和spark目錄下都同時(shí)存在，所以為了避免錯(cuò)誤，最好切換到絕對(duì)路徑下。

spark啟動(dòng)成功后，可以在瀏覽器中查看相關(guān)資源情況：http://192.168.233.200:8080/，這里192.168.233.200是Master節(jié)點(diǎn)的IP

spark既可以使用Scala作為開發(fā)語(yǔ)言，也可以使用python作為開發(fā)語(yǔ)言。

spark中已經(jīng)默認(rèn)帶有scala，如果沒(méi)有或者要安裝其他版本可以下載安裝包安裝，過(guò)程如下：
先下載安裝包，然后解壓

$ tar zxvf scala-2.12.5.tgz -C /usr/local/bigdata/

然后在~/.bashrc文件中添加如下內(nèi)容，并執(zhí)行$ source ~/.bashrc命令使其生效

export SCALA_HOME=/usr/local/bigdata/scala-2.12.5
export PATH=/usr/local/bigdata/scala-2.12.5/bin:$PATH

測(cè)試是否安裝成功，可以執(zhí)行如下命令：

scala -version

Scala code runner version 2.12.5 -- Copyright 2002-2018, LAMP/EPFL and Lightbe

執(zhí)行 spark-shell --master spark://master:7077命令，啟動(dòng)spark shell。

hadoop@Master:~$ spark-shell --master spark://master:7077
19/06/08 08:01:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://Master:4040
Spark context available as "sc" (master = spark://master:7077, app id = app-20190608080221-0002).
Spark session available as "spark".
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _ / _ / _ `/ __/  "_/
   /___/ .__/\_,_/_/ /_/\_   version 2.4.3
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

系統(tǒng)已經(jīng)默認(rèn)安裝了python，但是為了方便開發(fā)，推薦可以直接安裝Anaconda，這里下載的是安裝包是Anaconda3-2019.03-Linux-x86_64.sh，安裝過(guò)程也很簡(jiǎn)單，直接執(zhí)行$ bash Anaconda3-2019.03-Linux-x86_64.sh即可。

執(zhí)行命令：$ pyspark --master spark://master:7077

具體如下：

hadoop@Master:~$ pyspark --master spark://master:7077
Python 3.6.3 |Anaconda, Inc.| (default, Oct 13 2017, 12:02:49)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
19/06/08 08:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _ / _ / _ `/ __/  "_/
   /__ / .__/\_,_/_/ /_/\_   version 2.4.3
      /_/

Using Python version 3.6.3 (default, Oct 13 2017 12:02:49)
SparkSession available as "spark".
>>>
>>>