centos安装spark详细步骤

2020年06月07日 184点热度 0人点赞 0条评论
spark包含了很多的部分:spark-core、spark-streaming、sprak-sql、spark-Mlib、spark-graphx等等。
spark可以单独安装作为计算框架,也可以和hadoop的yarn、hdfs一起使用。一般在企业中是配合yarn与hdfs一起使用,所以本文也是以此为基础安装。
安装spark之前需要安装scala,参考文末链接!
同样也需要hadoop集群
本文档适合spark 1.x版本 与 spark 2.x版本的安装,安装时,注意与自己本地路径一致!
0. Spark源码包下载
mirror.bit.edu.cn/apache/spark/
1. 集群环境
Master 192.168.71.10
Slave1 192.168.71.11
Slave2 192.168.71.12
2. 下载软件包
#Master
wget http://mirror.bit.edu.cn/apache/spark/spark-1.6.3/spark-1.6.3-bin-hadoop2.6.tgz
tar zxvf spark-1.6.3-bin-hadoop2.6.tgz
wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz
tar zxvf scala-2.12.4.tgz
3. 修改Spark配置文件
cd /usr/local/src/spark-1.6.3-bin-hadoop2.6/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
export SCALA_HOME=/usr/local/src/scala-2.12.4
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
export HADOOP_HOME=/usr/local/src/hadoop-2.8.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark-1.6.3-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G
mv slaves.template slaves
vim slaves
slave1
slave2
4. 拷贝安装包
scp -r /usr/local/src/spark-1.6.3-bin-hadoop2.6 root@slave1:/usr/local/src/
scp -r /usr/local/src/spark-1.6.3-bin-hadoop2.6 root@slave2:/usr/local/src/
scp -r /usr/local/src/scala-2.12.4 root@slave1:/usr/local/src/
scp -r /usr/local/src/scala-2.12.4 root@slave2:/usr/local/src/
5. 配置环境变量
export SPARK_HOME=/usr/local/src/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
6. 启动集群
cd /usr/local/src/spark-1.6.3-bin-hadoop2.6/sbin
./start-all.sh
7. 网页监控面板
master:8080
8. 验证
#本地模式
./bin/run-example SparkPi 10 --master local[2]
#集群Standlone
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 lib/spark-examples-1.6.3-hadoop2.6.0.jar 10
#集群
Spark1.0 on Yarn
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster lib/spark-examples-1.6.3-hadoop2.6.0.jar 10
spark2.0 on yarn
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.0.2.jar 10
hadoop集群安装:安装hadoop集群

阿布

源自灵魂深处的自我救赎。

文章评论