spark包含了很多的部分:spark-core、spark-streaming、sprak-sql、spark-Mlib、spark-graphx等等。 spark可以单独安装作为计算框架,也可以和hadoop的yarn、hdfs一起使用。一般在企业中是配合yarn与hdfs一起使用,所以本文也是以此为基础安装。 安装spark之前需要安装scala,参考文末链接! 同样也需要hadoop集群 本文档适合spark 1.x版本 与 spark 2.x版本的安装,安装时,注意与自己本地路径一致! 0. Spark源…

2020年06月07日 0条评论 184点热度 0人点赞 阅读全文

hive的安装模式分为两种: 1、derby作为元数据库:derby主要是作为单机模式或者说测试使用,一般不会使用derby数据库 2、mysql作为元数据库:推荐使用mysql作为元数据库 hive仅仅是一个客户端工具,不存在集群的概念,所以无需每台节点都安装,哪个节点使用在哪个节安装即可,注意要使用同一个mysql同一个数据库。 hive的使用是依赖于hadoop的hdfs作为存储系统,以及mapreduce作为计算框架,所以在安装hive之前必须安装hadoop集群,并且启动hadoop。 http://mi…

2020年06月07日 0条评论 210点热度 1人点赞 阅读全文

hive的安装模式分为两种: 1、derby作为元数据库:derby主要是作为单机模式或者说测试使用,一般不会使用derby数据库 2、mysql作为元数据库:推荐使用mysql作为元数据库 hive仅仅是一个客户端工具,不存在集群的概念,所以无需每台节点都安装,哪个节点使用在哪个节点安装即可,注意要使用同一个mysql同一个数据库。 hive的使用是依赖于hadoop的hdfs作为存储系统,以及mapreduce作为计算框架,所以在安装hive之前必须安装hadoop集群,并且启动hadoop。 http://m…

2020年06月07日 0条评论 191点热度 1人点赞 阅读全文

0.scala包下载 https://www.scala-lang.org/ 1.下载解压 wget https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz tar -zxvf scala-2.11.4.tgz 2.添加到环境变量 vim ~/.bashrc export SCALA_HOME=/usr/local/src/scala-2.11.4 export PATH=$PATH:$SCALA_HOME/bin 3.刷新环境变量 source …

2020年06月07日 0条评论 104点热度 0人点赞 阅读全文

Tips 可以通过:yum search matplotlib 安装,迅速便捷~~~ 步骤 第一步 yum search matplotlib 返回结果: [root@master roi_auc_test]# yum search matplotlib 已加载插件:fastestmirror, langpacks Loading mirror speeds from cached hostfile * base: mirrors.zju.edu.cn * extras: mirror.lzu.edu.cn * u…

2020年06月07日 0条评论 109点热度 0人点赞 阅读全文
13456710