hive的安装模式分为两种: 1、derby作为元数据库:derby主要是作为单机模式或者说测试使用,一般不会使用derby数据库 2、mysql作为元数据库:推荐使用mysql作为元数据库 hive仅仅是一个客户端工具,不存在集群的概念,所以无需每台节点都安装,哪个节点使用在哪个节安装即可,注意要使用同一个mysql同一个数据库。 hive的使用是依赖于hadoop的hdfs作为存储系统,以及mapreduce作为计算框架,所以在安装hive之前必须安装hadoop集群,并且启动hadoop。 http://mi…

2020年06月07日 0条评论 208点热度 1人点赞 阅读全文

搭建的hadoop2.7.7集群,在启动之后,通过jps会发现有缺少进程的情况。 有的会是缺少datanode,有的会缺少namenode,还有的会缺少resoucemanager。 在网上有很多种说法,究其根本无非就那么几个原因: 1、多次格式化造成clusterID不一致导致启动失败 2、yarn-site、core-site、hdfs-site、mapred-site四个配置文件没有配置正确 3、firewall(iptables)、selinux没有关闭 4、启动hadoop集群之前没有格式化集群 (注-1…

2020年06月07日 0条评论 409点热度 3人点赞 阅读全文

错误代码: Namenode is in safe mode. NameNode处于安全模式中。 错误原因: 1、hadoop集群在刚启动的时候,会对集群内所有节点的数据块进行检查,保证数据块的完整性, 在检查的这个阶段就会处于只读的模式,不允许系统内的文件进行修改和删除操作,直到安全模式结束。 2、hdfs中有数据块丢失,造成系统一直处于安全模式 解决办法-1: 1、强制离开安全模式:hadoop dfsadmin -safemode leave 2、在hdfs-site.xml配置参数: 参数名:dfs.saf…

2020年06月07日 0条评论 159点热度 0人点赞 阅读全文

错误信息:-bash: hadoop: command not found 原因:hadoop安装好之后,没有配置环境变量,导致hadoop命令无效 解决办法-1: 1.进入hadoop/bin中执行:./hadoop fs ls / 解决办法-2:环境变量需要每个节点都要添加,也可以将环境变量添加到系统环境变量中 1.vim /etc/profile,添加export HADOOP_HOME=hadoop的路径 2.添加export PATH=$PATH:$HADOOP_HOME/bin 3.source /et…

2020年06月07日 0条评论 104点热度 0人点赞 阅读全文

安装hadoop的前提,是需要你安装jdk,配置好静态ip,做好映射关系,做好互信,关闭防火墙。 hadoop的安装配置的安装路径中不要出现中文、空格特殊字符等。 0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common 1. 集群环境 master 192.168.71.10 slave1 192.168.71.11 slave2 192.168.71.12 2. 下载安装包 #master节点 wget http://mirror.bit.edu.…

2020年06月05日 1条评论 224点热度 0人点赞 阅读全文