hive的安装模式分为两种: 1、derby作为元数据库:derby主要是作为单机模式或者说测试使用,一般不会使用derby数据库 2、mysql作为元数据库:推荐使用mysql作为元数据库 hive仅仅是一个客户端工具,不存在集群的概念,所以无需每台节点都安装,哪个节点使用在哪个节安装即可,注意要使用同一个mysql同一个数据库。 hive的使用是依赖于hadoop的hdfs作为存储系统,以及mapreduce作为计算框架,所以在安装hive之前必须安装hadoop集群,并且启动hadoop。 http://mi…

2020年06月07日 0条评论 117点热度 1人点赞 阅读全文

搭建的hadoop2.7.7集群,在启动之后,通过jps会发现有缺少进程的情况。 有的会是缺少datanode,有的会缺少namenode,还有的会缺少resoucemanager。 在网上有很多种说法,究其根本无非就那么几个原因: 1、多次格式化造成clusterID不一致导致启动失败 2、yarn-site、core-site、hdfs-site、mapred-site四个配置文件没有配置正确 3、firewall(iptables)、selinux没有关闭 4、启动hadoop集群之前没有格式化集群 (注-1…

2020年06月07日 0条评论 277点热度 2人点赞 阅读全文

错误代码: Namenode is in safe mode. NameNode处于安全模式中。 错误原因: 1、hadoop集群在刚启动的时候,会对集群内所有节点的数据块进行检查,保证数据块的完整性, 在检查的这个阶段就会处于只读的模式,不允许系统内的文件进行修改和删除操作,直到安全模式结束。 2、hdfs中有数据块丢失,造成系统一直处于安全模式 解决办法-1: 1、强制离开安全模式:hadoop dfsadmin -safemode leave 2、在hdfs-site.xml配置参数: 参数名:dfs.saf…

2020年06月07日 0条评论 73点热度 0人点赞 阅读全文
12