1.x版本 Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志,他们的日志位置如下: JobTracker:在JobTracker安装节点上,默认位置是 ${hadoop.log.dir}/logs/*-jobtracker-*.log,该文件每天生成一个,旧的日志后缀是日期,当天的日志文件后缀是“.log”,其中${hadoop.log.dir}默认值是hadoop安装目录,即${HADOOP_HOME}。 TaskTracker:在各个TaskTrac…

2020年06月16日 0条评论 391点热度 1人点赞 阅读全文

搭建的hadoop2.7.7集群,在启动之后,通过jps会发现有缺少进程的情况。 有的会是缺少datanode,有的会缺少namenode,还有的会缺少resoucemanager。 在网上有很多种说法,究其根本无非就那么几个原因: 1、多次格式化造成clusterID不一致导致启动失败 2、yarn-site、core-site、hdfs-site、mapred-site四个配置文件没有配置正确 3、firewall(iptables)、selinux没有关闭 4、启动hadoop集群之前没有格式化集群 (注-1…

2020年06月07日 0条评论 414点热度 4人点赞 阅读全文

错误代码: Namenode is in safe mode. NameNode处于安全模式中。 错误原因: 1、hadoop集群在刚启动的时候,会对集群内所有节点的数据块进行检查,保证数据块的完整性, 在检查的这个阶段就会处于只读的模式,不允许系统内的文件进行修改和删除操作,直到安全模式结束。 2、hdfs中有数据块丢失,造成系统一直处于安全模式 解决办法-1: 1、强制离开安全模式:hadoop dfsadmin -safemode leave 2、在hdfs-site.xml配置参数: 参数名:dfs.saf…

2020年06月07日 0条评论 160点热度 0人点赞 阅读全文

错误信息:-bash: hadoop: command not found 原因:hadoop安装好之后,没有配置环境变量,导致hadoop命令无效 解决办法-1: 1.进入hadoop/bin中执行:./hadoop fs ls / 解决办法-2:环境变量需要每个节点都要添加,也可以将环境变量添加到系统环境变量中 1.vim /etc/profile,添加export HADOOP_HOME=hadoop的路径 2.添加export PATH=$PATH:$HADOOP_HOME/bin 3.source /et…

2020年06月07日 0条评论 105点热度 0人点赞 阅读全文

hadoop集群只需要格式化一次就可以,多次格式化会造成id不一致 每次格式化后,名称结点 的clusterID(集群ID)会被新建,而数据结点的clusterID还是原来的,造成名称结点和数据节点的clusterID不一致 从而发生故障,例如:某个进程启动不起来 解决方法: 1、关闭集群 2、删除/usr/local/src/hadoop-2.6.1/dfs/name 下面文件 【每个节点操作】 3、删除/usr/local/src/hadoop-2.6.1/dfs/data 下面文件 【每个节点操作】 4、删除…

2020年06月07日 0条评论 208点热度 2人点赞 阅读全文
12