1.x版本 Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志,他们的日志位置如下: JobTracker:在JobTracker安装节点上,默认位置是 ${hadoop.log.dir}/logs/*-jobtracker-*.log,该文件每天生成一个,旧的日志后缀是日期,当天的日志文件后缀是“.log”,其中${hadoop.log.dir}默认值是hadoop安装目录,即${HADOOP_HOME}。 TaskTracker:在各个TaskTrac…

2020年06月16日 0条评论 180点热度 1人点赞 阅读全文

HBase,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库) 由此来看,hbase的使用就需要hadoop、zookeeper,两者的安装可以参考文末链接! http://mirror.bit.edu.cn/apache/hbase/ Master 192.168.71.10 S…

2020年06月07日 0条评论 91点热度 0人点赞 阅读全文

  Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架,它基于同一个Flink流式执行模型(streaming execution model),能够支持流处理和批处理两种应用类型。 由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同,流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理, 所以在实现的时候通常是分别给出两套实现方法,或者通过一个独立的开源框架来实现其中每一种处理方案。 比较典型的有:实现批处理的开源方案有MapReduc…

2020年06月07日 0条评论 78点热度 0人点赞 阅读全文