Flume是一个分布式、可靠、和高可用的海量日志采集、日志聚和  和 传输 的系统。 支持在日志系统中定制各类数据发送方,用于收集数据。 同时,Flume提供对数据进行简单处理,并具有写到各种数据接收方(HDFS、Hbase等)的功能。 其核心为Agent,是flume中最小的独立运行单位(JVM)。 核心组件为:source、channel、sink http://mirror.bit.edu.cn/apache/flume/ Master 192.168.71.10 Slave1 192.168.71.11 S…

2020年06月15日 0条评论 115点热度 0人点赞 阅读全文

0.scala包下载 https://www.scala-lang.org/ 1.下载解压 wget https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz tar -zxvf scala-2.11.4.tgz 2.添加到环境变量 vim ~/.bashrc export SCALA_HOME=/usr/local/src/scala-2.11.4 export PATH=$PATH:$SCALA_HOME/bin 3.刷新环境变量 source …

2020年06月07日 0条评论 104点热度 0人点赞 阅读全文

搭建的hadoop2.7.7集群,在启动之后,通过jps会发现有缺少进程的情况。 有的会是缺少datanode,有的会缺少namenode,还有的会缺少resoucemanager。 在网上有很多种说法,究其根本无非就那么几个原因: 1、多次格式化造成clusterID不一致导致启动失败 2、yarn-site、core-site、hdfs-site、mapred-site四个配置文件没有配置正确 3、firewall(iptables)、selinux没有关闭 4、启动hadoop集群之前没有格式化集群 (注-1…

2020年06月07日 0条评论 414点热度 4人点赞 阅读全文

错误代码: Namenode is in safe mode. NameNode处于安全模式中。 错误原因: 1、hadoop集群在刚启动的时候,会对集群内所有节点的数据块进行检查,保证数据块的完整性, 在检查的这个阶段就会处于只读的模式,不允许系统内的文件进行修改和删除操作,直到安全模式结束。 2、hdfs中有数据块丢失,造成系统一直处于安全模式 解决办法-1: 1、强制离开安全模式:hadoop dfsadmin -safemode leave 2、在hdfs-site.xml配置参数: 参数名:dfs.saf…

2020年06月07日 0条评论 160点热度 0人点赞 阅读全文

用户目录:/home/usr,称之为用户工作目录或家目录,表示方式: /home/usr ~ Linux 主要目录速查表 /:根目录,一般根目录下只存放目录,在 linux 下有且只有一个根目录,所有的东西都是从这里开始 当在终端里输入/home ,其实是在告诉电脑,先从 / (根目录)开始,再进入到 home 目录 /bin、/usr/bin:可执行二进制文件的目录,如常用的命令 ls、tar、mv、cat 等 /boot:放置 linux 系统启动时用到的一些文件,如 linux 的内核文件: /boot/vm…

2020年06月04日 0条评论 106点热度 0人点赞 阅读全文
12