Flume是一个分布式、可靠、和高可用的海量日志采集、日志聚和  和 传输 的系统。 支持在日志系统中定制各类数据发送方,用于收集数据。 同时,Flume提供对数据进行简单处理,并具有写到各种数据接收方(HDFS、Hbase等)的功能。 其核心为Agent,是flume中最小的独立运行单位(JVM)。 核心组件为:source、channel、sink http://mirror.bit.edu.cn/apache/flume/ Master 192.168.71.10 Slave1 192.168.71.11 S…

2020年06月15日 0条评论 159点热度 0人点赞 阅读全文

zookeeper的安装相对比较简单,不需要配置大量的参数。 但是zookeeper要求Java运行环境,并且需要jdk版本1.6以上,安装jdk可以参考文末链接。 简单介绍下zooKeeper,它是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop(HA、联邦)和Hbase的重要组件。 它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等,可用于注册中心。 ZooKeeper的目标就是封装好复杂易出错的关键服务,…

2020年06月07日 0条评论 166点热度 1人点赞 阅读全文

0.scala包下载 https://www.scala-lang.org/ 1.下载解压 wget https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz tar -zxvf scala-2.11.4.tgz 2.添加到环境变量 vim ~/.bashrc export SCALA_HOME=/usr/local/src/scala-2.11.4 export PATH=$PATH:$SCALA_HOME/bin 3.刷新环境变量 source …

2020年06月07日 0条评论 143点热度 0人点赞 阅读全文

网上流传较广的50道SQL训练,奋斗了不知道多久终于写完了。前18道题的难度依次递增,从19题开始的后半部分算是循环练习和额外function的附加练习,难度恢复到普通状态。 第9题非常难,我反正没有写出来,如果有写出来了的朋友还请赐教。 这50道里面自认为应该没有太多错误,而且尽可能使用了最简单或是最直接的查询,有多种不相上下解法的题目我也都列出了,但也欢迎一起学习的朋友进行讨论和解法优化啊~ 数据表介绍 1.学生表 Student(SId,Sname,Sage,Ssex) SId 学生编号,Sname 学生姓名…

2020年06月05日 0条评论 197点热度 0人点赞 阅读全文

用户目录:/home/usr,称之为用户工作目录或家目录,表示方式: /home/usr ~ Linux 主要目录速查表 /:根目录,一般根目录下只存放目录,在 linux 下有且只有一个根目录,所有的东西都是从这里开始 当在终端里输入/home ,其实是在告诉电脑,先从 / (根目录)开始,再进入到 home 目录 /bin、/usr/bin:可执行二进制文件的目录,如常用的命令 ls、tar、mv、cat 等 /boot:放置 linux 系统启动时用到的一些文件,如 linux 的内核文件: /boot/vm…

2020年06月04日 0条评论 141点热度 0人点赞 阅读全文