Centos7中Flink详细安装步骤

2020年06月07日 155点热度 0人点赞 0条评论

  Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架,它基于同一个Flink流式执行模型(streaming execution model),能够支持流处理和批处理两种应用类型。
由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同,流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,
所以在实现的时候通常是分别给出两套实现方法,或者通过一个独立的开源框架来实现其中每一种处理方案。
比较典型的有:实现批处理的开源方案有MapReduce、Spark;实现流处理的开源方案有Storm;Spark的Streaming其实本质上也是微批处理。

Flink在实现流处理和批处理时,与传统的一些方案完全不同,它从另一个视角看待流处理和批处理,将二者统一起来:Flink是完全支持流处理
也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的。

0. 软件版本下载

http://mirror.bit.edu.cn/apache/flink/

1. 集群环境

Master 192.168.71.10
Slave1 192.168.71.11
Slave2 192.168.71.12

2. 下载软件包

#Master
wget http://mirror.bit.edu.cn/apache/flink/flink-1.5.2/flink-1.5.2-bin-hadoop28-scala_2.11.tgz
tar zxvf flink-1.5.2-bin-hadoop27-scala_2.11.tgz

3. 修改Flink配置

vim flink-1.5.2/conf/flink-conf.yaml
jobmanager.rpc.address: master
vim masters
master:8081
vim slaves
slave1
slave2

4. 拷贝安装包

scp -r /usr/local/src/flink-1.5.2  root@slave1:/usr/local/src/flink-1.5.2
scp -r /usr/local/src/flink-1.5.2  root@slave2:/usr/local/src/flink-1.5.2

5. 启动集群

cd /usr/local/src/flink-1.5.2/bin
./start-cluster.sh

6. 监控网页

http://master:8081

阿布

源自灵魂深处的自我救赎。

文章评论