centos7安装kafka详细步骤

2020年06月08日 80点热度 0人点赞 0条评论

Kafka是使用scala编写的运行与jvm虚拟机上的程序,虽然也可以在windows上使用,但是kafka基本上是运行在linux服务器上,因此我们这里也使用centos7来实战。

首先确保你的机器上安装了jdk,kafka需要java运行环境,以前的kafka还需要zookeeper,新版的kafka已经内置了一个zookeeper环境,所以我们可以直接使用,但还是建议使用自己安装的zookeeper

ApacheKafka是一个分布式流媒体平台,它主要有3种功能
1、发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因
2、以容错的方式记录消息流,kafka以文件的方式来存储消息流
3、可以再消息发布的时候进行处理

使用场景:


1、在系统或应用程序之间构建可靠的用于传输实时数据的管道,消息队列功能
2、构建实时的流数据处理程序来变换或处理数据流,数据处理功能

0. Kafka包下载

http://mirror.bit.edu.cn/apache/kafka/

1. 集群环境

Master 192.168.71.10
Slave1 192.168.71.11
Slave2 192.168.71.12

2. 下载软件包

#Master
wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
tar zxvf kafka_2.11-0.10.2.1.tgz

3. 修改Kafka配置文件

#Master节点
cd kafka_2.11-0.10.2.1/config
vim server.properties
log.dirs=/tmp/kafka-logs
zookeeper.connect=master:2181,slave1:2181,slave2:2181

4. 增加环境变量

#Master、Slave1、Slave2
vim ~/.bashrc
export KAFKA_HOME=/usr/local/src/kafka_2.11-0.10.2.1
export PATH=$KAFKA_HOME/bin:$PATH
#刷新环境变量
source ~/.bashrc

5. 拷贝软件包

scp -r /usr/local/src/kafka_2.11-0.10.2.1 root@slave1:/usr/local/src/
scp -r /usr/local/src/kafka_2.11-0.10.2.1 root@slave2:/usr/local/src/

6. 修改Kafka配置文件

#Master
vim kafka-path/config/server.properties
broker.id=0
#Slave1
vim kafka-path/config/server.properties
broker.id=1
#Slave2
vim kafka-path/config/server.properties
broker.id=2

7. 启动Kafka-Zookeeper集群

#如果启动了Zookeeper集群则跳过此步骤
vim /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka-zookeeper.sh
# 添加以下内容到start-kafka-zookeeper.sh
/usr/local/src/kafka_2.11-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/src/kafka_2.11-0.10.2.1/config/zookeeper.properties
# 给start-kafka-zookeeper.sh添加可执行权限
chmod +x /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka-zookeeper.sh
#启动zookeeper集群
start-kafka-zookeeper.sh

8.启动Kafka集群

#Master、Slave1、Slave2
vim /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka.sh
# 添加一下内容到start-kafka.sh文件中:
/usr/local/src/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh /usr/local/src/kafka_2.11-0.10.2.1/config/server.properties
# 给start-kafka.sh添加可执行权限
chmod +x /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka.sh
普通启动:
start-kafka.sh
后台启动:
start-kafka.sh &

9. 进程状态

jps
#Master
kafka
#Slave1
kafka
#Slave2
kafka

10. 关闭集群

kafka-server-stop.sh
安装scala:centos7下安装scala

阿布

源自灵魂深处的自我救赎。

文章评论