首页 > 技术文章 > kafka安装流程

lusaisai 2021-01-19 23:57 原文

本文是作者原创,版权归作者所有.若要转载,请注明出处.

安装前的环境准备

1.由于Kafka是用Scala语言开发的,运行在JVM上,在安装之前需要先安装JDK(省略)

2.kafka依赖zookeeper,所以需要先安装zookeeper,https://zookeeper.apache.org/releases.html

解压zookeeper,安装在/usr/local/java下

 tar zxvf zookeeper-3.4.14.tar.gz 

进入zk目录

cd zookeeper-3.4.14/

zookeeper的默认配置文件为/conf/zoo_sample.cfg,需要将其修改为zoo.cfg

cp conf/zoo_sample.cfg conf/zoo.cfg

进入zk的bin目录,启动zk服务端,查看zk状态,默认端口2181

cd /usr/local/java/zookeeper-3.4.14/bin

  ./zkServer.sh start

./zkServer.sh  status

添加放行端口

firewall-cmd --zone=public --add-port=2181/tcp --permanent

重启防火墙

firewall-cmd --reload

查看已开放端口:

firewall-cmd --list-all

安装kafka

 下载kafka(官网 http://kafka.apache.org/downloads),就按官方推荐的即可 

 1. 解压安装包,(前面2.12是Scala版本,后面2.4.1是kafka版本),安装在/usr/local/java下

tar zxvf kafka_2.12-2.4.1.tgz

2.修改配置文件 config/server.properties:

#broker.id属性在kafka集群中必须要是唯一

broker.id=0

#kafka部署的机器ip和提供服务的端口号

listeners=PLAINTEXT://内网ip:9092

#kafka部署的机器ip和提供服务的端口号,外网ip
advertised.listeners=PLAINTEXT://外网ip:9092


#kafka的消息存储文件 log.dir=/usr/local/java/data/kafka‐logs #kafka连接zookeeper的地址 zookeeper.connect=localhost:2181

3.进入kafka目录,后台启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

4 可以用jps命令,查看有没有kafka的进程

5. 停止kafka服务

bin/kafka-server-stop.sh config/server.properties

6.添加放行端口

firewall-cmd --zone=public --add-port=9302/tcp --permanent

重启防火墙

firewall-cmd --reload

查看已开放端口:

firewall-cmd --list-all

 

 

Zk和kafka都启动完成后测试

以下测试命令都在kafka主目录下进行

1. 创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.查看主题

bin/kafka-topics.sh --list --zookeeper localhost:2181

3. 发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4.接收消息 

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

5. 查看特定主题的详细信息 

bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test

 

6  删除主题

 

 本机电脑访问kafka

需要将配置文件server.properties修改一下,并重新启动

 

推荐阅读