docker安装kafka

docker 中安装kafka

在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。

zookeeper 安装

1. 在docker中拉取zookeeper 镜像

docker pull wurstmeister/zookeeper

2. 运行zookeeper 服务

docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181  wurstmeister/zookeeper

3. 查看docker 下是否正常运行zookeeper 服务

docker ps

kafka 安装

1. 拉取kafka镜像

docker pull wurstmeister/kafka

2. 运行kafka

KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092  wurstmeister/kafka

-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka 配置zookeeper管理kafka的路径
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 把kafka的地址端口注册给zookeeper
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

查看kafka是否运行正常

1. 进入kafka容器

docker exec -it kafka /bin/bash

2. 进入kafka的bin目录下：

cd  /opt/kafka_2.13-2.8.1/bin

3. 创建一个新主题（test-kafka)来存储事件

./kafka-topics.sh --create --topic test-kafka --bootstrap-server localhost:9092

4. 显示新主题：test-kafka 的分区信息

./kafka-topics.sh --describe --topic test-kafka --bootstrap-server localhost:9092

5. 测试消费消息

./kafka-console-consumer.sh --topic test-kafka --from-beginning --bootstrap-server localhost:9092

6. 测试生产消息

./kafka-console-producer.sh --topic test-kafka --bootstrap-server localhost:9092