MAC m系列Docker安装kafka

kafka依赖zookeeper，因此需要使用docker同时安装zookeeper和kafka。 macOS的docker在容器和宿主之间无法通过ip直接通信，因此在安装的时候需要特殊注意与ip相关的设置。当容器需要访问宿主ip时，需要使用docker.for.mac.host.internal或者host.docker.internal代替。

docker安装zookeeper

# 1.拉取镜像 这里选择3.5.9版本
docker pull zookeeper:3.5.9
# 2.启动zookeeper，寻找需要挂载的内容
docker run --name zookeeper3.5.9 -p 2181:2181 --restart always -d zookeeper:3.5.9
# 3.停止并删除启动的容器
docker stop zookeeper3.5.9
docker rm zookeeper3.5.9
# 4.创建需要挂载的目录
/Users/ityoung/workspace/zookeeper/data
/Users/ityoung/workspace/zookeeper/conf
/Users/ityoung/workspace/zookeeper/logs
# 5.启动镜像
docker run -d --name zookeeper3.5.9 --privileged=true -p 2181:2181  -v /Users/ityoung/workspace/zookeeper/data:/data -v /Users/ityoung/workspace/zookeeper/conf:/conf -v /Users/ityoung/workspace/zookeeper/logs:/datalog zookeeper:3.5.9

这里conf下面需要创建一个配置文件zoo.cfg

dataDir=/data
clientPort=2181
dataLogDir=/datalog
tickTime=2000
initLimit=5
syncLimit=2
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60
standaloneEnabled=true
admin.enableServer=true
server.1=localhost:2888:3888;2181

这样我们的zookeeper就安装完成了。

docker安装kafka

# 1.拉取镜像 这里选择默认版本
docker pull wurstmeister/kafka
# 2.启动镜像
docker run -d --name kafka -p 9092:9092 
-e KAFKA_BROKER_ID=0 
-e KAFKA_ZOOKEEPER_CONNECT=docker.for.mac.host.internal:2181/kafka 
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://docker.for.mac.host.internal:9092 
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka

• -d设置后台运行

• --name 指定容器别名

• -p 2181:2181绑定容器端口到宿主端口

• -e参数可以设置docker容器内环境变量：

  • KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己

  • KAFKA_ZOOKEEPER_CONNECT={host-ip}:{zookeeper-port}/kafka 配置zookeeper管理kafka的路径

  • KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://{host-ip}:9092 把kafka的地址端口注册给zookeeper

  • KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 kafka监听地址

测试kafka生产和消费

**如果容器启动成功，但是测试出现错误可以看看是否配置了 **127.0.0.1 docker.for.mac.host.internal这一条DNS

docker exec -it kafka bash
cd /opt/kafka/bin
# 运行kafka生产者
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic first-topic
# 出现>之后发送Hello
>Hello
# 打开新终端，启动kafka消费者
cd /opt/kafka/bin
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic first-topic --from-beginning