Docker 运行 Kafka 4.0+

首页 / 新闻资讯 / 详情
发布时间：2026/8/16 5:01:18
Docker 运行 Kafka 4.0+ 文章目录一、单节点Docker 运行 Kafka 4.0docker run 单机快速测试用docker‑compose 完整模板单机KRaft4.0.0进入容器测试命令SpringBoot application.yml 连接配置重点注意事项搭配kafka‑ui可视化扩展compose片段二、Kafka4.0.x KRaft 三节点高可用集群Docker Composedocker‑compose.yml启动步骤SpringBoot 连接配置集群测试命令关键特性说明高频踩坑停止清理一、单节点Docker 运行 Kafka 4.0Kafka 4.0彻底删除 Zookeeper 模式只支持 KRaft不再支持 zk。官方镜像apache/kafka没有 zk 相关任何配置。docker run 单机快速测试用dockerrun-d\--namekafka4\--restartalways\-p9092:9092\-p9093:9093\-v/data/kafka4/kraft-data:/tmp/kraft-combined-logs\-eKAFKA_NODE_ID1\-eKAFKA_PROCESS_ROLESbroker,controller\-eKAFKA_LISTENERSPLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093\-eKAFKA_ADVERTISED_LISTENERSPLAINTEXT://192.168.1.100:9092\-eKAFKA_CONTROLLER_LISTENER_NAMESCONTROLLER\-eKAFKA_CONTROLLER_QUORUM_VOTERS1kafka4:9093\-eKAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR1\apache/kafka:4.0.0⚠️ 修改192.168.1.100为你的宿主机真实IPSpringBoot业务连接用这个IP:9092。docker‑compose 完整模板单机KRaft4.0.0version:3.8services:kafka:image:apache/kafka:4.0.0container_name:kafka4restart:alwaysports:-9092:9092-9093:9093volumes:-./kraft-data:/tmp/kraft-combined-logsenvironment:KAFKA_NODE_ID:1KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9092KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:1KAFKA_LOG_RETENTION_HOURS:72KAFKA_LOG_DIRS:/tmp/kraft-combined-logs启动docker-composeup-d进入容器测试命令# 进入容器dockerexec-itkafka4bash# 创建topickafka-topics.sh--create--topicdemo --bootstrap-server127.0.0.1:9092--partitions2--replication-factor1# 列表kafka-topics.sh--list--bootstrap-server127.0.0.1:9092# 生产者kafka-console-producer.sh--topicdemo --bootstrap-server127.0.0.1:9092# 消费者kafka-console-consumer.sh--topicdemo --bootstrap-server127.0.0.1:9092 --from-beginning# 查看kafka版本kafka-topics.sh--versionSpringBoot application.yml 连接配置spring:kafka:bootstrap-servers:192.168.1.100:9092producer:key-serializer:org.apache.kafka.common.serialization.StringSerializervalue-serializer:org.apache.kafka.common.serialization.StringSerializerconsumer:key-deserializer:org.apache.kafka.common.serialization.StringDeserializervalue-deserializer:org.apache.kafka.common.serialization.StringDeserializer重点注意事项Kafka4.x 完全没有Zookeeper不要再写任何zk连接参数。镜像apache/kafka:4.0.0不要用confluentinc/cp‑kafkacp还没有4.0大版本。数据目录权限挂载宿主机目录报权限拒绝chmod-R777./kraft-data升级提醒旧的kafka3.x zookeeper集群不能直接升级到4.0。3.x zk集群 → 先升级到3.5/3.6执行迁移工具切换KRaft迁移完成后再升级到4.0。不能直接把zk的数据目录直接给kafka4使用元数据格式完全不一样。单机生产注意单机同时做brokercontrollerreplication‑factor1不能高可用仅测试/小规模使用真正生产集群至少3节点controller。搭配kafka‑ui可视化扩展compose片段kafka-ui:image:provectuslabs/kafka-ui:latestcontainer_name:kafka-uirestart:alwaysports:-8081:8080environment:KAFKA_CLUSTERS_0_NAME:local‑kraft‑40KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS:kafka:9092访问http://宿主机IP:8081二、Kafka4.0.x KRaft 三节点高可用集群Docker ComposeKafka4.0彻底移除Zookeeper仅KRaft模式3个节点全部同时充当broker controller控制器仲裁quorum3挂掉任意1台集群依然正常工作满足生产高可用基础条件。注意下面是单机docker模拟3节点集群同一台宿主机用于开发测试真正生产要部署在三台不同物理服务器。docker‑compose.ymlversion:3.8services:kafka‑1:image:apache/kafka:4.0.0container_name:kafka‑1restart:alwaysports:-9092:9092# broker端口对外-9093:9093# controller内部仲裁端口volumes:-./data‑1:/tmp/kraft‑combined‑logsenvironment:KAFKA_NODE_ID:1KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093# 修改为你的宿主机IP外部业务程序连接KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9092KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka‑1:9093,2kafka‑2:9093,3kafka‑3:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:3KAFKA_DEFAULT_REPLICATION_FACTOR:3KAFKA_LOG_DIRS:/tmp/kraft‑combined‑logskafka‑2:image:apache/kafka:4.0.0container_name:kafka‑2restart:alwaysports:-9094:9092-9095:9093volumes:-./data‑2:/tmp/kraft‑combined‑logsenvironment:KAFKA_NODE_ID:2KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9094KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka‑1:9093,2kafka‑2:9093,3kafka‑3:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:3KAFKA_DEFAULT_REPLICATION_FACTOR:3KAFKA_LOG_DIRS:/tmp/kraft‑combined‑logskafka‑3:image:apache/kafka:4.0.0container_name:kafka‑3restart:alwaysports:-9096:9092-9097:9093volumes:-./data‑3:/tmp/kraft‑combined‑logsenvironment:KAFKA_NODE_ID:3KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9096KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka‑1:9093,2kafka‑2:9093,3kafka‑3:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:3KAFKA_DEFAULT_REPLICATION_FACTOR:3KAFKA_LOG_DIRS:/tmp/kraft‑combined‑logskafka-ui:image:provectuslabs/kafka-ui:latestcontainer_name:kafka-uirestart:alwaysports:-8081:8080environment:KAFKA_CLUSTERS_0_NAME:kafka4‑3node‑kraftKAFKA_CLUSTERS_0_BOOTSTRAPSERVERS:kafka‑1:9092,kafka‑2:9092,kafka‑3:9092启动步骤# 创建数据目录mkdir-pdata‑1 data‑2 data‑3# 解决容器挂载目录权限问题chmod-R777data‑1 data‑2 data‑3# 启动集群docker-composeup-d# 查看容器状态docker-composeps访问UIhttp://宿主机IP:8081SpringBoot 连接配置spring:kafka:bootstrap-servers:192.168.1.100:9092,192.168.1.100:9094,192.168.1.100:9096producer:key-serializer:org.apache.kafka.common.serialization.StringSerializervalue-serializer:org.apache.kafka.common.serialization.StringSerializerconsumer:key-deserializer:org.apache.kafka.common.serialization.StringDeserializervalue-deserializer:org.apache.kafka.common.serialization.StringDeserializer集群测试命令# 进入kafka‑1容器dockerexec-itkafka‑1bash# 创建topic3分区3副本kafka-topics.sh--create--topictest3 --bootstrap-server127.0.0.1:9092--partitions3--replication-factor3# 查看topic详细信息kafka-topics.sh--describe--topictest3 --bootstrap-server127.0.0.1:9092# 查看集群版本kafka-topics.sh--version关键特性说明3个controller节点quorum3挂掉任意一台集群控制器依然正常工作挂2台控制器集群元数据不可用。default.replication.factor3新建topic默认3副本。同一台宿主机docker模拟仅用于开发测试真正生产三台物理服务器部署每台机器只跑一个kafka容器KAFKA_CONTROLLER_QUORUM_VOTERS填写三台机器ipcontroller端口KAFKA_ADVERTISED_LISTENERS填写各自机器外网/内网IP高频踩坑KAFKA_ADVERTISED_LISTENERS必须填写宿主机真实内网IP不能写127.0.0.1否则外部业务连接失败。容器内部之间通信使用容器名kafka‑1:9093不要用宿主机IP。数据目录权限报错chmod -R 777 data‑*。replication‑factor不能大于broker节点数。旧Zookeeper的kafka数据不能直接迁移到此集群需要重新搭建或使用官方迁移工具。停止清理# 停止集群docker-composedown# 彻底删除数据测试重置集群用rm-rfdata‑1 data‑2 data‑3mkdir-pdata‑1 data‑2 data‑3chmod-R777data‑1 data‑2 data‑3

相关新闻

T4 16G显卡最新Qwen3.8 27B初步安装测试
2026/8/16 5:01:18

T4 16G显卡最新Qwen3.8 27B初步安装测试

废话不多说，初步测试记录整理如下： 复刻Ollama应用 打开模板中心页面：https://cloudstudio.net/t 找到Ollama项后，点击【使用模板】按钮，或者直接打开应用【AI模板——Ollama - Cloud Studio】(https://cloudstudio…

Python AttributeError深度解析：从对象模型到排查实战
2026/8/16 4:56:18

Python AttributeError深度解析：从对象模型到排查实战

1. 从一次深夜报错说起：AttributeError的“惊喜”时刻相信每个和Python打过交道的开发者，都经历过类似的场景：代码逻辑明明在脑子里无比清晰，运行起来却冷不丁给你抛出一个AttributeError: ‘MyClass‘ object has no attribute ‘…

Windows鼠标异常唤醒电脑的排查与解决全攻略
2026/8/16 5:56:21

Windows鼠标异常唤醒电脑的排查与解决全攻略

1. 问题现象与根源剖析你有没有遇到过这种让人抓狂的情况？明明在设备管理器里，把鼠标的“允许此设备唤醒计算机”选项给关掉了，心想着这下可以高枕无忧，让电脑安安静静地睡个觉。结果，刚合上盖子或者点了睡眠&#xff…

基于Arduino与OpenCV的仿生眼球人脸跟踪系统实现
2026/8/16 5:56:21

基于Arduino与OpenCV的仿生眼球人脸跟踪系统实现

这次我们来看一个基于 Arduino 的仿生眼球交互装置，重点是它实现了视觉人脸跟踪功能。这是一个非常适合学生、创客和硬件爱好者的 DIY 科创项目，它将人工智能中的计算机视觉技术，通过 Arduino 微控制器和舵机等硬件实体化，制作出一…

Cursor AI编辑器免费额度用尽？合法续杯与第三方API接入全攻略
2026/8/16 5:56:21

Cursor AI编辑器免费额度用尽？合法续杯与第三方API接入全攻略

如果你最近在关注 AI 编程工具，大概率听说过 Cursor。这款基于 VSCode 内核、深度集成 AI 能力的编辑器，凭借其“对话式编程”和“智能补全”功能，迅速成为开发者社区的热门话题。然而，一个现实问题也随之浮出水面：免费…

T113 如何添加支持axp209关机按键
2026/8/16 5:56:21

T113 如何添加支持axp209关机按键

需求:项目使用axp209 pmu，需要添加关机功能解决：在dts里面twi0下添加按键的配置，且添加驱动编译diff --git a/device/config/chips/t113/configs/zqboard/linux-5.4/board.dts b/device/config/chips/t113/configs/zqboard/linux-5.4/board.d…

kettle导数据空值字段异常
2026/8/16 5:56:21

kettle导数据空值字段异常

使用kettle跨数据库导数据时报错：cannot insert NULL or update to NULL: Not nullable "aaa" column (input position -1)，导入表对应字段也允许为空。Kettle 默认行为：KETTLE_EMPTY_STRING_DIFFERS_FROM_NULLN，会把空…

Nginx Rewrite机制解析与企业级实战指南
2026/8/16 5:51:21

Nginx Rewrite机制解析与企业级实战指南

1. Nginx Rewrite机制深度解析作为Web服务器领域的瑞士军刀，Nginx的rewrite功能堪称URL处理的艺术品。我曾在电商系统迁移中，仅用20条rewrite规则就完成了10万商品URL的无缝切换，这个经历让我深刻认识到rewrite在真实业务场景中的威力。不同于…

工业通信系统底层逻辑：04 反射——高频能量撞墙之后会发生什么？
2026/8/16 0:00:35

工业通信系统底层逻辑：04 反射——高频能量撞墙之后会发生什么？

第四篇：反射——高频能量撞墙之后会发生什么？ —— 你以为信号已经过去了，其实它正在回来打你 老Q的现场笔记 第五季，我们正式进入工业神经系统层。这里不再是单个设备的战斗，而是整个工厂“经脉”层面的秩序之战。从这一篇开始，你将第一次看清：看似简单的信号传播，背…

工业传感器与变送器详解：序章 从物理世界到工业数据
2026/8/16 0:00:36

工业传感器与变送器详解：序章 从物理世界到工业数据

序章 从物理世界到工业数据 ——重新认识工业传感器与变送器 工业自动化系统正变得日益复杂。今天的工业现场早已不是简单的控制回路，而是由多层技术共同构成的立体体系：PLC、DCS、SCADA、MES、工业互联网、边缘计算与人工智能。控制系统可以执行复杂算法，工业网络可以实现…

工业通信系统底层逻辑：04 反射——高频能量撞墙之后会发生什么？
2026/8/16 0:00:35

工业通信系统底层逻辑：04 反射——高频能量撞墙之后会发生什么？

第四篇：反射——高频能量撞墙之后会发生什么？ —— 你以为信号已经过去了，其实它正在回来打你 老Q的现场笔记 第五季，我们正式进入工业神经系统层。这里不再是单个设备的战斗，而是整个工厂“经脉”层面的秩序之战。从这一篇开始，你将第一次看清：看似简单的信号传播，背…

工业传感器与变送器详解：序章 从物理世界到工业数据
2026/8/16 0:00:36

工业传感器与变送器详解：序章 从物理世界到工业数据

序章 从物理世界到工业数据 ——重新认识工业传感器与变送器 工业自动化系统正变得日益复杂。今天的工业现场早已不是简单的控制回路，而是由多层技术共同构成的立体体系：PLC、DCS、SCADA、MES、工业互联网、边缘计算与人工智能。控制系统可以执行复杂算法，工业网络可以实现…

实测才敢推 AI论文网站 2026最新测评与推荐
2026/8/15 9:46:39

实测才敢推 AI论文网站 2026最新测评与推荐

2026年真正好用的AI论文网站，核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测，千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队，覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。一、综…

2026必备！AI论文网站测评：最新推荐与深度对比
2026/8/15 4:56:16

2026必备！AI论文网站测评：最新推荐与深度对比

2026年真正好用的AI论文网站，核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测，千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队，覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。 一、…

摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具
2026/8/15 9:46:30

摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具

一天写完毕业论文在2026年已不再是天方夜谭。2026年最炸裂、实测能大幅提速的AI论文写作工具，覆盖选题构思、文献整理、内容生成、格式排版等核心场景，真正帮你高效搞定论文难题。 一、全流程王者：一站式搞定论文全链路（一天定稿首…