Linux下启动Kafka这件事我给你一次讲透老规矩先交代背景最近好几个同事在搞数据同步全都卡在Kafka启动这一步要么是进程起来又秒退要么是连不上broker最离谱的是有人把Zookeeper和Kafka的data目录配成了同一个结果启动半小时才发现数据全乱了。今天这篇就把Linux环境下启动Kafka的全流程、配置要点、验证方法、还有我常用的启停脚本一次性讲清楚特别适合刚接触Kafka的小白抄作业老手也可以看看脚本部分有没有能直接拿来用的思路。先给还不熟悉的朋友一个概念Kafka不是一个独立运行的进程它依赖Zookeeper来管理集群元数据、协调broker之间的关系。所以在Linux上启动Kafka本质上是按顺序干两件事——先把Zookeeper拉起来再启动Kafka的broker进程。好多新手一上来就直接执行kafka-server-start.sh结果报出一堆连不上Zookeeper的错原因就在这里。这篇内容会覆盖JDK环境检查、安装包解压、核心配置项说明、手动启动和验证、以及我多年攒下来的启动脚本最后还会把新手最容易踩的坑挨个列出来。我写文章不喜欢讲虚的全是实际操作过的内容按照下面的步骤走能把你在启动阶段浪费的时间从一下午压缩到十分钟以内。1. 为什么Kafka启动会让小白头疼1.1 先搞明白Kafka启动到底涉及什么很多新人第一次在Linux下启动Kafka都会懵原因不复杂Kafka不是“双击”就能跑的软件它有两个前置依赖和一堆需要提前约定的配置。第一个前置依赖是Java环境。Kafka本身是Scala和Java写的所以你的机器上必须有JDK而且版本不能太老也不能太新。我实测过的组合是JDK 8 Kafka 2.xJDK 11 Kafka 3.x这两个搭配都很稳。你要是拿JDK 17去跑很老的Kafka版本大概率会在启动日志里看到不兼容的异常。第二个前置依赖是Zookeeper。Kafka 3.x之前必须单独准备ZookeeperKafka 3.x虽然可以用KRaft模式去掉Zookeeper但大部分生产环境和教程还是用的Zookeeper模式所以我下面还是以“Zookeeper Kafka”这个经典组合来讲。再来说配置。启动Kafka前你要确保config/server.properties里的broker.id、listeners、log.dirs、zookeeper.connect这几个参数是对的。新手最容易在这些参数上踩坑比如listeners配成了127.0.0.1结果其他机器根本连不上比如zookeeper.connect写错了端口broker起来之后没法注册元数据然后一直处于假死状态。1.2 本文你会得到什么这篇文章不是光把启动命令贴一遍就完事我会把从零到启动成功、再到验证链路通的完整流程都讲清楚包括安装包怎么选、怎么解压、目录结构怎么理解server.properties核心参数逐项说明不重要的我直接跳过重要的一个不落手动启动Zookeeper和Kafka的正确顺序以及启动过程中日志里哪些输出代表“正常”哪些代表“完蛋了”一个可以直接无脑复制使用的kafka.sh启动脚本包含启停、状态检查、日志查看比很多人写的那种只有一行nohup的脚本完整得多新手启动阶段十个常见问题和排查手段。我尽量用大白话讲但涉及命令和参数的时候必须准确因为这些地方差一个字母报错信息可能完全是另一个方向。2. 启动前的环境准备与配置要点2.1 检查JDK版本和安装路径在动手下载Kafka之前先确认Java环境有没有配好。打开终端执行java -version如果能看到类似下面这样的输出说明JDK没问题openjdk version 1.8.0_382 Java(TM) SE Runtime Environment (build 1.8.0_382-b05) Java HotSpot(TM) 64-Bit Server VM (build 25.382-b05, mixed mode)如果提示java: command not found那就得先装JDK。我是推荐用系统包管理器装比如CentOS下执行yum install java-1.8.0-openjdk*Ubuntu下执行apt install openjdk-8-jdk比你手动下载tar包配环境变量省事多了。装完之后记得确认一下JAVA_HOME有没有设置虽然Kafka的启动脚本会自动去which java找路径但有些Linux发行版默认不设置JAVA_HOME后续你写自启动脚本的时候可能会用到所以干脆一次配好echo export JAVA_HOME$(dirname $(dirname $(readlink -f $(which java)))) ~/.bashrc source ~/.bashrc注意我这里用的是readlink -f解析软链接的方式在CentOS、Ubuntu上都通用别在不知道Java真实安装路径的情况下硬编码。2.2 下载对应版本的Kafka并解压Kafka的下载地址是官方Apache站点你自己选一个版本。我这边直接用kafka_2.13-3.0.0这个版本做演示2.13是Scala编译器的版本3.0.0是Kafka版本号。这两个数字都有含义Scala版本影响编译兼容性Kafka版本影响功能特性一般情况下照着官方推荐的组合选就行不需要纠结。下载和解压的命令如下cd /usr/local/ wget https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz tar -zxvf kafka_2.13-3.0.0.tgz mv kafka_2.13-3.0.0 kafka有的朋友会问解压出来的kafka目录里面那一堆文件夹分别是什么我说几个关键的bin/所有Kafka命令都在这kafka-server-start.sh、kafka-topics.sh、kafka-console-producer.sh等config/配置文件目录server.properties、zookeeper.properties都在这libs/Kafka及其依赖的jar包不用管logs/Kafka运行日志目录这里会生成server.log排查问题就靠它。2.3 server.properties核心参数说明Kafka的配置项非常多但启动阶段真正起决定作用的就几个我把必看项挑出来讲透。先打开配置文件vim /usr/local/kafka/config/server.properties重点关注以下参数参数名建议值说明broker.id0集群中每个broker唯一标识单机就写0listenersPLAINTEXT://0.0.0.0:9092监听地址一定要写0.0.0.0否则外部机器访问不到advertised.listenersPLAINTEXT://你的服务器IP:9092对外公布的地址客户端连接时用的单机测试可以不写但跨机器必配log.dirs/usr/local/kafka/data/kafka-logsKafka数据存储目录别用默认的/tmp目录重启会丢zookeeper.connectlocalhost:2181Zookeeper地址多个节点用逗号分隔num.partitions3默认分区数测试环境写1也行log.retention.hours168日志保留时间默认7天我特别强调一下log.dirsKafka官方默认值是/tmp/kafka-logs很多小白不改成自有目录结果跑着跑着发现数据全没了因为Linux的/tmp目录会被定期清理。所以不管你是测试还是生产第一件事就是建一个独立的数据目录mkdir -p /usr/local/kafka/data/kafka-logs然后回到配置文件里把log.dirs/tmp/kafka-logs改成log.dirs/usr/local/kafka/data/kafka-logs。顺便说一句Zookeeper也有一个数据目录配置在config/zookeeper.properties里参数叫dataDir。千万别把这个目录和Kafka的log.dirs配成同一个否则两个进程会互相覆盖文件启动的时候不报错但运行一段时间后元数据就乱了。这个坑我踩过一次排查了两天才想到。3. 手动启动Kafka的完整步骤3.1 先启动ZookeeperKafka的bin目录里自带了一个Zookeeper启动脚本不需要你额外去装Zookeeper这对小白来说非常友好。启动命令是cd /usr/local/kafka bin/zookeeper-server-start.sh -daemon config/zookeeper.properties注意-daemon参数加上它之后进程会在后台运行不会占住你的终端。如果你不加这个参数CtrlC一按Zookeeper就跟着停了。启动完验证一下进程有没有起来jps -l | grep QuorumPeerMain如果能输出一行类似12345 org.apache.zookeeper.server.quorum.QuorumPeerMain的东西就说明Zookeeper已经起来了。另外还可以看端口2181是否在监听netstat -tlnp | grep 2181看到LISTEN状态就对了。3.2 启动Kafka BrokerZookeeper就绪之后就可以启动Kafka了cd /usr/local/kafka bin/kafka-server-start.sh -daemon config/server.properties还是那句话-daemon参数让它后台运行。启动之后用jps看一下进程jps -l | grep Kafka正常会输出一行类似6789 kafka.Kafka的内容这说明broker进程已经存在了。但这只能证明进程活着不能证明它已经成功注册到了Zookeeper上。想要确认最简单的方法是看日志tail -50 /usr/local/kafka/logs/server.log看到类似[KafkaServer id0] Started或者started (kafka.server.KafkaServer)这样的日志才说明启动成功。如果日志最后一行还停在某条初始化日志上没动静那多半是卡在等待Zookeeper了你要回到Zookeeper那头检查。3.3 验证启动结果进程和日志都正常之后我再推荐一个更直观的验证方式创建一个测试topic然后跑一下生产者和消费者确认整个链路是通的。创建topicbin/kafka-topics.sh --create --topic demo-test --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092查看topic列表bin/kafka-topics.sh --list --bootstrap-server localhost:9092如果你已经在运行Kafka的机器上执行localhost:9092就行。如果要远程操作localhost要换成服务器IP。这里你会发现我用的都是--bootstrap-server而不是老的--zookeeper因为新版Kafka更推荐用bootstrap-server模式有的机器如果还开着老命令可能会连不上或者提示参数丢失。生产消息bin/kafka-console-producer.sh --topic demo-test --bootstrap-server localhost:9092输入一行文字然后回车比如hello kafka。消费消息再开一个终端执行bin/kafka-console-consumer.sh --topic demo-test --from-beginning --bootstrap-server localhost:9092如果能在消费者那端看到hello kafka恭喜你Kafka的启动和链路验证已经全部完成了。4. 福利时间我常用的Kafka启停脚本4.1 脚本设计的思路命令行一条条敲虽然能跑但每次都要敲一堆路径、还要记住哪个先启动太麻烦了。我写这个脚本的核心思路是三个词幂等、可控、可查。所谓幂等就是脚本可以重复执行不会因为执行两次就启动两个Kafka进程。实现方式是每次启动前先检查PID如果进程已经在跑了就直接提示并退出。所谓可控就是启动、停止、重启、状态检查、查看日志五个操作全部封装好不用记一堆命令。所谓可查就是启动之后能快速告诉你PID、日志位置、监听端口出问题直接看日志不用东翻西找。4.2 脚本内容与解释这里是我实际在用的kafka.sh贴在下面你可以直接复制改路径就能用#!/bin/bash # 描述: Kafka/Zookeeper 启动、停止、状态检查脚本 # 用法: ./kafka.sh {start|stop|restart|status|logs} KAFKA_HOME/usr/local/kafka ZOOKEEPER_PID_FILE/tmp/zookeeper.pid KAFKA_PID_FILE/tmp/kafka.pid start_zookeeper() { if [ -f $ZOOKEEPER_PID_FILE ] kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo [Zookeeper] 已在运行PID$(cat $ZOOKEEPER_PID_FILE) else echo [Zookeeper] 正在启动... $KAFKA_HOME/bin/zookeeper-server-start.sh -daemon $KAFKA_HOME/config/zookeeper.properties echo $! $ZOOKEEPER_PID_FILE sleep 3 if kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo [Zookeeper] 启动成功PID$(cat $ZOOKEEPER_PID_FILE) else echo [Zookeeper] 启动失败请检查日志 fi fi } start_kafka() { if [ -f $KAFKA_PID_FILE ] kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo [Kafka] 已在运行PID$(cat $KAFKA_PID_FILE) else echo [Kafka] 正在启动... nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties /usr/local/kafka/logs/kafka-nohup.log 21 echo $! $KAFKA_PID_FILE sleep 5 if kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo [Kafka] 启动成功PID$(cat $KAFKA_PID_FILE) else echo [Kafka] 启动失败请查看日志 fi fi } stop_zookeeper() { if [ -f $ZOOKEEPER_PID_FILE ] kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo [Zookeeper] 正在停止... kill $(cat $ZOOKEEPER_PID_FILE) rm -f $ZOOKEEPER_PID_FILE echo [Zookeeper] 已停止 else echo [Zookeeper] 未在运行 fi } stop_kafka() { if [ -f $KAFKA_PID_FILE ] kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo [Kafka] 正在停止... kill $(cat $KAFKA_PID_FILE) rm -f $KAFKA_PID_FILE echo [Kafka] 已停止 else echo [Kafka] 未在运行 fi } status() { echo 进程状态 if [ -f $ZOOKEEPER_PID_FILE ] kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo Zookeeper: 运行中 (PID$(cat $ZOOKEEPER_PID_FILE)) else echo Zookeeper: 未运行 fi if [ -f $KAFKA_PID_FILE ] kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo Kafka: 运行中 (PID$(cat $KAFKA_PID_FILE)) else echo Kafka: 未运行 fi echo 端口监听 netstat -tlnp 2/dev/null | grep -E 2181|9092 || echo 端口未监听 } logs() { echo [Kafka日志] tail -50 $KAFKA_HOME/logs/server.log } case $1 in start) start_zookeeper start_kafka ;; stop) stop_kafka stop_zookeeper ;; restart) stop_kafka stop_zookeeper sleep 2 start_zookeeper start_kafka ;; status) status ;; logs) logs ;; *) echo 用法: $0 {start|stop|restart|status|logs} exit 1 ;; esac4.3 脚本使用说明把脚本保存成kafka.sh加执行权限chmod x kafka.sh然后就可以这样用./kafka.sh start # 一键启动Zookeeper和Kafka ./kafka.sh status # 查看进程和端口状态 ./kafka.sh logs # 查看Kafka运行日志 ./kafka.sh restart # 重启 ./kafka.sh stop # 停止这里解释一下我为什么在脚本里用nohup ... 而不是直接用-daemon参数Kafka的-daemon参数其实也是做了类似的事情但我用nohup多写一行能更明确地把标准输出重定向到指定日志文件里。这样Kafka的启动日志和运行时日志分离排查问题的时候不会把启动过程的输出淹没在server.log里。有个细节要提醒你脚本里sleep 3和sleep 5是我根据自己机器启动速度估的如果你的服务器性能较差可能启动时间会更长导致kill -0检查的时候进程还没起来脚本会误报“启动失败”。解决办法很简单把sleep的时间适当调大或者干脆去掉二次校验直接用jps命令看进程。4.4 设置开机自启的思路如果你希望Kafka在服务器重启之后自动跑起来可以用crontab配合reboot实现这是最简单的方式不需要写systemd服务文件。执行crontab -e添加一行reboot /usr/local/kafka/kafka.sh start /usr/local/kafka/logs/kafka-crontab.log 21但这里有个坑crontab的reboot触发时系统环境变量可能还没完全加载而Kafka启动需要JAVA_HOME。所以我会在kafka.sh脚本开头强制指定JAVA_HOMEexport JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk export PATH$JAVA_HOME/bin:$PATH路径换成你自己机器的实际JDK路径可以用readlink -f $(which java)查一下。如果你的Linux服务器是CentOS 7或者Ubuntu 16我更推荐用systemd来管理但那需要额外写service文件本文篇幅有限我先把crontab这个轻量方案给你大部分场景够用了。5. 启动过程常见问题与排查技巧5.1 启动日志秒退或卡住这是所有问题里遇到频率最高的。Kafka进程启动之后还没输出Started就退出了或者日志一直卡在某一行不动绝大多数情况下是下面几个原因第一zookeeper.connect配置的地址连不上。你可以先单独用Zookeeper客户端测一下连接bin/zookeeper-shell.sh localhost:2181能进入交互模式就说明Zookeeper没问题否则去查Zookeeper的启动日志。第二log.dirs指向的目录没有写权限。Kafka启动时会在数据目录下创建几个索引文件如果权限不够会直接抛异常退出。解决办法是把目录属主改成当前用户chown -R $USER:$USER /usr/local/kafka/data第三端口被占用。9092或2181被别的进程占了Kafka或者Zookeeper就会启动失败。用netstat -tlnp确认端口是否冲突。5.2 内存不够导致启动直接OOMKafka默认启动时会申请比较多的堆内存特别是kafka-server-start.sh里会根据机器配置动态调整。我在一台内存只有2G的测试机上启动Kafka时就遇到过Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(...) failed; errorCannot allocate memory这样的报错然后进程秒退。解决办法是修改KAFKA_HEAP_OPTS环境变量手动限制Kafka的堆内存大小export KAFKA_HEAP_OPTS-Xmx512M -Xms256M bin/kafka-server-start.sh -daemon config/server.properties如果是跑在Docker容器里的Kafka还要注意容器本身的memory limit是否足够不然调整了JVM参数也会被系统OOM Killer干掉。5.3 客户端连不上Kafkalisteners配置不对本地启动没问题但其他机器或者本地程序用服务器IP:9092连的时候一直超时这个原因十有八九是listeners没配置好。我前面表格里已经强调过listeners要写0.0.0.0:9092不能写127.0.0.1:9092。另外还有一个容易忽视的advertised.listeners参数这个参数是Kafka返回给客户端的地址。比如你用localhost:9092启动了broker然后客户端在别的机器上连接Kafka会告诉客户端去连localhost:9092客户端其实连的是自己那台机器的localhost自然连不上。正确的配法listenersPLAINTEXT://0.0.0.0:9092 advertised.listenersPLAINTEXT://你的服务器IP:9092改完配置之后记得重启Kafka才能生效。5.4 生产消费命令启动一次会一直运行吗这是很多新手会问的问题kafka-console-producer.sh和kafka-console-consumer.sh执行之后命令行一直被占住既没有退出也没有报错是不是卡住了答案是没有卡住。生产者启动后会一直监听标准输入等待你输入消息内容消费者启动后会一直监听Kafka里的消息。这两个命令都是前台阻塞运行的不是执行一次就结束的。如果你只是测试用完直接CtrlC退出就行。如果你要长期运行消费程序应该写代码或者用nohup挂到后台而不是开着终端傻等。5.5 查看topic中的数据或消费lag验证启动和排错的时候经常需要直接看topic里的数据或者查看消费延迟。我在这里顺便把常用命令列出来查看topic的offset范围bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic demo-test查看消费组及lagbin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group 你的消费组名如果LAG一直增加说明消费者消费不过来这时候要关注分区数、消费者线程数、以及Kafka所在机器的负载情况。启动阶段虽然用不到这些命令但一旦你开始做生产消费测试这些就是高频工具。5.6 解压Kafka压缩包出现乱码或校验失败下载的tgz包解压时偶尔会碰到中文乱码或者MD5校验不对尤其是从海外源下载时。我建议下载后用sha512sum跟官方校验值比对一下再解压sha512sum kafka_2.13-3.0.0.tgz如果校验不过重新下载或者换个镜像源。解压乱码的问题多半是系统字符集问题不影响功能但看着闹心。你可以用export LANGen_US.UTF-8再执行解压一般能缓解。最后分享两个小经验文章写到这启动Kafka的核心内容已经讲完了最后再分享两个我实际使用中积累的经验。第一个是关于日志的。很多人启动Kafka失败后第一反应是去搜索引擎查报错但很多问题其实看日志就能解决。Kafka的日志文件在logs/server.logZookeeper的日志也在logs/目录下文件名为zookeeper.out。启动失败时先看这两个文件远比你瞎试命令高效得多。我自己的习惯是启动任何组件之前先确认日志文件位置再动手操作。第二个是关于脚本的迭代思路。我上面给的脚本只是一个基础版你在实际使用中可以自己扩展比如加上help命令、加上清理topic数据的选项、或者整合kafka-consumer-groups.sh来快速查看消费延迟。脚本的价值在于把重复劳动自动化而不是一次写死永不修改。等你用上一个星期自然会知道哪些地方需要往脚本里补充。Linux下启动Kafka这件事说难不难但坑是真的多。希望这篇文章能帮你把启动阶段的弯路走直。如果你在操作中还遇到什么问题欢迎评论区留言我看到都会回复。
Linux下启动Kafka这件事我给你一次讲透老规矩先交代背景最近好几个同事在搞数据同步全都卡在Kafka启动这一步要么是进程起来又秒退要么是连不上broker最离谱的是有人把Zookeeper和Kafka的data目录配成了同一个结果启动半小时才发现数据全乱了。今天这篇就把Linux环境下启动Kafka的全流程、配置要点、验证方法、还有我常用的启停脚本一次性讲清楚特别适合刚接触Kafka的小白抄作业老手也可以看看脚本部分有没有能直接拿来用的思路。先给还不熟悉的朋友一个概念Kafka不是一个独立运行的进程它依赖Zookeeper来管理集群元数据、协调broker之间的关系。所以在Linux上启动Kafka本质上是按顺序干两件事——先把Zookeeper拉起来再启动Kafka的broker进程。好多新手一上来就直接执行kafka-server-start.sh结果报出一堆连不上Zookeeper的错原因就在这里。这篇内容会覆盖JDK环境检查、安装包解压、核心配置项说明、手动启动和验证、以及我多年攒下来的启动脚本最后还会把新手最容易踩的坑挨个列出来。我写文章不喜欢讲虚的全是实际操作过的内容按照下面的步骤走能把你在启动阶段浪费的时间从一下午压缩到十分钟以内。1. 为什么Kafka启动会让小白头疼1.1 先搞明白Kafka启动到底涉及什么很多新人第一次在Linux下启动Kafka都会懵原因不复杂Kafka不是“双击”就能跑的软件它有两个前置依赖和一堆需要提前约定的配置。第一个前置依赖是Java环境。Kafka本身是Scala和Java写的所以你的机器上必须有JDK而且版本不能太老也不能太新。我实测过的组合是JDK 8 Kafka 2.xJDK 11 Kafka 3.x这两个搭配都很稳。你要是拿JDK 17去跑很老的Kafka版本大概率会在启动日志里看到不兼容的异常。第二个前置依赖是Zookeeper。Kafka 3.x之前必须单独准备ZookeeperKafka 3.x虽然可以用KRaft模式去掉Zookeeper但大部分生产环境和教程还是用的Zookeeper模式所以我下面还是以“Zookeeper Kafka”这个经典组合来讲。再来说配置。启动Kafka前你要确保config/server.properties里的broker.id、listeners、log.dirs、zookeeper.connect这几个参数是对的。新手最容易在这些参数上踩坑比如listeners配成了127.0.0.1结果其他机器根本连不上比如zookeeper.connect写错了端口broker起来之后没法注册元数据然后一直处于假死状态。1.2 本文你会得到什么这篇文章不是光把启动命令贴一遍就完事我会把从零到启动成功、再到验证链路通的完整流程都讲清楚包括安装包怎么选、怎么解压、目录结构怎么理解server.properties核心参数逐项说明不重要的我直接跳过重要的一个不落手动启动Zookeeper和Kafka的正确顺序以及启动过程中日志里哪些输出代表“正常”哪些代表“完蛋了”一个可以直接无脑复制使用的kafka.sh启动脚本包含启停、状态检查、日志查看比很多人写的那种只有一行nohup的脚本完整得多新手启动阶段十个常见问题和排查手段。我尽量用大白话讲但涉及命令和参数的时候必须准确因为这些地方差一个字母报错信息可能完全是另一个方向。2. 启动前的环境准备与配置要点2.1 检查JDK版本和安装路径在动手下载Kafka之前先确认Java环境有没有配好。打开终端执行java -version如果能看到类似下面这样的输出说明JDK没问题openjdk version 1.8.0_382 Java(TM) SE Runtime Environment (build 1.8.0_382-b05) Java HotSpot(TM) 64-Bit Server VM (build 25.382-b05, mixed mode)如果提示java: command not found那就得先装JDK。我是推荐用系统包管理器装比如CentOS下执行yum install java-1.8.0-openjdk*Ubuntu下执行apt install openjdk-8-jdk比你手动下载tar包配环境变量省事多了。装完之后记得确认一下JAVA_HOME有没有设置虽然Kafka的启动脚本会自动去which java找路径但有些Linux发行版默认不设置JAVA_HOME后续你写自启动脚本的时候可能会用到所以干脆一次配好echo export JAVA_HOME$(dirname $(dirname $(readlink -f $(which java)))) ~/.bashrc source ~/.bashrc注意我这里用的是readlink -f解析软链接的方式在CentOS、Ubuntu上都通用别在不知道Java真实安装路径的情况下硬编码。2.2 下载对应版本的Kafka并解压Kafka的下载地址是官方Apache站点你自己选一个版本。我这边直接用kafka_2.13-3.0.0这个版本做演示2.13是Scala编译器的版本3.0.0是Kafka版本号。这两个数字都有含义Scala版本影响编译兼容性Kafka版本影响功能特性一般情况下照着官方推荐的组合选就行不需要纠结。下载和解压的命令如下cd /usr/local/ wget https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz tar -zxvf kafka_2.13-3.0.0.tgz mv kafka_2.13-3.0.0 kafka有的朋友会问解压出来的kafka目录里面那一堆文件夹分别是什么我说几个关键的bin/所有Kafka命令都在这kafka-server-start.sh、kafka-topics.sh、kafka-console-producer.sh等config/配置文件目录server.properties、zookeeper.properties都在这libs/Kafka及其依赖的jar包不用管logs/Kafka运行日志目录这里会生成server.log排查问题就靠它。2.3 server.properties核心参数说明Kafka的配置项非常多但启动阶段真正起决定作用的就几个我把必看项挑出来讲透。先打开配置文件vim /usr/local/kafka/config/server.properties重点关注以下参数参数名建议值说明broker.id0集群中每个broker唯一标识单机就写0listenersPLAINTEXT://0.0.0.0:9092监听地址一定要写0.0.0.0否则外部机器访问不到advertised.listenersPLAINTEXT://你的服务器IP:9092对外公布的地址客户端连接时用的单机测试可以不写但跨机器必配log.dirs/usr/local/kafka/data/kafka-logsKafka数据存储目录别用默认的/tmp目录重启会丢zookeeper.connectlocalhost:2181Zookeeper地址多个节点用逗号分隔num.partitions3默认分区数测试环境写1也行log.retention.hours168日志保留时间默认7天我特别强调一下log.dirsKafka官方默认值是/tmp/kafka-logs很多小白不改成自有目录结果跑着跑着发现数据全没了因为Linux的/tmp目录会被定期清理。所以不管你是测试还是生产第一件事就是建一个独立的数据目录mkdir -p /usr/local/kafka/data/kafka-logs然后回到配置文件里把log.dirs/tmp/kafka-logs改成log.dirs/usr/local/kafka/data/kafka-logs。顺便说一句Zookeeper也有一个数据目录配置在config/zookeeper.properties里参数叫dataDir。千万别把这个目录和Kafka的log.dirs配成同一个否则两个进程会互相覆盖文件启动的时候不报错但运行一段时间后元数据就乱了。这个坑我踩过一次排查了两天才想到。3. 手动启动Kafka的完整步骤3.1 先启动ZookeeperKafka的bin目录里自带了一个Zookeeper启动脚本不需要你额外去装Zookeeper这对小白来说非常友好。启动命令是cd /usr/local/kafka bin/zookeeper-server-start.sh -daemon config/zookeeper.properties注意-daemon参数加上它之后进程会在后台运行不会占住你的终端。如果你不加这个参数CtrlC一按Zookeeper就跟着停了。启动完验证一下进程有没有起来jps -l | grep QuorumPeerMain如果能输出一行类似12345 org.apache.zookeeper.server.quorum.QuorumPeerMain的东西就说明Zookeeper已经起来了。另外还可以看端口2181是否在监听netstat -tlnp | grep 2181看到LISTEN状态就对了。3.2 启动Kafka BrokerZookeeper就绪之后就可以启动Kafka了cd /usr/local/kafka bin/kafka-server-start.sh -daemon config/server.properties还是那句话-daemon参数让它后台运行。启动之后用jps看一下进程jps -l | grep Kafka正常会输出一行类似6789 kafka.Kafka的内容这说明broker进程已经存在了。但这只能证明进程活着不能证明它已经成功注册到了Zookeeper上。想要确认最简单的方法是看日志tail -50 /usr/local/kafka/logs/server.log看到类似[KafkaServer id0] Started或者started (kafka.server.KafkaServer)这样的日志才说明启动成功。如果日志最后一行还停在某条初始化日志上没动静那多半是卡在等待Zookeeper了你要回到Zookeeper那头检查。3.3 验证启动结果进程和日志都正常之后我再推荐一个更直观的验证方式创建一个测试topic然后跑一下生产者和消费者确认整个链路是通的。创建topicbin/kafka-topics.sh --create --topic demo-test --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092查看topic列表bin/kafka-topics.sh --list --bootstrap-server localhost:9092如果你已经在运行Kafka的机器上执行localhost:9092就行。如果要远程操作localhost要换成服务器IP。这里你会发现我用的都是--bootstrap-server而不是老的--zookeeper因为新版Kafka更推荐用bootstrap-server模式有的机器如果还开着老命令可能会连不上或者提示参数丢失。生产消息bin/kafka-console-producer.sh --topic demo-test --bootstrap-server localhost:9092输入一行文字然后回车比如hello kafka。消费消息再开一个终端执行bin/kafka-console-consumer.sh --topic demo-test --from-beginning --bootstrap-server localhost:9092如果能在消费者那端看到hello kafka恭喜你Kafka的启动和链路验证已经全部完成了。4. 福利时间我常用的Kafka启停脚本4.1 脚本设计的思路命令行一条条敲虽然能跑但每次都要敲一堆路径、还要记住哪个先启动太麻烦了。我写这个脚本的核心思路是三个词幂等、可控、可查。所谓幂等就是脚本可以重复执行不会因为执行两次就启动两个Kafka进程。实现方式是每次启动前先检查PID如果进程已经在跑了就直接提示并退出。所谓可控就是启动、停止、重启、状态检查、查看日志五个操作全部封装好不用记一堆命令。所谓可查就是启动之后能快速告诉你PID、日志位置、监听端口出问题直接看日志不用东翻西找。4.2 脚本内容与解释这里是我实际在用的kafka.sh贴在下面你可以直接复制改路径就能用#!/bin/bash # 描述: Kafka/Zookeeper 启动、停止、状态检查脚本 # 用法: ./kafka.sh {start|stop|restart|status|logs} KAFKA_HOME/usr/local/kafka ZOOKEEPER_PID_FILE/tmp/zookeeper.pid KAFKA_PID_FILE/tmp/kafka.pid start_zookeeper() { if [ -f $ZOOKEEPER_PID_FILE ] kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo [Zookeeper] 已在运行PID$(cat $ZOOKEEPER_PID_FILE) else echo [Zookeeper] 正在启动... $KAFKA_HOME/bin/zookeeper-server-start.sh -daemon $KAFKA_HOME/config/zookeeper.properties echo $! $ZOOKEEPER_PID_FILE sleep 3 if kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo [Zookeeper] 启动成功PID$(cat $ZOOKEEPER_PID_FILE) else echo [Zookeeper] 启动失败请检查日志 fi fi } start_kafka() { if [ -f $KAFKA_PID_FILE ] kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo [Kafka] 已在运行PID$(cat $KAFKA_PID_FILE) else echo [Kafka] 正在启动... nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties /usr/local/kafka/logs/kafka-nohup.log 21 echo $! $KAFKA_PID_FILE sleep 5 if kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo [Kafka] 启动成功PID$(cat $KAFKA_PID_FILE) else echo [Kafka] 启动失败请查看日志 fi fi } stop_zookeeper() { if [ -f $ZOOKEEPER_PID_FILE ] kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo [Zookeeper] 正在停止... kill $(cat $ZOOKEEPER_PID_FILE) rm -f $ZOOKEEPER_PID_FILE echo [Zookeeper] 已停止 else echo [Zookeeper] 未在运行 fi } stop_kafka() { if [ -f $KAFKA_PID_FILE ] kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo [Kafka] 正在停止... kill $(cat $KAFKA_PID_FILE) rm -f $KAFKA_PID_FILE echo [Kafka] 已停止 else echo [Kafka] 未在运行 fi } status() { echo 进程状态 if [ -f $ZOOKEEPER_PID_FILE ] kill -0 $(cat $ZOOKEEPER_PID_FILE) 2/dev/null; then echo Zookeeper: 运行中 (PID$(cat $ZOOKEEPER_PID_FILE)) else echo Zookeeper: 未运行 fi if [ -f $KAFKA_PID_FILE ] kill -0 $(cat $KAFKA_PID_FILE) 2/dev/null; then echo Kafka: 运行中 (PID$(cat $KAFKA_PID_FILE)) else echo Kafka: 未运行 fi echo 端口监听 netstat -tlnp 2/dev/null | grep -E 2181|9092 || echo 端口未监听 } logs() { echo [Kafka日志] tail -50 $KAFKA_HOME/logs/server.log } case $1 in start) start_zookeeper start_kafka ;; stop) stop_kafka stop_zookeeper ;; restart) stop_kafka stop_zookeeper sleep 2 start_zookeeper start_kafka ;; status) status ;; logs) logs ;; *) echo 用法: $0 {start|stop|restart|status|logs} exit 1 ;; esac4.3 脚本使用说明把脚本保存成kafka.sh加执行权限chmod x kafka.sh然后就可以这样用./kafka.sh start # 一键启动Zookeeper和Kafka ./kafka.sh status # 查看进程和端口状态 ./kafka.sh logs # 查看Kafka运行日志 ./kafka.sh restart # 重启 ./kafka.sh stop # 停止这里解释一下我为什么在脚本里用nohup ... 而不是直接用-daemon参数Kafka的-daemon参数其实也是做了类似的事情但我用nohup多写一行能更明确地把标准输出重定向到指定日志文件里。这样Kafka的启动日志和运行时日志分离排查问题的时候不会把启动过程的输出淹没在server.log里。有个细节要提醒你脚本里sleep 3和sleep 5是我根据自己机器启动速度估的如果你的服务器性能较差可能启动时间会更长导致kill -0检查的时候进程还没起来脚本会误报“启动失败”。解决办法很简单把sleep的时间适当调大或者干脆去掉二次校验直接用jps命令看进程。4.4 设置开机自启的思路如果你希望Kafka在服务器重启之后自动跑起来可以用crontab配合reboot实现这是最简单的方式不需要写systemd服务文件。执行crontab -e添加一行reboot /usr/local/kafka/kafka.sh start /usr/local/kafka/logs/kafka-crontab.log 21但这里有个坑crontab的reboot触发时系统环境变量可能还没完全加载而Kafka启动需要JAVA_HOME。所以我会在kafka.sh脚本开头强制指定JAVA_HOMEexport JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk export PATH$JAVA_HOME/bin:$PATH路径换成你自己机器的实际JDK路径可以用readlink -f $(which java)查一下。如果你的Linux服务器是CentOS 7或者Ubuntu 16我更推荐用systemd来管理但那需要额外写service文件本文篇幅有限我先把crontab这个轻量方案给你大部分场景够用了。5. 启动过程常见问题与排查技巧5.1 启动日志秒退或卡住这是所有问题里遇到频率最高的。Kafka进程启动之后还没输出Started就退出了或者日志一直卡在某一行不动绝大多数情况下是下面几个原因第一zookeeper.connect配置的地址连不上。你可以先单独用Zookeeper客户端测一下连接bin/zookeeper-shell.sh localhost:2181能进入交互模式就说明Zookeeper没问题否则去查Zookeeper的启动日志。第二log.dirs指向的目录没有写权限。Kafka启动时会在数据目录下创建几个索引文件如果权限不够会直接抛异常退出。解决办法是把目录属主改成当前用户chown -R $USER:$USER /usr/local/kafka/data第三端口被占用。9092或2181被别的进程占了Kafka或者Zookeeper就会启动失败。用netstat -tlnp确认端口是否冲突。5.2 内存不够导致启动直接OOMKafka默认启动时会申请比较多的堆内存特别是kafka-server-start.sh里会根据机器配置动态调整。我在一台内存只有2G的测试机上启动Kafka时就遇到过Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(...) failed; errorCannot allocate memory这样的报错然后进程秒退。解决办法是修改KAFKA_HEAP_OPTS环境变量手动限制Kafka的堆内存大小export KAFKA_HEAP_OPTS-Xmx512M -Xms256M bin/kafka-server-start.sh -daemon config/server.properties如果是跑在Docker容器里的Kafka还要注意容器本身的memory limit是否足够不然调整了JVM参数也会被系统OOM Killer干掉。5.3 客户端连不上Kafkalisteners配置不对本地启动没问题但其他机器或者本地程序用服务器IP:9092连的时候一直超时这个原因十有八九是listeners没配置好。我前面表格里已经强调过listeners要写0.0.0.0:9092不能写127.0.0.1:9092。另外还有一个容易忽视的advertised.listeners参数这个参数是Kafka返回给客户端的地址。比如你用localhost:9092启动了broker然后客户端在别的机器上连接Kafka会告诉客户端去连localhost:9092客户端其实连的是自己那台机器的localhost自然连不上。正确的配法listenersPLAINTEXT://0.0.0.0:9092 advertised.listenersPLAINTEXT://你的服务器IP:9092改完配置之后记得重启Kafka才能生效。5.4 生产消费命令启动一次会一直运行吗这是很多新手会问的问题kafka-console-producer.sh和kafka-console-consumer.sh执行之后命令行一直被占住既没有退出也没有报错是不是卡住了答案是没有卡住。生产者启动后会一直监听标准输入等待你输入消息内容消费者启动后会一直监听Kafka里的消息。这两个命令都是前台阻塞运行的不是执行一次就结束的。如果你只是测试用完直接CtrlC退出就行。如果你要长期运行消费程序应该写代码或者用nohup挂到后台而不是开着终端傻等。5.5 查看topic中的数据或消费lag验证启动和排错的时候经常需要直接看topic里的数据或者查看消费延迟。我在这里顺便把常用命令列出来查看topic的offset范围bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic demo-test查看消费组及lagbin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group 你的消费组名如果LAG一直增加说明消费者消费不过来这时候要关注分区数、消费者线程数、以及Kafka所在机器的负载情况。启动阶段虽然用不到这些命令但一旦你开始做生产消费测试这些就是高频工具。5.6 解压Kafka压缩包出现乱码或校验失败下载的tgz包解压时偶尔会碰到中文乱码或者MD5校验不对尤其是从海外源下载时。我建议下载后用sha512sum跟官方校验值比对一下再解压sha512sum kafka_2.13-3.0.0.tgz如果校验不过重新下载或者换个镜像源。解压乱码的问题多半是系统字符集问题不影响功能但看着闹心。你可以用export LANGen_US.UTF-8再执行解压一般能缓解。最后分享两个小经验文章写到这启动Kafka的核心内容已经讲完了最后再分享两个我实际使用中积累的经验。第一个是关于日志的。很多人启动Kafka失败后第一反应是去搜索引擎查报错但很多问题其实看日志就能解决。Kafka的日志文件在logs/server.logZookeeper的日志也在logs/目录下文件名为zookeeper.out。启动失败时先看这两个文件远比你瞎试命令高效得多。我自己的习惯是启动任何组件之前先确认日志文件位置再动手操作。第二个是关于脚本的迭代思路。我上面给的脚本只是一个基础版你在实际使用中可以自己扩展比如加上help命令、加上清理topic数据的选项、或者整合kafka-consumer-groups.sh来快速查看消费延迟。脚本的价值在于把重复劳动自动化而不是一次写死永不修改。等你用上一个星期自然会知道哪些地方需要往脚本里补充。Linux下启动Kafka这件事说难不难但坑是真的多。希望这篇文章能帮你把启动阶段的弯路走直。如果你在操作中还遇到什么问题欢迎评论区留言我看到都会回复。
)
