RocketMQ介绍学习

简介Apache RocketMQ是一款由阿里巴巴集团开源的分布式消息中间件目前是Apache基金会的顶级项目。它起源于阿里内部旨在解决高并发场景下的消息通信问题并经过“双11”等万亿级消息流转场景的严苛考验。RocketMQ 已从最初的消息队列演进为一个云原生的“消息、事件、流”实时数据处理平台具备高性能、高可靠、高实时和分布式等特点。 核心概念理解 RocketMQ首先需要了解它的几个核心模型主题Topic消息的逻辑分类或顶层容器用于标识同一类业务逻辑的消息例如“订单消息”或“物流消息”。消息队列MessageQueue消息的实际存储和传输容器是消息的最小存储单元。一个Topic下会包含一个或多个MessageQueue用于实现负载均衡和水平扩展。消息Message数据传输的最小单元。生产者将业务数据封装成消息发送到服务端。标签Tag在Topic之下提供的第二级消息分类用于更细粒度的消息过滤。例如订单Topic下可以有“创建订单”和“订单支付完成”等Tag。生产者Producer负责生产并发送消息的角色。消费者Consumer负责接收并消费消息的角色。消费者组Consumer Group包含多个具有相同消费行为的消费者的逻辑资源用于实现消费端的高可用和水平扩展。️ 核心架构RocketMQ的架构设计清晰主要由以下部分构成NameServer轻量级路由中心和注册中心。它维护着集群中所有Broker的路由信息是Producer和Consumer获取Broker地址的“大脑”。其设计亮点是节点之间互不通信实现了无状态化从而保证了高可用和极致的扩展性。Broker消息中转和存储的核心。它负责接收、存储消息并处理消费请求。为提高可用性Broker通常以主从Master-Slave集群方式部署。Proxy5.0版本引入无状态的计算层。负责处理多协议接入如gRPC、MQTT、AMQP、鉴权、消息轨迹等实现了计算与存储分离使得弹性伸缩更加灵活。Store5.0版本引入存储层。专注于消息的持久化存储基于CommitLog、ConsumeQueue等文件实现高性能读写。✨ 核心特性RocketMQ 提供了丰富的特性来满足不同场景的需求四种消息类型普通消息最基础的消息模型用于日志、通知等。顺序消息保证同一消息分区MessageQueue内的消息严格按顺序FIFO消费适用于订单、账务等场景。事务消息通过两阶段提交协议确保本地事务与消息发送的最终一致性是分布式事务的解决方案之一。定时/延迟消息支持消息在指定时间后投递常用于订单超时未支付等场景。高吞吐与低延迟具备处理万亿级消息堆积的能力单机吞吐量可达十万级TPS。金融级可靠性支持同步刷盘、主从同步复制等多种可靠性策略确保消息不丢失。强大的过滤能力支持按Tag进行简单过滤也支持SQL92表达式进行更复杂的属性过滤。云原生友好5.0版本后架构全面拥抱云原生支持Kubernetes、提供Helm Charts等。AI原生能力5.5新特性引入了百万级LiteTopic等特性为AI Agent等场景提供专门的异步通信支持。 适用场景凭借其强大的特性RocketMQ 被广泛应用于多种核心业务场景异步解耦解耦微服务间的直接调用提升系统稳定性和可维护性。流量削峰填谷在秒杀、抢红包等大流量场景下将请求先存入消息队列再由后端系统平滑处理保护下游系统不被冲垮。分布式事务通过事务消息确保订单、支付等跨服务操作的最终一致性。顺序收发确保订单状态流转、账务流水等需要严格顺序的业务。日志与数据同步作为大数据管道收集和分发海量日志或业务数据。AI Agent通信作为多Agent系统的通信基础设施实现高效的事件驱动编排。⚖️ 与其他消息队列的对比特性/指标RocketMQKafkaRabbitMQ核心定位业务消息、金融级可靠、事务消息日志收集、大数据管道、高吞吐流处理轻量级、灵活路由、多协议支持吞吐量高十万级TPS极高百万级TPS中等万级TPS延迟毫秒级毫秒级微秒级消息顺序分区级严格顺序分区级顺序基于独占队列或优先级事务消息原生支持不支持支持基于AMQP协议延迟/定时消息支持任意精度不支持支持有限级别消息过滤支持Tag和SQL92过滤不支持仅Topic级支持多种方式典型场景订单、交易、金融、微服务解耦日志聚合、流式计算、数据管道企业内部系统集成、任务分发选型建议如果你的场景是金融、电商等核心业务需要事务消息、严格顺序和强可靠性RocketMQ 是绝佳选择。如果是海量日志处理、大数据流式分析Kafka 更合适。而如果你的业务相对简单追求轻量和灵活的路由RabbitMQ 是不错的选择。总的来说RocketMQ 是一款为企业级核心业务而设计的消息中间件它在可靠性、功能丰富性和性能之间取得了很好的平衡尤其适合对数据一致性和业务顺序有严格要求的场景。