当前位置: 首页 > news >正文

RabbitMQ发布订阅模式同一消费者多个实例如何防止重复消费?

微服务架构模式中,服务间的通信一般采用HTTP、RPC或者MQ(消息队列)。在这三种方案中,HTTP和RPC是一对一的方式,通常用来进行查询或者命令式的操作,MQ则多用于事件的发布和处理。

在实际项目中我们通常会遇到一种情况:

事件有多个订阅者,有的订阅者部署多个实例,要求每个事件只需要发布一次,每个订阅者都要能收到且仅能有其中一个实例收到并进行处理。

简单说就是既要所有订阅者都能收到消息,又要保证每个订阅者只能消费一次,不能重复消费。那么在使用RabbitMQ作为消息中间件时应该如何处理这个问题?

需求

微服务架构下使用RabbitMQ作为服务总线中间件,有这样一种场景,订单服务在用户提交订单后会发送OrderCreatedEvent事件,需要接收此事件的服务有以下几个:
1、日志服务(单点部署);
2、消息系统,给用户发送短信、邮件(单点部署);
3、仓储系统,接收通知备货,扣减库存等(多实例,有负载均衡),同一条消息仅允许一个实例消费;
4、财务系统,记录收入流水(多实例,有负载均衡),同一条消息仅允许一个实例消费;
5、BI系统,做销售统计等;

问题

OrderCreatedEvent发出后,5个服务均可以接收到消息并进行处理,但是仓储和财务部署了多个实例,也就意味着每个实例都能收到相同的消息,这种情况下如何避免重复消费?

方案

  1. /* by 01130.hk - online tools website : 01130.hk/zh/barcode.html */ OrderCreatedEvent事件建立一个/* by 01130.hk - online tools website : 01130.hk/zh/barcode.html */ fanout exchange

  2. 每个需要处理OrderCreatedEvent的订阅者单独建立一个queue,订阅者的所有实例都消费这一个queue的消息。

  3. 将所有OrderCreatedEvent订阅者的queue都bind到第一步建立的exchange上。

  4. 事件发布者将OrderCreatedEvent消息发布到exchange,由exchange将消息路由到对应的queue,最后由queue锁定一个消费者实例并进行投递。

以下是示意图

graph LR Producer((订单服务)) Exchange{{OrderCreatedEvent交换机(fanout exchange)}} QueueA@{shape: subproc, label: 日志系统队列} QueueB@{shape: subproc, label: 消息系统队列} QueueC@{shape: subproc, label: 仓储系统队列} ConsumerA1([日志系统实例]) ConsumerB1([消息系统实例]) ConsumerC1([仓储系统实例1]) ConsumerC2([仓储系统实例2]) ConsumerC3([仓储系统实例3]) style Producer fill:#003d5b,color:white,stroke:#003d5b style Exchange fill:black,color:white,stroke:black style QueueA fill:#926c15,color:white,stroke:white style QueueB fill:#926c15,color:white,stroke:white style QueueC fill:#926c15,color:white,stroke:white style ConsumerA1 fill:#606c38,color:white,stroke:white style ConsumerB1 fill:#606c38,color:white,stroke:white style ConsumerC1 fill:#666,color:white,stroke:white style ConsumerC2 fill:#606c38,color:white,stroke:white style ConsumerC3 fill:#666,color:white,stroke:white Producer --发布---> Exchange Exchange --绑定---> QueueA --消费---> ConsumerA1 Exchange --绑定---> QueueB --消费---> ConsumerB1 Exchange --绑定---> QueueC QueueC --消费---> ConsumerC1 QueueC --消费---> ConsumerC2 QueueC --消费---> ConsumerC3

四种主要 Exchange 类型

RabbitMQ主要有四种核心的Exchange类型:Fanout(广播)、Direct(精确匹配)、Topic(模式匹配)和Headers(按头匹配),它们决定了消息如何从交换机路由到队列,其中Direct、Topic、Fanout最常用,而Headers和一些插件类型(如x-delayed-message)提供更灵活的路由功能。

  1. Fanout (扇出)

    • 特点:将消息广播到所有绑定到它的队列。
    • 路由规则:忽略路由键 (Routing Key)。
    • 场景:适用于日志系统、通知广播等需要消息分发到多个消费者的场景。
  2. Direct (直连)

    • 特点:消息根据与队列绑定的精确路由键来路由。
    • 路由规则消息的 Routing Key必须完全匹配队列绑定的 Routing Key
    • 场景:一个消费者处理特定类型的任务,如处理“用户注册”消息。
  3. Topic (主题)

    • 特点:使用通配符(*匹配一个词,#匹配零个或多个词)进行模式匹配路由。
    • 路由规则消息的 Routing Key模式需要与队列绑定的模式匹配。
    • 场景:日志级别过滤,如logs.info.*匹配所有 info 级别的日志,logs.#匹配所有日志.
  4. Headers (头部)

    • 特点:根据消息的 Headers 属性(键值对)进行路由,而不是 Routing Key。
    • 路由规则:匹配消息 Headers 中的键值对与绑定时设置的键值对。
    • 场景:当需要根据复杂属性匹配时,较少使用,因为性能不如前三者。

Demo

后面我将会提供以上方案的具体实现,包含Java.net两种版本。

http://www.cnnetsun.cn/news/112745.html

相关文章:

  • 【智能聊天助手部署教程 (基于 Streamlit + Ollama)】
  • 好写作AI第二大脑:当研究灵感不再碎片化,你的“学术外脑”已上线
  • 好写作AI第二大脑:当研究灵感不再碎片化,你的“学术外挂”已上线
  • 守护代码世界的守门人——软件测试团队心理健康白皮书
  • PinWin窗口置顶工具:提升Windows多任务效率的终极指南
  • Sheet-to-Doc:用Excel数据和Word模板自动生成文档
  • 27岁,转行网络安全,是这辈子最成功的一件事......_27岁开始搞网安好吗
  • 基于 OpenCV C# 的直线卡尺工具源码分享
  • FunASR多说话人识别终极指南:从实战到深度解析
  • SpringAI基于pgvector存储向量
  • 15天零基础打造Android视频录制终极方案:基于FFmpeg的微信级体验完整实现
  • 终极指南:macOS iSCSI启动器完整配置与使用详解
  • 【计算机毕业设计案例】基于SpringBoot+微信小程序的智能在线预约挂号系统基于springboot+微信小程序的智能医疗管理系统设计与实现(程序+文档+讲解+定制)
  • 【计算机毕业设计案例】基于springboot+微信小程序的校园活动管理系统设计与实现在线活动发布、报名管理与学生互动平台(程序+文档+讲解+定制)
  • HMC218BMS8GETR,3.5-8 GHz GaAs MMIC双平衡混频器, 现货库存
  • 直流电机控制仿真:Matlab/Simulink 实现
  • 如何用Charticulator轻松制作专业图表
  • 俄罗斯服务器常见故障汇总及排查方法
  • Seed-VR2:突破性AI视频增强技术,6GB显存实现专业级画质处理
  • 3分钟让你的Qt应用颜值翻倍:10款专业QSS模板免费使用指南
  • AI视频生成新纪元:5步掌握Wan2.2模型实战技巧
  • Stable Diffusion WebUI Forge技术架构深度解析:PyTorch如何驱动AI绘画革命
  • 合规即代码的延伸:国产 DevOps 平台如何利用平台扩展能力,自动验证信创基础设施的配置合规性
  • 基于MATLAB的Kmeans自动寻找最佳聚类中心App——简单操作实现手肘法与聚类分析
  • 2026年学大模型,别乱读书!这13本“硬核书单”就是你的高效知识地图,啃完体系自成
  • Wan2.1 GP视频生成:新手快速上手AI视频制作指南
  • 【Go 语言】核心特性、基础语法及面试题
  • 能控制计算机桌面的多模态AI agent框架
  • DeeplxFile终极指南:免费解锁无限制文件翻译的完整教程
  • Iridescent:Day27