交易系统消息队列深度应用

📚 共计 30 章节
01
消息队列基础
为什么交易系统需要消息队列?核心概念(生产者、消费者、主题、分区)与选型对比(Kafka vs RocketMQ vs RabbitMQ)。
选型概念
02
消息队列核心模型
深入理解点对点模型与发布订阅模型,在交易场景下的选择策略。
点对点发布订阅
03
消息可靠性(上)
生产者端如何保证消息不丢失?ACK机制、重试策略与幂等性设计。
ACK幂等
04
消息可靠性(下)
Broker端持久化机制与消费者端确认机制,如何做到Exactly-Once语义?
持久化Exactly-Once
05
消息顺序性
交易系统中订单状态变更的顺序保证,全局有序与分区有序的实现方案。
顺序分区有序
06
消息积压与消费能力
如何监控积压?动态扩容消费者、调整批量参数、限流降级策略。
积压限流
07
事务消息
分布式事务的最终一致性方案,RocketMQ事务消息原理与在交易对账中的应用。
事务对账
08
延迟消息与定时消息
订单超时取消、结算延迟通知的实现,RocketMQ与Kafka的延迟队列方案。
延迟定时
09
死信队列与重试队列
消息消费失败的处理机制,死信消息的监控与人工介入方案。
死信重试
10
消息轨迹与链路追踪
全链路消息轨迹记录,结合OpenTelemetry实现分布式追踪。
追踪OpenTelemetry
11
消息过滤与路由
Tag过滤、SQL过滤、自定义Router,在交易风控场景下的应用。
过滤路由
12
消息队列高可用架构
多副本(Leader/Follower)、ISR机制、Controller选举与故障转移。
高可用ISR
13
消息队列性能调优(上)
生产者端批量发送、压缩、缓冲区调优,提升吞吐量。
批量压缩
14
消息队列性能调优(下)
消费者端拉取策略、并发模型、预取数量调优。
拉取并发
15
消息队列监控与告警
核心指标(TPS、延迟、积压量、磁盘使用率),Prometheus + Grafana 实践。
监控Grafana
16
消息队列安全
SSL/TLS加密传输、SASL认证、权限控制(ACL),在金融合规场景下的实践。
SSLACL
17
消息队列与微服务
异步解耦、事件驱动架构(EDA),在交易订单服务中的落地案例。
EDA解耦
18
消息队列与数据库
基于Canal + MQ的Binlog同步,实现交易数据的实时异构同步。
BinlogCanal
19
消息队列与流处理
Kafka Streams与Flink集成,实现实时风控规则引擎。
Flink风控
20
消息队列与缓存
MQ + Redis/Redis Streams,实现交易热点数据的异步刷新。
Redis缓存
21
消息队列与搜索引擎
MQ + Elasticsearch,实现交易订单的实时搜索与聚合分析。
ES搜索
22
消息队列与大数据
MQ + Hadoop/Spark,实现交易数据的离线批处理与报表生成。
Spark批处理
23
消息队列与云原生
Kubernetes部署Kafka/RocketMQ,Operator自动化运维与弹性伸缩。
K8sOperator
24
消息队列与Serverless
基于MQ触发函数计算,实现交易风控的按需计算。
Serverless触发
25
消息队列与多活架构
跨机房/跨地域的消息同步,实现交易系统的异地多活。
多活同步
26
消息队列与灰度发布
基于消息路由的灰度策略,实现交易新功能的平滑上线。
灰度路由
27
消息队列与压力测试
使用JMeter/Locust模拟高并发消息场景,评估系统瓶颈。
JMeter压测
28
消息队列与故障演练
模拟Broker宕机、网络分区、磁盘故障,验证系统容错能力。
混沌容错
29
消息队列与成本优化
合理设置Topic分区数、消息保留时间、存储策略,降低资源成本。
成本存储
30
消息队列与未来趋势
Kafka 4.0、RocketMQ 5.0、Pulsar对比,以及存算分离架构的演进。
趋势存算分离