消息总线架构选型与性能调优

📚 共计 30 章节

消息总线概述

什么是消息总线 · 为什么需要 · 核心价值与适用场景

核心概念与术语

生产者·消费者·主题·分区·偏移量·持久化·确认机制

主流消息总线对比

Kafka vs RabbitMQ vs RocketMQ vs Pulsar · 架构差异与选型

Kafka深度解析

架构设计·副本机制·ISR与Leader选举·日志存储

RabbitMQ深度解析

AMQP协议·Exchange类型·死信队列·延迟队列

RocketMQ深度解析

NameServer·Broker·消息存储·事务消息·顺序消息

Pulsar深度解析

分层架构·BookKeeper·Geo-Replication·函数计算

Pulsar云原生

选型决策矩阵

功能·性能·社区·运维·成本 · 多维度对比

性能调优基础

操作系统调优 · 文件句柄·网络参数·内存分配

堆内存·GC策略·G1 vs ZGC 在消息系统中的应用

生产者性能调优

批量发送·压缩·异步·重试·幂等性

生产者吞吐

消费者性能调优

消费模式·拉取大小·并发度·手动提交·Rebalance

消费者优化

Broker性能调优

磁盘I/O·页缓存·刷盘策略·网络线程模型

网络与协议优化

TCP参数·零拷贝·序列化 (Protobuf/Avro/JSON)

网络序列化

消息可靠性保证

ACK机制·同步/异步复制·数据丢失防范

消息顺序性保证

全局顺序 vs 分区顺序 · Kafka分区策略 · RocketMQ队列

消息去重与幂等性

Exactly-Once · Kafka事务 · RocketMQ事务消息

延迟消息与定时消息

RabbitMQ TTL+死信 · RocketMQ定时级别 · Pulsar延迟投递

消息轨迹与链路追踪

OpenTelemetry · 消息埋点 · 全链路追踪方案

追踪可观测

监控与告警

JMX指标 · Prometheus+Grafana · 关键指标解读

容量规划与压测

吞吐量估算·分区数规划·磁盘容量·压测工具

高可用架构设计

多副本·跨机房容灾·故障转移·脑裂处理

高可用容灾

消息总线与微服务集成

Spring Cloud Stream · Event-Driven · CQRS

微服务集成

消息总线与大数据集成

Kafka Connect · Streams · Flink · Spark Streaming

大数据流处理

消息总线安全

SSL/TLS · SASL认证 · ACL · 审计日志

云原生消息总线

Kafka on K8s · Strimzi Operator · Serverless消息

实战案例一：电商订单系统

RocketMQ事务消息保证订单与库存一致性

实战案例二：日志采集系统

Kafka + ELK 日处理百TB日志

实战案例三：物联网数据管道

Pulsar 百万设备数据接入与处理

总结与未来趋势

技术演进 · EventMesh · 流式数据库 · 存算分离