消息总线高吞吐调优实战手册

📚 共计 30 章节

消息总线概述

什么是消息总线 · 核心价值与适用场景 · 主流中间件对比 (Kafka/RocketMQ/RabbitMQ)

性能指标与瓶颈分析

吞吐量、延迟、持久性、可用性定义；常见瓶颈 (磁盘IO/网络/内存/CPU)

操作系统层调优

Linux内核参数 · 磁盘调度策略 · 文件系统选择 · 文件描述符

堆内存设置 · GC策略 (G1/ZGC) · 参数实战 · 内存泄漏排查

生产者端调优

批量发送 · 压缩算法 (gzip/lz4/snappy/zstd) · 异步回调 · 缓冲区

生产者吞吐

消费者端调优

拉取/推送模型 · 消费线程数 · 批量消费 · offset管理

消费者offset

Topic与分区设计

分区数影响 · 分配策略 · 副本因子 · 日志分段

网络层调优

TCP参数 · 连接复用 · 心跳 · 带宽与延迟权衡

顺序写/随机写 · 页缓存 · RAID级别 · SSD vs HDD

序列化与协议优化

JSON/Protobuf/Avro · 自定义协议 · 零拷贝技术

序列化协议

消息可靠性保证

ACK机制 · 同步/异步复制 · ISR · 消息丢失防范

消息顺序性保证

单分区顺序 · 全局顺序 · 幂等设计 · 事务消息

消息去重与幂等

生产者幂等 · 消费者去重 · 唯一ID · Exactly-Once

流量控制与背压

限流策略 (令牌桶/漏桶) · 背压 · 反压处理 · 动态速率

监控与告警

关键指标 · Prometheus+Grafana · 告警规则设计

压测方法论

压测工具 (Kafka自带/JMeter/Locust) · 场景设计 · 结果分析

集群部署与扩容

节点规划 · 机架感知 · 滚动升级 · 在线扩容/重平衡

数据持久化与清理

日志保留策略 · 日志压缩 · 过期清理 · 磁盘预警

持久化清理

跨机房与异地多活

跨机房复制 · MirrorMaker/Replicator · 异地多活 · 数据一致性

安全与权限控制

SSL/TLS · SASL认证 · ACL · 审计日志

消息轨迹与全链路追踪

轨迹记录 · OpenTelemetry · 分布式追踪 · 问题排查

追踪可观测

延时消息 · 死信队列 · 重试队列 · 消息过滤/路由

Kafka深度调优

Log Segment · 索引优化 · 网络线程模型 · 请求处理

RocketMQ深度调优

CommitLog/ConsumeQueue · 刷盘 · 长轮询 · 事务消息

RabbitMQ深度调优

Erlang VM调优 · 队列/交换机 · 镜像队列 · 惰性队列

云原生环境调优

Kubernetes部署 · 容器资源限制 · Service Mesh · 弹性伸缩

性能问题排查实战

CPU飙升 · 内存溢出 · 磁盘IO瓶颈 · 网络延迟分析

高可用架构设计

多副本 · Leader选举 · 故障转移 · 容灾演练

高可用架构

资源规格 · 按需扩缩容 · 冷热分离 · 存储成本控制

综合案例实战

电商订单系统 · 日志采集高吞吐 · 物联网数据管道