3、消息队列选型：Kafka核心概念、RabbitMQ对比、Pulsar特性、选型决策矩阵
消息队列，说白了就是风控系统的「高速公路」。数据从各个业务系统涌进来，如果没一条好路，早晚得堵死。
我做了这么多年风控架构，选型这事儿踩过不少坑。今天咱们就聊聊Kafka、RabbitMQ、Pulsar这三兄弟，看看它们到底谁更适合你的场景。
3.1 Kafka核心概念：吞吐量之王
Kafka，我习惯叫它「日志收集器」。它最初是为处理海量日志而生的，所以天生就适合高吞吐场景。
几个核心概念你得记住：
- Topic（主题）：数据分类的标签。比如「交易事件」、「登录事件」各是一个Topic。
- Partition（分区）：Topic被拆成多个分区，每个分区是一个有序的日志文件。分区越多，并行度越高。
- Consumer Group（消费组）：一组消费者共同消费一个Topic，每个分区只能被组内一个消费者消费。
- Offset（偏移量）：记录消费者读到哪了。这是Kafka实现「重放」的关键。
关键点：Kafka不删除已消费的数据，而是根据配置的保留时间（比如7天）来清理。这意味着你可以随时回溯历史数据。
我在项目中遇到过一个问题：某次风控规则需要回溯3小时前的交易数据做离线分析。用Kafka就很简单，直接把消费者的offset重置到3小时前，数据就全回来了。换成RabbitMQ？嗯，那可就麻烦了。
3.2 RabbitMQ对比：灵活但吞吐有限
RabbitMQ，说白了就是个「邮递员」。它基于AMQP协议，消息路由非常灵活。
它的核心优势是：
- Exchange（交换机）：支持direct、topic、fanout、headers四种路由模式。
- 消息确认：支持生产者确认、消费者确认，保证消息不丢。
- 延迟队列：通过死信交换机或插件实现，风控中常用。
但说实话，RabbitMQ的吞吐量是个硬伤。单机撑死也就几万TPS，跟Kafka的百万级没法比。
避坑指南：我曾经在一个风控项目里用RabbitMQ处理交易事件，高峰期每秒5万条消息，结果队列直接爆了，消息堆积到几百万。后来紧急切到Kafka才稳住。所以，高吞吐场景别犹豫，直接上Kafka。
那RabbitMQ就没用了吗？也不是。如果你的场景是「低延迟、高可靠、路由复杂」，比如风控规则引擎的指令下发，RabbitMQ反而更合适。
3.3 Pulsar特性：新一代的「全能选手」
Pulsar，我最近两年才开始深入研究。它吸收了Kafka和RabbitMQ的优点，又解决了一些痛点。
几个让我眼前一亮的设计：
- 分层架构：计算层（Broker）和存储层（BookKeeper）分离。Broker可以无状态扩缩容，存储层独立扩展。
- 原生多租户：一个集群可以服务多个团队，资源隔离做得很好。
- 消息TTL和延迟投递：原生支持，不用像RabbitMQ那样绕弯子。
- 消费模式灵活：支持独占、共享、灾备三种模式。
个人经验：Pulsar的「共享消费模式」特别适合风控场景。比如同一个规则需要多个消费者并行处理，但又不希望重复消费。Pulsar的Shared模式正好解决这个问题，Kafka的Consumer Group反而做不到。
不过Pulsar也有缺点：社区生态不如Kafka成熟，运维复杂度也更高。如果你团队不大，建议还是先选Kafka。
3.4 选型决策矩阵
说了这么多，到底怎么选？我整理了一个决策矩阵，你直接对着看就行。
| 维度 | Kafka | RabbitMQ | Pulsar |
|---|---|---|---|
| 吞吐量 | 百万级TPS | 万级TPS | 百万级TPS |
| 延迟 | 毫秒级（批量发送时略高） | 微秒级 | 毫秒级 |
| 消息可靠性 | 高（通过副本机制） | 极高（支持确认机制） | 极高（BookKeeper保证） |
| 路由灵活性 | 低（仅支持Topic） | 高（多种Exchange） | 中（支持Topic和Queue） |
| 运维复杂度 | 中 | 低 | 高 |
| 社区生态 | 非常成熟 | 成熟 | 成长中 |
| 适用场景 | 高吞吐日志、事件流 | 低延迟任务、指令下发 | 多租户、混合负载 |
我的建议：
- 风控事件流（交易、登录、行为）→ Kafka
- 规则引擎指令、延迟任务 → RabbitMQ
- 多团队共用、需要弹性伸缩 → Pulsar
最后说一句：选型没有银弹。你想想看，Kafka吞吐高但路由弱，RabbitMQ灵活但吞吐低，Pulsar全能但运维重。关键还是看你的业务场景。
我个人习惯是：先画数据流图，标出每个环节的吞吐量、延迟要求、可靠性需求，然后再对着矩阵选。这样基本不会跑偏。
这张图是我自己画决策流程时常用的。你顺着箭头走一遍，基本就知道该选哪个了。
小技巧：如果实在拿不准，我建议先上Kafka。为什么？因为Kafka的生态最成熟，踩坑的人最多，网上资料也最全。等你用熟了，再考虑要不要切到Pulsar。
好了，消息队列选型就聊到这儿。记住一句话：没有最好的消息队列，只有最适合你场景的消息队列。
公众号:蓝海资料掘金营，微信deep3321