01
金融系统消息可靠性概述
为什么金融系统需要精准一次语义?消息丢失与重复的代价。
可靠性金融基础
02
Kafka基础架构回顾
Producer、Broker、Consumer、Topic、Partition核心概念。
架构核心概念
03
Kafka消息传递语义
At most once、At least once、Exactly once 的区别与适用场景。
语义对比
04
幂等性Producer原理
enable.idempotence配置、Producer ID与序列号机制。
幂等Producer
05
事务性Producer入门
transactional.id、initTransactions()、beginTransaction()、commitTransaction()。
事务API
06
事务性Consumer与隔离级别
isolation.level配置、read_committed与read_uncommitted。
Consumer隔离
07
Kafka事务协调器
Transaction Coordinator的角色、事务日志存储。
协调器日志
08
事务协议详解
FindCoordinator、InitProducerId、AddPartitionsToTxn、Produce、EndTxn。
协议内部
09
事务状态机
事务状态流转(Empty、Ongoing、PrepareCommit、Committed等)。
状态机核心
10
消费者事务性读取
consume-transform-produce模式(EOS流处理)。
流处理EOS
11
Kafka Streams与精准一次
StreamsConfig.PROCESSING_GUARANTEE_CONFIG配置。
Streams配置
12
事务超时与异常处理
transaction.timeout.ms配置、事务超时后的恢复策略。
超时容错
13
幂等性与事务的协同
两者如何共同保证端到端的精准一次。
协同端到端
14
金融场景实战:交易流水处理
确保每笔交易不丢不重。
实战交易
15
金融场景实战:账户余额变更
事务性写入与原子性保证。
账户原子性
16
金融场景实战:风控规则引擎
基于Kafka Streams的实时风控。
风控实时
17
金融场景实战:对账系统
使用事务性Producer保证对账文件生成的一致性。
对账一致性
18
金融场景实战:支付回调处理
事务性消费与状态更新。
支付回调
19
跨数据中心复制
MirrorMaker 2.0与精准一次语义的挑战。
跨DC复制
20
Kafka与数据库的分布式事务
Kafka事务与数据库事务的协调(两阶段提交的变体)。
分布式事务2PC
21
事务性应用监控
JMX指标、事务成功率监控、事务挂起检测。
监控JMX
22
性能调优
事务对吞吐量的影响、批量大小与linger.ms的权衡。
性能调优
23
常见问题与排坑
TransactionCoordinator不可用、Producer fencing、事务超时。
排坑故障
24
Kafka 3.0+新特性
KIP-890(弹性事务)、KIP-939(事务优化)。
新特性KIP
25
安全与权限
事务性操作所需的ACL权限配置。
安全ACL
26
测试策略
如何编写单元测试和集成测试验证精准一次语义。
测试集成
27
替代方案对比
Kafka事务 vs Pulsar事务 vs RocketMQ事务。
对比选型
28
架构设计模式
事件溯源与CQRS中如何应用Kafka事务。
事件溯源CQRS
29
生产环境部署最佳实践
Broker配置、Topic配置、客户端配置清单。
部署最佳实践
30
课程总结与展望
精准一次语义的未来趋势与金融合规要求。
总结趋势