Kafka分区策略与金融数据分发实战
📚 共计 30 章节
01
金融数据流特性与Kafka选型分析
实时性、可靠性、有序性、高吞吐需求
选型
核心特性
02
Topic与Partition核心概念
逻辑队列与物理分片，分区是并行度的基础
基础
分片
03
默认分区策略 (DefaultPartitioner)
轮询与粘性分区，适用场景与局限性
轮询
粘性
04
自定义分区器 (Custom Partitioner) 开发
实现Partitioner接口，按业务字段路由
接口
路由
05
基于交易账号的分区策略
确保同一账号数据有序，避免全局排序开销
账号
有序
06
基于时间窗口的分区策略
按分钟/小时分桶，便于时序数据批量消费
时间
分桶
07
基于地域/机房的分区策略
数据本地化，降低跨机房带宽与延迟
地域
本地化
08
基于风险等级的分区策略
高优先级数据独立分区，保障处理时效
风险
优先级
09
一致性哈希分区策略
解决扩缩容时的数据倾斜与重平衡问题
哈希
扩缩容
10
分区键 (Key) 设计原则
避免热点、保证均匀分布、兼顾业务查询
Key设计
均匀
11
分区数规划与性能关系
分区数=并行度，过多过少都有坑
规划
并行度
12
分区数动态调整实战
增加分区数、重新分配副本、数据重平衡
动态
重平衡
13
副本因子与ISR机制
保障数据不丢，理解acks=all的含义
副本
ISR
14
生产者 (Producer) 分区选择流程
从send()到分区路由的完整链路
Producer
路由
15
消费者 (Consumer) 分区分配策略
RangeAssignor、RoundRobinAssignor、StickyAssignor
分配
策略
16
再均衡 (Rebalance) 对金融业务的影响
Stop-the-World问题与优化方案
Rebalance
优化
17
静态消费组与分区绑定
避免频繁Rebalance，适合高稳定性场景
静态
绑定
18
消息有序性保证
单分区有序、全局有序的代价与替代方案
有序
全局
19
幂等性与事务
Exactly-Once语义在金融交易中的落地
幂等
事务
20
金融数据去重策略
基于消息ID的幂等消费与外部存储去重
去重
幂等
21
数据倾斜问题排查与解决
Key分布不均、分区数不合理、消费者处理能力差异
倾斜
排查
22
延迟监控与分区Lag告警
使用Kafka Lag Exporter与Prometheus
监控
Lag
23
多数据中心数据同步
MirrorMaker2与分区映射策略
同步
MirrorMaker
24
金融合规与审计日志
分区内消息的不可变性，结合Schema Registry
合规
审计
25
高可用架构设计
跨AZ部署、优先副本选举、故障转移
高可用
AZ
26
性能调优实战
批量大小、压缩算法、缓冲区配置对分区吞吐的影响
调优
吞吐
27
分区数据生命周期管理
基于时间的日志保留策略与压缩策略
生命周期
压缩
28
金融风控场景案例
实时交易反欺诈中的分区策略设计
风控
反欺诈
29
金融行情分发场景案例
Level-2行情数据的分区与消费优化
行情
Level-2
30
课程总结与最佳实践
分区策略选择矩阵、常见陷阱、未来趋势 (Kafka on Kubernetes)
总结
K8s