第01章
数据一致性概述
什么是数据一致性、为什么金融系统需要强一致性、CAP理论在金融场景的权衡。
CAP强一致性
第02章
流数据基础
流数据的概念、与批处理的区别、金融流数据的典型特征(高吞吐、低延迟、有序性)。
高吞吐低延迟
第03章
一致性模型
强一致性、最终一致性、因果一致性、会话一致性在金融场景的适用性分析。
因果一致性会话一致性
第04章
分布式事务
两阶段提交(2PC)、三阶段提交(3PC)、TCC模式在流处理中的局限与改进。
2PCTCC
第05章
消息队列与一致性
Kafka、Pulsar等消息中间件如何保证消息不丢失、不重复、有序性。
KafkaPulsar
第06章
幂等性设计
幂等性的定义、在金融交易中的重要性、实现幂等的常见方案(唯一键、状态机)。
唯一键状态机
第07章
状态管理与快照
流处理中的状态存储(RocksDB、Redis)、Checkpoint机制、Savepoint恢复。
RocksDBCheckpoint
第08章
精确一次语义
Exactly-Once语义的实现原理、Flink的端到端Exactly-Once方案。
Exactly-OnceFlink
第09章
分布式快照算法
Chandy-Lamport算法原理、在Flink中的应用、异步屏障快照。
Chandy-Lamport屏障
第10章
两阶段提交在流中的实践
Flink的TwoPhaseCommitSinkFunction、Kafka事务集成。
TwoPhaseCommitKafka事务
第11章
数据去重机制
基于时间窗口的去重、基于布隆过滤器的去重、基于外部存储的去重。
布隆过滤器时间窗口
第12章
时间语义与乱序处理
事件时间、处理时间、摄入时间、Watermark机制、乱序数据容忍。
Watermark事件时间
第13章
端到端一致性
Source端一致性保证、Sink端一致性保证、中间算子状态一致性。
SourceSink
第14章
一致性检查点
Checkpoint配置优化、异步Checkpoint、增量Checkpoint、对齐与非对齐。
增量Checkpoint对齐
第15章
故障恢复机制
Task失败恢复、Job失败恢复、Application模式恢复、Exactly-Once恢复保证。
故障恢复Application模式
第16章
数据回溯与补偿
回溯读取Kafka数据、补偿交易设计、对冲交易模式。
回溯对冲交易
第17章
金融级SLA设计
延迟指标、吞吐指标、可用性指标、一致性指标的定义与监控。
SLA可用性
第18章
实时对账系统
流式对账架构、T+0对账、T+1对账、差异处理流程。
T+0对账
第19章
风控流处理一致性
风控规则状态一致性、特征计算一致性、模型推理一致性。
风控特征计算
第20章
多活架构与一致性
同城双活、异地多活、单元化架构下的一致性挑战与解决方案。
多活单元化
第21章
数据血缘与溯源
流数据血缘追踪、数据链路审计、问题数据溯源。
血缘溯源
第22章
配置管理与动态更新
动态配置下发一致性、配置版本管理、灰度发布。
灰度发布配置版本
第23章
监控与告警
一致性指标监控(延迟、丢数、重复)、异常检测、自动告警。
监控告警
第24章
测试与验证
一致性测试框架、混沌工程、故障注入、回归测试。
混沌工程故障注入
第25章
案例:支付链路一致性
从用户发起支付到账务更新的全链路一致性保障。
支付全链路
第26章
案例:交易风控一致性
实时风控决策中特征与模型的一致性保证。
风控决策模型
第27章
案例:行情数据一致性
证券行情数据的顺序性、完整性、时效性保障。
行情顺序性
第28章
案例:信贷审批一致性
信贷审批流程中多系统状态一致性保证。
信贷多系统
第29章
未来趋势
流式数据库、实时数仓、Lakehouse架构下的一致性新挑战。
流式数据库Lakehouse
第30章
总结与最佳实践
金融流数据一致性方案选型指南、架构设计原则、常见陷阱。
最佳实践选型指南