Kafka金融消息队列从零到精通

📚 共计 30 章节

消息队列概述

什么是消息队列、为什么金融行业需要消息队列、主流消息队列对比（Kafka vs RabbitMQ vs RocketMQ）

基础金融背景

Kafka核心概念

Topic、Partition、Broker、Producer、Consumer、Consumer Group、Offset

Kafka安装与部署

单机模式安装、集群模式部署、ZooKeeper/KRaft模式选择、配置文件详解

Kafka命令行操作

创建Topic、查看Topic详情、生产消息、消费消息、管理Consumer Group

Kafka生产者详解

发送模式（同步/异步）、分区策略、消息确认机制（acks）、重试机制与幂等性

生产者可靠性

Kafka消费者详解

消费模式（Pull vs Push）、分区分配策略（Range/RoundRobin/Sticky）、位移提交（自动/手动）、再均衡监听器

消费者再均衡

Kafka存储机制

日志存储结构、Segment与Index文件、日志清理策略（delete/compact）、磁盘读写优化

Kafka高可用机制

副本机制（Leader/Follower）、ISR与OSR、Leader选举、故障恢复流程

高可用副本

Kafka安全机制

SSL/TLS加密传输、SASL认证（PLAIN/SCRAM/Kerberos）、ACL权限控制

Kafka监控与运维

JMX监控指标、Prometheus+Grafana集成、常用运维命令、常见故障排查

Source Connector与Sink Connector、单机模式与分布式模式、常用Connector实战

流处理概念、KStream与KTable、状态存储与窗口操作、DSL与Processor API

流处理实时

Kafka Schema Registry

Avro序列化、Schema兼容性管理、与Kafka集成实战

Kafka事务机制

事务性生产者、事务性消费者、Exactly-Once语义实现、事务协调器原理

事务Exactly-Once

Kafka性能调优

生产者参数调优、消费者参数调优、Broker参数调优、操作系统层面调优

Kafka与Spring Boot集成

Spring Kafka配置、@KafkaListener注解、消息转换器、重试与死信队列

Spring微服务

Kafka与Flink集成

Flink Kafka Connector、Exactly-Once保证、Checkpoint与Savepoint、实时计算实战

Flink实时计算

Kafka与Spark Streaming集成

Direct Stream方式、Offset管理、性能优化、实时ETL实战

金融场景实战一：交易日志采集系统

架构设计、高吞吐写入、数据脱敏、审计追踪

金融场景实战二：风控实时规则引擎

事件驱动架构、规则匹配、延迟敏感度控制、降级方案

金融场景实战三：订单状态同步系统

分布式事务协调、最终一致性保证、死信处理、监控告警

订单一致性

金融场景实战四：行情数据分发系统

低延迟设计、多级缓存、数据压缩、多机房同步

行情低延迟

Kafka集群迁移与升级

滚动升级策略、数据迁移方案（MirrorMaker/MM2）、流量切换、回滚方案

Kafka跨机房复制

MirrorMaker 2.0详解、异步复制与同步复制、数据一致性保证、网络延迟处理

跨机房复制

Kafka消息治理

消息规范定义、Topic命名规范、消息生命周期管理、容量规划与限流

Kafka与数据湖集成

Kafka + Hudi/Iceberg/Delta Lake、CDC数据入湖、Schema演进、批流一体

Kafka高级特性

幂等性与事务、自定义分区器、拦截器、配额管理、优先副本选举

Kafka源码分析

生产者客户端源码、消费者客户端源码、协调器源码、日志存储源码

Kafka生态工具

Kafka Manager、Kafka Eagle、AKHQ、Kafdrop、Kafka Tool、Offset Explorer

Kafka面试与职业发展

高频面试题解析、架构师思维培养、金融行业Kafka岗位要求、学习路径规划