Kafka 消息队列 & 大数据集成
⚡ 实战课程 ·
30章
1
01
Kafka前世今生
消息队列演进 · 诞生背景 · 核心设计理念
➔
2
02
Kafka集群搭建
环境准备 · ZooKeeper部署 · Broker配置启动
➔
3
03
Kafka核心概念
Topic · Partition · Offset · Producer · Consumer · Broker
➔
4
04
生产者原理
消息发送流程 · 分区策略 · ACK · 幂等性与事务
➔
5
05
消费者原理
消费组与重平衡 · Offset提交 · 分区分配策略
➔
6
06
Kafka存储机制
日志结构 · 分段策略 · 索引文件 · 日志清理压缩
➔
7
07
Kafka高可用设计
副本机制 · ISR/OSR · Leader选举 · 故障恢复
➔
8
08
Kafka监控与运维
JMX指标 · Kafka Eagle · 日志管理 · 集群扩缩容
➔
9
09
Kafka API实战
Java Producer/Consumer API · AdminClient
➔
10
10
Kafka Streams入门
流处理概念 · KStream/KTable · 状态存储 · 窗口操作
➔
11
11
Kafka Connect实战
Source/Sink Connector · 单机与分布式模式
➔
12
12
Kafka与Flume集成
Flume架构 · Kafka Source/Sink · 实战案例
➔
13
13
Kafka与Spark Streaming集成
Direct Stream · Offset管理 · Exactly-Once语义
➔
14
14
Kafka与Flink集成
Flink Kafka Connector · Checkpoint · 动态分区发现
➔
15
15
Kafka与HDFS集成
数据落盘 · Avro序列化 · 分区目录结构设计
➔
16
16
Kafka与Elasticsearch集成
Logstash配置 · Kafka ES Sink · 实时索引构建
➔
17
17
Kafka与ClickHouse集成
Kafka引擎表 · 物化视图 · 实时OLAP分析
➔
18
18
Kafka安全机制
SSL/TLS · SASL认证 · ACL权限 · RBAC实践
➔
19
19
Kafka消息压缩
Gzip/Snappy/LZ4/Zstd对比 · 压缩配置调优
➔
20
20
Kafka性能调优
生产者/消费者/Broker/OS层面参数调优
➔
21
21
Kafka跨集群复制
MirrorMaker2 · 双向复制 · 灾难恢复方案
➔
22
22
Kafka Schema Registry
Avro Schema管理 · 兼容性检查 · 序列化反序列化
➔
23
23
Kafka REST Proxy
REST API接口 · 生产消费消息 · 集群管理
➔
24
24
Kafka与Kubernetes集成
Strimzi Operator · Kafka on K8s · 弹性伸缩
➔
25
25
延迟消息与定时消息
时间轮原理 · 自定义实现 · 应用场景
➔
26
26
死信队列与重试机制
重试Topic设计 · 死信处理策略 · 幂等消费
➔
27
27
消息轨迹与全链路追踪
OpenTracing集成 · 消息埋点 · TraceID传递
➔
28
28
大规模集群治理
Topic治理 · 分区重分配 · 配额管理 · 资源隔离
➔
29
29
实战案例一：日志采集系统
Flume + Kafka + HDFS + Hive
➔
30
30
实战案例二：实时风控系统
Kafka + Flink + Redis + MySQL
➔