01
实时数据传输概述
什么是实时数据 · 实时与批处理区别 · 金融交易/物联网监控/在线广告 · 课程架构预览
概念场景
02
核心概念与协议
消息队列(Kafka/RabbitMQ) · 发布-订阅 · 生产者-消费者 · TCP/UDP协议选择
协议架构
03
环境搭建
安装Java/Python · 安装Kafka · 启动Zookeeper · 验证集群状态
实操Kafka
04
Kafka基础操作
创建Topic · 生产/消费消息 · Partition与Offset
KafkaCLI
05
生产者API详解
同步/异步发送 · 回调函数 · 分区策略 · acks确认机制
APIJava
06
消费者API详解
消费者组 · 订阅与分配 · 偏移量提交(自动/手动) · 再均衡监听器
API消费
07
序列化与反序列化
JSON/Avro序列化 · 自定义序列化器 · Schema Registry
序列化Avro
08
Kafka Connect
概念介绍 · FileStream Connector · Source与Sink Connector
集成ETL
09
Kafka Streams
流处理概念 · WordCount示例 · 状态存储与窗口操作
流处理Kafka
10
Kafka集群部署
多Broker配置 · 副本因子 · ISR机制 · 故障转移测试
集群运维
11
消息可靠性保证
幂等生产者 · 事务性消息 · Exactly-Once语义
可靠性事务
12
Kafka监控与运维
JMX监控 · Kafka Manager · 日志清理策略 · 磁盘规划
监控运维
13
RabbitMQ入门
AMQP协议 · Exchange类型(Direct/Fanout/Topic) · 队列绑定
RabbitMQAMQP
14
RabbitMQ高级特性
死信队列 · 延迟队列 · 消息确认(ACK) · QoS预取
高级RabbitMQ
15
RabbitMQ集群
镜像队列 · 联邦与铲子插件 · 高可用部署
集群高可用
16
Pulsar入门
Pulsar架构(BookKeeper) · 多租户 · 分层存储 · 与Kafka对比
Pulsar对比
17
实时计算框架Flink
Flink架构 · DataStream API · Source与Sink
Flink流计算
18
Flink时间语义
事件时间/处理时间 · 水位线(Watermark) · 迟到数据处理
时间Watermark
19
Flink状态管理
Keyed State · Operator State · 状态后端(RocksDB) · Checkpoint
状态Checkpoint
20
Flink窗口操作
滚动窗口 · 滑动窗口 · 会话窗口 · 窗口函数
窗口Flink
21
Flink与Kafka集成
FlinkKafkaConsumer · 动态分区发现 · Exactly-Once保证
集成Flink-Kafka
22
实时ETL管道
从Kafka读取 · 清洗转换 · 写入MySQL/Elasticsearch
ETL管道
23
实时数仓架构
Lambda与Kappa架构 · 实时OLAP(Druid/ClickHouse)
数仓OLAP
24
WebSocket实时推送
WebSocket协议 · Spring Boot集成 · 前端接收
WebSocket推送
25
gRPC流式传输
Protocol Buffers · 服务端流/客户端流/双向流 · HTTP2
gRPCProtobuf
26
实时监控告警系统
Prometheus + Alertmanager + Grafana 实时指标监控
监控告警
27
日志实时采集
Filebeat + Kafka + Logstash + Elasticsearch (ELK)
ELK日志
28
性能调优
Kafka吞吐量调优 · Flink并行度 · 网络与内存优化
调优性能
29
数据一致性
分布式事务(Saga) · 幂等性设计 · 去重策略
一致性Saga
30
项目实战：实时订单处理
订单生成 → Kafka → Flink → 数据库 → 大屏展示
实战全链路