01
实时数据采集概述
定义、应用场景（金融/IoT/运维）、核心挑战（延迟、吞吐、一致性）
概念全景
02
采集架构演进
批处理→流处理、Lambda/Kappa架构、事件驱动核心思想
架构流式
03
数据源接入优化
多源异构（数据库/API/日志/消息队列）接入策略与适配器模式
接入适配器
04
消息队列选型与调优
Kafka/RabbitMQ/Pulsar对比；分区、副本、批量参数调优
MQ调优
05
生产者性能优化
批量发送、异步发送、压缩算法（Snappy/Zstd）、内存池复用
生产者压缩
06
消费者性能优化
消费者组管理、pull vs push、偏移量提交、并行消费模型
消费者并行
07
网络延迟优化
TCP参数(Nagle/TCP_NODELAY)、连接池、DNS缓存、HTTP/2与gRPC
网络gRPC
08
序列化与反序列化
JSON vs Protobuf vs Avro；Schema Registry；自定义性能对比
序列化Protobuf
09
内存与GC优化
堆外内存、对象池、零拷贝(Zero-Copy)、DirectBuffer应用
内存GC
10
时间窗口与水位线
事件时间 vs 处理时间；Watermark机制；乱序数据处理策略
窗口水位线
11
背压机制
背压定义、Reactive Streams、Netty水位线、Flink背压调优
背压Reactive
12
数据去重与幂等性
Exactly-Once语义、布隆过滤器/Redis/唯一键、幂等生产者
去重幂等
13
数据质量保障
实时校验、异常检测、脏数据隔离、质量监控指标
质量监控
14
监控与告警
Prometheus+Grafana、Lag/TPS/Error Rate、告警规则设计
监控告警
15
日志采集实战
Filebeat/Logstash/Fluentd对比、多行合并、解析性能优化
日志Filebeat
16
数据库变更捕获 (CDC)
Debezium原理、MySQL Binlog解析、增量快照与无锁读取
CDCDebezium
17
API采集优化
限流与重试、连接池管理、异步HTTP客户端(WebClient等)
API异步
18
IoT设备数据采集
MQTT优化、设备认证与心跳、边缘计算预处理、压缩传输
IoTMQTT
19
实时ETL管道
流式SQL(Flink SQL/Kafka Streams)、状态管理、定时器与窗口聚合
ETLFlink SQL
20
数据湖实时写入
Hudi/Iceberg/Delta Lake优化、小文件合并、Compaction策略
数据湖Hudi
21
容器化部署
Docker镜像优化、K8s资源限制、HPA自动扩缩容、Pod亲和性
容器K8s
22
性能基准测试
JMH微基准、全链路压测(Locust/Gatling)、测试指标与报告
压测JMH
23
故障恢复与高可用
主备切换、多副本、故障检测与自动恢复、优雅关闭
高可用故障
24
安全与权限
TLS/SSL加密、SASL/SCRAM认证、审计日志、敏感数据脱敏
安全TLS
25
成本优化
资源弹性伸缩、Spot实例、数据生命周期、冷热数据分离
成本Spot
26
全链路追踪
OpenTelemetry集成、Trace ID传递、Span采样、延迟瓶颈分析
追踪OpenTelemetry
27
实战案例一：金融交易实时风控
毫秒级延迟、高可用架构、数据一致性保障
金融风控
28
实战案例二：电商大促实时大屏
百万级QPS、多维聚合、动态刷新策略
电商大屏
29
实战案例三：物联网设备监控
百万设备接入、边缘计算、异常预警
IoT监控
30
未来趋势
流批一体、云原生实时计算、AI智能采集、Serverless管道
趋势云原生