Spark Streaming 从入门到精通

01 实时流处理概述

什么是实时流处理流处理 vs 批处理应用场景

02 Spark Streaming简介

Spark Streaming是什么发展历史核心优势

03 架构与原理

DStream概念 Receiver与数据源微批次模型

04 开发环境搭建

JDK配置 Scala安装 Spark安装 Maven/SBT

05 第一个Spark Streaming程序

WordCount实战本地/集群模式代码解析

06 DStream创建

Socket HDFS文件 Kafka Flume

07 DStream转换操作

无状态转换 updateStateByKey 窗口操作

08 DStream输出操作

print() saveAsTextFiles foreachRDD 外部存储

09 与Kafka集成

Kafka回顾 Receiver方式 Direct方式对比

10 与Flume集成

Flume回顾 Push方式 Pull方式实战案例

11 状态管理

updateStateByKey mapWithState Checkpointing

12 窗口操作详解

窗口长度/滑动间隔 reduceByWindow reduceByKeyAndWindow countByWindow

13 性能调优

并行度序列化内存/GC调优背压机制

14 容错机制

Checkpointing Driver容错 Worker容错一致性语义

15 数据源扩展

自定义Receiver MySQL/Redis Elasticsearch

16 输出操作进阶

foreachRDD最佳实践批量写入DB 事务性/幂等性

17 与SQL集成

Streaming DataFrame Structured Streaming 与Spark SQL交互

18 与MLlib集成

实时机器学习流式线性回归流式KMeans 实时推荐

19 与GraphX集成

图计算在流处理实时图分析案例

20 监控与运维

Spark Web UI Metrics系统日志/告警

21 实战：实时日志分析

需求/架构数据采集实时处理结果展示

22 实战：用户行为分析

点击流分析 PV/UV统计用户画像更新

23 实战：异常检测系统

基于规则基于统计基于机器学习

24 实战：实时ETL与同步

Kafka→HDFS Kafka→HBase 数据清洗转换

25 Structured Streaming入门

什么是Structured Streaming 对比Spark Streaming Event-Time处理

26 Structured Streaming进阶

Watermark机制窗口聚合流-流/流-批Join

27 输出模式

Append/Complete/Update 输出Sink

28 容错与一致性

Exactly-Once Kafka Sink幂等性 Checkpointing

29 Spark Streaming 3.x新特性

动态资源分配自适应查询 Kubernetes集成

30 总结与展望

最佳实践常见问题 Spark 4.0展望