Flink事件时间处理与水位线实战
📚 共计 10 章节
第1章
事件时间概述
为什么需要事件时间?处理时间 vs 事件时间 vs 摄入时间。
⏱️ 时间语义
🧭 对比
第2章
水位线(Watermark)原理
水位线的定义、作用、如何衡量事件时间的进度。
🌊 核心机制
📈 进度
第3章
水位线生成策略
周期性水位线生成器、标点水位线生成器、自定义水位线。
⚙️ 生成器
🧩 自定义
第4章
水位线与窗口
水位线如何触发窗口计算、迟到数据如何处理。
🪟 窗口触发
⏳ 迟到数据
第5章
实战:电商订单超时监控
使用事件时间和水位线检测30分钟未支付的订单。
🛒 电商
⏰ 超时
🔥 实战
第6章
实战:实时交通ETC数据统计
处理乱序的高速通行数据,还原真实ETC流水。
🚗 ETC
🔀 乱序
📊 统计
第7章
水位线调优
并行度影响、空闲源处理、Kafka分区水位线对齐。
⚡ 性能
🧵 并行度
📬 Kafka
第8章
Flink SQL中的事件时间
在DDL中定义事件时间属性、WATERMARK语法。
📜 SQL
💧 WATERMARK
第9章
常见问题与避坑
水位线不推进、数据积压窗口、时间戳解析失败。
⚠️ 避坑
🛑 故障
第10章
总结与最佳实践
事件时间和水位线的设计哲学、生产环境配置建议。
🏁 总结
📌 最佳实践