AD系统数据流架构与调试

30章 · 从入门到实战
广告系统发展史 程序化广告生态 ADX/SSP/DSP/DMP
事件流 批处理/流处理 数据管道 数据湖与仓库
用户→媒体SDK ADX→DSP竞价 返回创意
客户端埋点 服务端日志 Nginx日志 Kafka接入层
Topic/Partition 生产者消费者 消息可靠性 ISR机制
Flink/Spark Streaming AD系统应用
Event Time Processing Time Watermark 乱序处理
Keyed State Operator State 状态后端 RocksDB/FS
精确一次语义 Barrier对齐 故障恢复
最后点击归因 多触点归因 时间衰减 算法归因
点击与转化Join 窗口关联 去重策略
流量质量识别 爬虫过滤 点击劫持检测 异常模式
实时特征 离线特征 特征存储 Redis/Feature Store
模型加载 特征拼接 打分请求 超时降级
询价优化 出价策略 预算控制 频控逻辑
延迟监控 数据质量监控 流量波动告警
OpenTelemetry Span/Trace 分布式日志关联
Exactly-Once 幂等写入 事务消息 二阶段提交
实验分流 实验日志 指标计算 统计显著性
OLAP引擎 ClickHouse/Doris 预聚合 物化视图
Iceberg/Hudi 增量读取 时间旅行
批流一体实践
元数据管理 数据血缘 质量规则引擎
数据压缩 存储分层 计算资源弹性
日志分级 断点调试 远程调试 线上排查
数据倾斜 反压 OOM 序列化异常 连接超时
Arthas jstack/jmap Flink Web UI Kafka Eagle
全链路压测 流量回放 CPU/内存/IO Profiling
多机房部署 数据复制 故障切换 降级预案
广告平台数据流0到1 架构演进与踩坑