流式计算 · 推荐系统实战

📖 30章完整版

流式计算基础

流批区别 · Lambda/Kappa架构

推荐系统概述

召回·排序·重排 · 实时价值

消息队列选型

Kafka核心 · Topic/Partition/CG

发展史 · 事件驱动 · 有状态计算

Flink编程模型

DataStream API · Source/Sink · 算子

Flink时间语义

Event/Processing/Ingestion · Watermark

Flink状态管理

Keyed/Operator State · 后端 · TTL

Flink容错机制

Checkpoint/Savepoint · Exactly-Once

实时特征工程

静态/动态/实时 · 滑动窗口 · 计数比率

用户画像实时更新

兴趣标签 · 行为序列 · Redis/HBase

物品特征实时计算

实时热度 · 内容特征 · 协同过滤

实时召回策略

协同召回 · 热门召回 · 向量ANN

实时排序模型

在线服务 · 特征拼接 · 模型预估

Flink SQL在推荐中的应用

SQL语法 · 维表Join · 实时ETL

实时特征存储

Redis/Aerospike · 版本管理 · 一致性

流量分桶 · 实验平台 · 效果监控

实时去重与防抖

行为去重 · Same Item过滤 · 布隆

实时重排策略

多样性打散 · MMR · 业务规则

实时模型更新

在线学习 · 增量训练 · 热加载

实时监控与告警

Flink延迟/吞吐 · 数据质量 · 模型效果

实时数据湖

Iceberg/Hudi · 数据回溯 · CDC

实时特征平台

生产消费解耦 · 血缘追踪 · 复用

实时推荐引擎架构

数据流/计算/存储/服务层 · 延迟分析

实时推荐性能优化

算子链 · 反压 · 资源调整 · 序列化

实时推荐案例

新闻 · 短视频 · 电商实时推荐

实时与离线协同

混合策略 · 冷启动 · 模型一致性

实时推荐安全

差分隐私 · 对抗防御 · 数据脱敏

实时推荐成本控制

资源/存储/计算成本优化

实时推荐未来趋势

流式图计算 · 实时强化 · 多模态

完整实时推荐系统搭建