01
数据湖概念与金融行业价值
数据湖定义、与传统数据仓库对比、金融行业数据痛点、数据湖在风控/营销/运营中的应用场景。
概念金融场景
02
金融数据湖总体架构设计
分层架构（ODS/DWD/DWS/ADS）、技术选型（Hadoop/Spark/Flink/Delta Lake）、数据流向设计。
架构分层技术选型
03
数据湖基础设施搭建
Hadoop集群部署、HDFS高可用配置、YARN资源管理、Kerberos安全认证。
Hadoop高可用安全
04
数据湖元数据管理
Hive Metastore原理、Apache Atlas实践、数据血缘追踪、元数据采集与同步。
元数据Atlas血缘
05
数据湖数据采集技术
Sqoop批量采集、Kafka实时采集、Canal监听MySQL Binlog、Flume日志采集。
采集KafkaCanal
06
数据湖数据存储设计
Parquet/ORC列式存储、分区策略（时间/地域）、桶表设计、压缩算法选择（Snappy/Zstd）。
存储列式压缩
07
数据湖数据入湖流程
全量入湖策略、增量入湖策略、CDC（Change Data Capture）实现、数据质量校验。
入湖CDC质量
08
数据湖数据治理
数据标准制定、数据质量规则、数据脱敏方案、数据生命周期管理。
治理标准脱敏
09
数据湖数据安全
RBAC权限模型、数据加密（TDE/列级加密）、审计日志、GDPR/等保合规。
安全RBAC加密
10
数据湖批处理引擎
Spark SQL调优、动态资源分配、数据倾斜处理、Shuffle优化。
Spark调优Shuffle
11
数据湖流处理引擎
Flink Checkpoint机制、Exactly-Once语义、状态后端选择、反压处理。
Flink状态反压
12
数据湖实时数仓构建
Kappa架构实践、Flink SQL + Hive集成、实时指标计算、OLAP查询加速。
实时数仓KappaOLAP
13
数据湖数据服务接口
RESTful API设计、数据查询网关、数据订阅发布、数据导出功能。
API网关订阅
14
数据湖数据质量监控
数据质量维度（完整性/准确性/一致性）、监控告警规则、数据质量报告。
质量监控告警报告
15
数据湖任务调度系统
Apache DolphinScheduler部署、DAG工作流设计、任务依赖管理、失败重试策略。
调度DolphinDAG
16
数据湖数据可视化
Superset/Tableau集成、报表设计原则、大屏展示方案、自助分析平台。
可视化大屏自助分析
17
数据湖与AI融合
特征工程平台、模型训练数据准备、实时特征计算、MLflow模型管理。
AI特征MLflow
18
数据湖成本优化
冷热数据分层、存储压缩比优化、计算资源弹性伸缩、Spot实例利用。
成本冷热弹性
19
数据湖运维监控
Grafana + Prometheus监控、集群健康检查、慢查询分析、容量规划。
运维监控Grafana
20
数据湖容灾备份
跨机房备份、快照策略、数据恢复演练、RPO/RTO指标设计。
容灾备份RPO
21
数据湖版本管理
Delta Lake时间旅行、数据回滚、Schema演进、数据一致性保证。
版本DeltaSchema
22
数据湖与数据中台
数据中台概念、数据湖作为数据中台底座、数据服务化、数据资产目录。
中台资产服务化
23
数据湖在风控场景实战
实时反欺诈特征计算、黑名单库构建、规则引擎集成、模型推理服务。
风控反欺诈规则引擎
24
数据湖在营销场景实战
用户画像构建、实时推荐特征、A/B测试数据平台、用户行为分析。
营销画像推荐
25
数据湖在运营场景实战
实时报表系统、业务指标监控、异常检测、自助取数平台。
运营报表异常检测
26
数据湖与数据湖仓一体
Lakehouse概念、Iceberg/Hudi/Delta Lake对比、ACID事务支持、SQL on Lake。
LakehouseIcebergACID
27
数据湖性能调优实战
HDFS小文件问题、Spark AQE优化、Flink State调优、查询引擎选择。
性能AQE小文件
28
数据湖迁移实战
从传统数仓迁移到数据湖、迁移工具选型、数据校验方案、回滚策略。
迁移校验回滚
29
数据湖最佳实践
命名规范、目录结构设计、代码规范、文档管理、团队协作流程。
规范协作文档
30
数据湖未来趋势
云原生数据湖、Serverless数据湖、AI驱动数据治理、实时数据网格。
云原生Serverless数据网格