金融数据清洗与知识融合实战
📚 共计 30 章节
01
金融数据清洗概述
数据清洗在金融领域的价值、常见数据质量问题（缺失值、异常值、重复值、不一致数据）、数据清洗流程概览。
概念
流程
02
Python金融数据环境搭建
Anaconda安装与配置、Jupyter Notebook使用、Pandas与NumPy库安装、金融数据API接口（Tushare/AkShare）入门。
环境
API
03
Pandas基础操作
Series与DataFrame创建、数据读取（CSV/Excel/数据库）、数据预览与基本信息查看（head/info/describe）。
Pandas
入门
04
数据缺失值处理（上）
缺失值检测（isnull/notnull）、缺失值统计与可视化、删除缺失值（dropna）策略与实战。
缺失值
dropna
05
数据缺失值处理（下）
填充缺失值（fillna）方法（均值/中位数/众数/前向填充/后向填充/插值）、金融时间序列缺失值处理技巧。
fillna
插值
06
数据重复值处理
重复值检测（duplicated）、重复值删除（drop_duplicates）、基于关键列的重复值处理、业务逻辑去重实战。
去重
业务
07
数据异常值处理（上）
异常值定义与检测方法（Z-score、IQR四分位距法）、箱线图可视化异常值、金融数据中的异常值识别。
Z-score
IQR
08
数据异常值处理（下）
异常值处理策略（删除、截尾、替换、分箱）、基于业务规则的异常值修正、Winsorize处理实战。
Winsorize
分箱
09
数据格式与类型转换
数据类型检测与转换（astype）、日期时间格式处理（to_datetime）、字符串清洗（strip/replace）、分类数据编码。
类型转换
编码
10
数据标准化与归一化
Min-Max标准化、Z-score标准化、Robust标准化、金融指标无量纲化处理实战。
标准化
归一化
11
数据合并与连接（上）
concat纵向合并、merge横向连接（inner/outer/left/right join）、金融多表数据合并实战。
concat
merge
12
数据合并与连接（下）
join方法、基于索引的合并、重叠数据合并（combine_first）、多层级索引合并技巧。
join
索引
13
数据分组与聚合
groupby分组操作、聚合函数（sum/mean/count等）、transform与apply应用、金融数据分组统计实战。
groupby
聚合
14
数据透视表与交叉表
pivot_table创建透视表、crosstab交叉表、多维度金融数据分析、数据汇总与报表生成。
透视表
crosstab
15
时间序列数据处理（上）
时间序列索引、重采样（resample）与频率转换、滑动窗口（rolling）计算、金融移动平均线实战。
resample
rolling
16
时间序列数据处理（下）
时间序列差分与平稳化、滞后特征（shift）构建、金融收益率计算、时间序列对齐与填充。
差分
shift
17
金融数据特征工程
特征构建（技术指标如RSI/MACD/布林带）、特征选择方法、特征降维（PCA）、金融因子挖掘实战。
RSI
PCA
18
数据质量评估与报告
数据质量维度（完整性/准确性/一致性/时效性）、数据质量评分卡、自动化数据质量报告生成。
质量评分
报告
19
知识融合基础
知识融合概念与意义、知识图谱在金融中的应用、实体对齐与关系融合、多源金融数据融合挑战。
知识图谱
融合
20
实体识别与对齐
命名实体识别（NER）基础、基于规则的实体对齐、基于相似度的实体匹配（编辑距离/Jaccard）、金融实体对齐实战。
NER
对齐
21
数据去重与记录链接
精确匹配与模糊匹配、基于机器学习的记录链接、Blocking与索引技术、金融客户数据去重实战。
模糊匹配
Blocking
22
模式层融合
本体映射与对齐、模式匹配方法（基于名称/结构/实例）、金融数据模式融合策略、Schema匹配工具使用。
本体
模式匹配
23
数据冲突检测与解决
数据冲突类型（值冲突/模式冲突/语义冲突）、冲突解决策略（投票/加权/可信度）、金融多源数据冲突处理。
冲突解决
投票
24
知识图谱构建实战（上）
金融知识图谱设计（实体/关系/属性）、Neo4j图数据库安装与使用、Cypher查询语言入门。
Neo4j
Cypher
25
知识图谱构建实战（下）
金融知识图谱数据导入、图谱查询与可视化、基于图谱的金融风险传导分析。
可视化
风险传导
26
数据清洗与融合Pipeline构建
Pipeline设计模式、数据清洗流程自动化、异常处理与日志记录、金融数据ETL实战。
Pipeline
ETL
27
金融数据质量监控系统
数据质量监控指标设计、实时监控告警机制、数据血缘追踪、数据质量看板搭建。
监控
看板
28
实战案例一：股票日线数据清洗与融合
多源股票数据获取、数据清洗（缺失值/异常值/复权处理）、数据融合与特征构建、回测数据准备。
股票
回测
29
实战案例二：基金持仓数据清洗与融合
基金持仓数据解析、持仓比例归一化、多期持仓数据对齐、持仓变动分析。
基金
持仓
30
实战案例三：金融舆情数据清洗与知识融合
舆情文本清洗、情感分析、实体抽取与对齐、舆情与行情数据融合、事件驱动分析。
舆情
情感分析