ESG评分数据清洗与量化因子合成实战

📚 共计 30 章节

ESG数据全景扫描

数据来源、数据维度、数据频率与质量挑战

全景数据源

数据采集与存储

API接口调用、CSV/Excel批量导入、数据库建表规范

缺失值处理（上）

识别缺失模式、删除策略（行删除与列删除）的适用场景

缺失值处理（下）

均值/中位数填充、前向/后向填充、KNN插补与多重插补

异常值检测与处理

Z-score方法、IQR方法、DBSCAN聚类检测、截尾与缩尾处理

数据标准化与归一化

Min-Max归一化、Z-score标准化、RobustScaler在ESG中的应用

标准化归一化

数据类型转换与编码

类别变量编码（LabelEncoder、OneHotEncoder）、日期时间特征提取

编码特征工程

重复值与一致性校验

去重逻辑、跨数据源交叉验证、逻辑规则校验

文本数据清洗

ESG报告中的非结构化文本处理、正则表达式提取关键指标

数据集成与合并

多源数据横向合并（Merge）、纵向追加（Concat）、键值对匹配

时间序列数据处理

重采样、滚动窗口计算、滞后特征构建

行业分类标准化

GICS、SICS、ICB分类映射与统一处理

公司名称模糊匹配

编辑距离、Jaccard相似度、基于词向量的匹配方法

模糊相似度

数据质量评估框架

完整性、准确性、一致性、及时性、唯一性指标计算

数据质量报告生成

自动化质量评分卡、可视化仪表盘构建

报告可视化

ESG因子构建基础

E、S、G三大支柱的指标选取逻辑与权重设定

环境（E）因子合成

碳排放强度、水资源效率、废弃物管理综合评分

社会（S）因子合成

员工满意度、社区关系、产品安全与数据隐私

治理（G）因子合成

董事会结构、高管薪酬、股东权利与商业道德

因子标准化与对齐

跨行业可比性调整、时序稳定性处理

对齐可比性

主成分分析法（PCA）降维

原理讲解、Python实现、因子载荷矩阵解读

因子加权方法

等权法、市值加权法、信息比率加权法、动态权重调整

因子相关性分析

皮尔逊相关系数、Spearman秩相关、多重共线性诊断

相关性共线性

因子正交化处理

Gram-Schmidt正交化、施密特正交化在因子去噪中的应用

综合ESG评分合成

打分卡模型、加权求和模型、非线性合成模型

因子回测框架

构建投资组合、计算超额收益、信息系数（IC）分析

因子IC/IR分析

IC序列计算、IR（信息比率）评估因子稳定性

分组收益测试

多空组合收益、分组单调性检验、分层回测可视化

因子择时与动态调整

市场状态识别、因子暴露的动态管理

ESG因子库维护与更新

自动化Pipeline构建、版本控制、监控告警机制