一、ESG数据全景扫描：数据来源、数据维度、数据频率与质量挑战
做ESG量化投资，第一关就是数据。我见过太多团队，模型建得漂漂亮亮，结果数据一进去，全崩了。说白了，ESG数据跟传统金融数据完全是两码事。今天咱们就把这摊子事彻底捋清楚。
1.1 数据来源：这水到底有多深？
ESG数据不像股价，交易所每天给你推送。它的来源极其分散。我个人习惯把数据源分成三大类：
- 企业自主披露：年报、可持续发展报告、ESG报告。这是最直接的来源，但问题也最多——披露标准不统一，有的公司写得很详细，有的就糊弄两页纸。
- 第三方评级机构：MSCI、Sustainalytics、CDP、彭博这些。它们会用自己的方法论给企业打分。我遇到过最头疼的事——同一家公司，MSCI给AA，Sustainalytics给高风险，你信谁？
- 另类数据源：新闻舆情、卫星图像、供应链数据、政府监管记录。这部分越来越重要，尤其对于非上市公司的ESG评估。
核心观点：没有单一数据源是完美的。我自己的做法是——至少融合3个以上独立来源，才能开始做因子合成。
1.2 数据维度：E、S、G到底拆多细？
ESG不是三个大字就完事了。每个维度下面都有几十个细项。我整理了一个常用维度表，你感受一下：
| 维度 | 二级指标 | 三级指标示例 | 数据频率 |
|---|---|---|---|
| E（环境） | 碳排放、水资源、生物多样性 | Scope 1/2/3排放量、吨水营收比 | 年度/季度 |
| S（社会） | 员工、社区、产品责任 | 员工流失率、工伤率、数据隐私事件 | 年度/事件驱动 |
| G（治理） | 董事会、股东权利、商业道德 | 独立董事占比、CEO薪酬比、贿赂案件 | 年度/持续更新 |
嗯，这里要注意——不同行业的关键指标完全不同。比如银行最看重治理，化工企业最看重环境。我早期犯过一个错，把所有行业用同一套权重去打分，结果模型跑出来完全没区分度。
1.3 数据频率：年度数据怎么做量化？
这是ESG量化最让人头疼的地方。传统量化因子，比如动量、波动率，每天都有数据。ESG呢？大部分指标一年才更新一次。
为什么会这样？因为企业年报一年才出一份。你想想看，你用去年的碳排放数据去预测今年的股价，这中间的时间差有多大？
我个人的应对策略是：
- 高频信号用另类数据补：比如用新闻情感分析做E维度的月度更新
- 低频信号做滚动窗口：年度数据用过去3年的加权平均，平滑突变
- 事件驱动数据实时抓：比如监管处罚、诉讼、罢工，这些一旦发生立刻更新
实战技巧：我曾经做过一个回测，用纯年度ESG数据跑出来的夏普比率只有0.3。后来加入月度舆情信号，夏普直接翻到0.8。频率问题不解决，模型很难落地。
1.4 质量挑战：数据清洗才是真正的硬骨头
说实话，ESG数据清洗的难度，比传统金融数据高一个数量级。我总结了几大痛点：
- 缺失值严重：很多公司根本不披露某些指标。比如Scope 3排放，全球披露率不到30%。
- 标准不统一：A公司用GRI标准，B公司用SASB标准，你没法直接比较。
- 数据滞后：年报数据发布时，已经是事件发生后的3-6个月了。
- 人为操纵：有些公司会美化ESG报告。我见过一家企业把"员工培训时长"翻倍报，实际就是多开了两次会。
- 单位不一致：碳排放有的用吨，有的用千吨，有的用二氧化碳当量。不统一直接算，结果就是灾难。
避坑指南：我曾经接手过一个项目，数据源里有一家公司的"废水排放量"填的是0。一开始以为是环保做得好，后来一查——人家根本没填，系统默认成了0。这种错误不揪出来，整个因子都会偏掉。
1.5 知识体系总览：一张图看懂ESG数据全景
下面这张图，是我自己梳理的ESG数据全景框架。从数据源到最终因子合成，每一步都有坑，每一步都需要清洗逻辑。
这张图你看懂了吗？从数据源到最终可用数据集，中间要过四道关。每一关处理不好，后面的因子合成都是白搭。
1.6 实战中的常见陷阱
最后，我分享几个自己踩过的坑，希望能帮你省点时间：
- 陷阱一：盲目相信第三方评分。MSCI的AAA级公司，不一定就是好投资。我做过统计，AAA和CCC的股票收益差异，在统计上并不显著。关键是要看评分背后的原始数据。
- 陷阱二：忽略行业差异。把银行的碳排放和钢铁厂的碳排放直接对比，这就像拿苹果比橘子。一定要做行业中性化处理。
- 陷阱三：过度填充缺失值。有些团队用均值填充ESG缺失值，结果把大量噪声灌进了模型。我建议先用行业中位数，再考虑用机器学习方法做预测填充。
一句话总结：ESG数据清洗，80%的精力要花在理解数据来源和质量上。剩下的20%，才是做因子合成。数据没理清之前，别急着上模型。
好了，这一章的内容就到这里。ESG数据全景扫描是基础中的基础，后面咱们要做的所有事情，都建立在对这些数据的深刻理解之上。