2. 数据源质量评估：识别数据源可靠性、数据采集链路审计、数据源一致性检查
好，咱们进入第二个大块头——数据源质量评估。
说实话，ESG评分这件事，最怕的就是“垃圾进，垃圾出”。你模型再牛，算法再花哨，底层数据是假的、漏的、乱的，那评分就是一张废纸。我见过太多团队，花三个月搭评分模型，结果一查数据源，连基础字段都对不上。嗯，这章咱们就把数据源扒个底朝天。
2.1 识别数据源可靠性
数据源靠不靠谱，不能光看牌子。我个人的习惯是，先问三个问题：
- 谁提供的？ 是官方机构、第三方评级、还是企业自报？
- 怎么采集的？ 人工填报？传感器自动采集？还是爬虫抓的？
- 有没有审计痕迹？ 数据有没有被篡改的可能？
举个例子。我在一个项目中遇到过，某家企业的碳排放数据，来源写的是“第三方检测报告”。结果一查，报告是两年前的，而且检测机构根本没有碳排资质。你说这数据能用吗？
可靠性分级参考：
| 等级 | 描述 | 典型来源 |
|---|---|---|
| A级 | 官方监管数据，可追溯、可审计 | 生态环境部、交易所披露 |
| B级 | 第三方认证数据，有资质背书 | SGS、DNV、CDP |
| C级 | 企业自报数据，需交叉验证 | ESG报告、年报 |
| D级 | 非结构化、二手或推算数据 | 新闻、行业估算 |
你想想看，如果数据源是D级，那评分模型里就得给它打折扣，或者干脆不纳入计算。别硬塞。
2.2 数据采集链路审计
数据从源头到你的数据库，中间经过了多少环节？每个环节有没有丢失、变形、延迟？这就是链路审计要干的事。
我建议你画一张数据流图，把每个节点标出来。比如：
传感器 → 边缘网关 → 云平台 → API接口 → 数据仓库 → ETL → 评分引擎每个节点都要检查：
- 采集频率：是实时还是T+1？有没有断点？
- 传输协议：有没有加密？有没有丢包重传机制？
- 存储格式：JSON、CSV、Parquet？字段映射对不对？
- 时间戳：统一时区了吗？我见过UTC+8和UTC+0混用的，算出来差8小时。
小技巧： 我曾经在审计一条水污染数据链路时，发现传感器每5分钟上报一次，但网关只缓存了最近10条。一旦网络中断超过50分钟，数据就永久丢失了。后来我们加了本地存储和断点续传，才解决。
链路审计的核心，就是找到“数据黑洞”——那些数据进去就出不来的地方。
2.3 数据源一致性检查
一致性检查，说白了就是“同一个指标，不同来源的数据能不能对上”。
比如，某企业的“温室气体排放量（范围一）”，在CDP上填的是100万吨，在年报里写的是95万吨，在交易所披露里是98万吨。哪个是对的？
我一般这么处理：
- 定义主数据源：比如以交易所披露为准，因为监管要求最严格。
- 计算偏差率：其他来源与主数据源的差异，超过±5%就要标记。
- 人工复核：偏差大的，去查原始凭证、检测报告。
注意： 一致性检查不是要“消灭差异”，而是要“解释差异”。比如年报数据是财年口径，CDP是自然年口径，差几个月很正常。但如果是口径相同、数值不同，那就要警惕数据造假了。
为了让你更直观地理解，我画了一张数据源质量评估的框架图：
你看，这三个模块是串起来的。可靠性不行，链路审计再干净也没用；链路有黑洞，一致性检查就是白费功夫。所以我的建议是：先做可靠性，再做链路审计，最后做一致性检查。顺序别搞反了。
避坑指南： 我曾经接手过一个项目，团队先做了一致性检查，发现数据对不上，花了两周去排查。结果最后发现，是数据源本身就不靠谱——用的是爬虫抓的二手数据，原始来源早就失效了。白白浪费两周。所以，先查源头，再查链路，最后对账，这个顺序不能乱。
好了，数据源质量评估这块，核心就是这三板斧。你回去可以拿自己手头的数据源试试，按这个流程走一遍，大概率能揪出几个问题来。