第2章数据质量评估指标

2、数据质量评估指标：数据完整率、数据有效率、数据合理范围、数据一致性检查

做测风数据清洗这么多年，我最大的体会就是：没有评估，就没有清洗。你想想看，拿到一堆数据上来就咔咔删异常值，删完发现数据少了一半——这不叫清洗，这叫破坏。

所以，在动手之前，咱们得先搞清楚四个核心指标。说白了，它们是衡量数据质量的四把尺子。我个人习惯把这四个指标称为「四维评估法」，缺一个都不行。

完整率，顾名思义，就是实际采集到的数据量占理论应采集量的百分比。嗯，这里要注意，很多人把完整率和有效率搞混，其实它们是两码事。

计算公式：

数据完整率 = (实际采集数据点数 / 理论应采集数据点数) × 100%

举个例子。一个测风塔10分钟采集一次数据，一天理论应有144个数据点。如果某天只收到了120个，那完整率就是83.3%。

行业经验值：

我在项目中遇到过一件事。某风电场前期评估时，完整率看着有92%，但仔细一查，发现夜间数据大量缺失。为什么？因为太阳能供电系统晚上没电了。所以，完整率不仅要看总量，还要看分布。

我的小技巧： 计算完整率时，建议按小时、按天、按月分别算。如果某小时完整率突然掉到50%以下，大概率是设备出问题了。

数据完整了，不代表数据有用。有效率衡量的就是「有效数据」占「实际采集数据」的比例。

计算公式：

数据有效率 = (有效数据点数 / 实际采集数据点数) × 100%

什么叫「有效数据」？说白了，就是通过合理性检查、范围检查、趋势检查之后，被认为可信的数据。

举个例子。某天采集了144个风速数据，其中5个风速显示为-999（缺测值），3个风速超过80m/s（明显异常），那有效数据就是136个，有效率94.4%。

注意： 有效率不能单独看。我曾经见过一个项目，有效率99%，但完整率只有60%。你想想看，数据都不全，有效率再高有什么用？所以，完整率和有效率要一起看。

我个人习惯用「综合数据质量指数」来评估：

综合质量指数 = 完整率 × 有效率

这个指数低于85%的，我一般会建议业主排查设备问题。

这个指标最直观。说白了，就是检查每个数据是否在物理上可能的范围内。

常见的合理范围：

避坑指南： 我曾经遇到过一个项目，风速数据全部在0~5m/s之间，看着很「合理」。但后来发现是风速计被鸟粪糊住了。所以，合理范围检查只能筛掉明显异常，不能保证数据准确。

另外，我建议做「阶梯式范围检查」。什么意思呢？就是先做全局范围检查（比如风速0~80），再做局部范围检查（比如某个月的风速通常不会超过20）。这样能发现更多问题。

这个指标最容易被忽略，但往往能发现大问题。一致性检查，说白了就是看不同数据之间是否相互矛盾。

常见的检查项：

举个例子。有一次我检查数据，发现某测风塔的10m风速平均6m/s，但塔顶风速平均只有4m/s。这明显不合理——正常情况下塔顶风速应该更高。后来发现，是塔顶风速计出了问题。

一致性检查的黄金法则：

我个人习惯用「交叉验证法」来做一致性检查。就是把不同来源的数据放在一起对比。比如，测风塔数据和附近气象站的数据对比，如果趋势完全相反，那肯定有一方出了问题。

注意： 一致性检查不能过度。我曾经见过有人把风速变化超过5m/s就标记为异常，结果把正常的阵风数据全删了。所以，阈值设置要合理，要结合当地气候特征。

好了，这四个指标讲完了。你可能会问，这四个指标怎么用？我的建议是：先算完整率和有效率，再做合理范围检查，最后做一致性检查。这个顺序不能乱，因为前面的结果是后面的基础。

记住一句话：数据质量评估不是目的，清洗出高质量的数据才是。这四个指标，就是帮你找到数据「病灶」的体检报告。

公众号:蓝海资料掘金营，微信deep3321