数据层质量评估：实体识别准确率、关系抽取准确率、属性填充完整度

数据层，说白了就是知识图谱的「地基」。地基不牢，上面建得再漂亮也是白搭。我这些年踩过的坑，十有八九都出在数据质量上。今天咱们就聊聊数据层最核心的三个指标：实体识别准确率、关系抽取准确率、属性填充完整度。

一、实体识别准确率：别把「苹果」当水果还是公司？

实体识别，就是让机器从文本里把人名、地名、机构名这些「东西」给揪出来。准确率怎么算？很简单：

实体识别准确率 = 正确识别的实体数 / 总识别出的实体数 × 100%

但这里有个坑——「正确」怎么定义？我遇到过最典型的情况：

• 边界问题：「北京大学」被识别成「北京」和「大学」两个实体
• 歧义问题：「苹果」在水果语境和科技公司语境下完全不同
• 嵌套问题：「中国人民解放军总医院」里嵌套着「中国」

评估时我习惯用「严格匹配」和「宽松匹配」两套标准。严格匹配要求边界和类型都对，宽松匹配只要类型对、边界差一两个字也能算对。你想想看，实际业务中哪种更实用？我个人偏向宽松匹配，因为下游任务往往能容忍一点边界误差。

二、关系抽取准确率：光认人不行，还得知道谁跟谁有关系

关系抽取比实体识别难一个量级。它要回答的是：实体A和实体B之间是什么关系？比如「马云创立了阿里巴巴」——要抽取出（马云，创始人，阿里巴巴）这个三元组。

关系抽取准确率的计算方式：

关系抽取准确率 = 正确抽取的关系三元组数 / 总抽取的关系三元组数 × 100%

这里我特别想强调一个点：关系抽取的「正确」必须同时满足三个条件：

1. 头实体正确
2. 尾实体正确
3. 关系类型正确

缺一个都不算对。我在项目中见过太多「半对半错」的情况——实体对了但关系错了，或者关系对了但实体边界错了。这种在统计时很容易被忽略。

场景	抽取结果	是否算正确
实体正确，关系正确	（马云，创始人，阿里巴巴）	✅ 是
实体正确，关系错误	（马云，员工，阿里巴巴）	❌ 否
实体边界错误，关系正确	（马，创始人，阿里巴巴）	❌ 否

三、属性填充完整度：实体有了，关系有了，但「人」还是「空壳」

属性填充，就是给实体补上各种描述信息。比如一个人实体，得有「出生日期」「国籍」「职业」这些属性。完整度衡量的是：该有的属性，到底填了多少？

属性填充完整度 = 已填充的属性数 / 应填充的属性总数 × 100%

这里有个关键问题：「应填充的属性总数」怎么定？我一般分两步走：

• 模式层定义：每个实体类型有哪些必填属性、选填属性
• 实际统计：对每个实体，检查必填属性是否都有值

举个例子，人物实体模式层定义了5个必填属性：姓名、出生日期、国籍、职业、简介。如果100个人物实体中，有80个填满了全部5个属性，那完整度就是80%。

嗯，这里要注意一个细节——「空值」和「缺失」是两码事。空值是指属性存在但值为空，缺失是指属性根本没定义。我在项目中遇到过有人把「空值」也算作「已填充」，结果完整度虚高。后来我强制要求：只有非空值才算「已填充」。

四、三个指标的关系：别孤立看，要联动分析

这三个指标不是孤立的。我画了张图，帮你理清它们之间的关系：

从这张图你能看出来：实体识别是「地基中的地基」。实体都认不准，关系抽取和属性填充就是空中楼阁。我建议的评估顺序是：

1. 先跑实体识别，准确率达标了再往下走
2. 再跑关系抽取，但要用实体识别的结果做输入
3. 最后看属性填充，因为属性填充依赖实体和关系都正确

五、实战中的评估流程

说了这么多理论，来点实际的。我在项目中一般按这个流程走：

1. 准备标注数据：至少1000条，覆盖各种场景
2. 分模块评估：实体识别、关系抽取、属性填充分开测
3. 联合评估：把三个模块串起来，看端到端效果
4. 错误分析：找出典型错误类型，针对性优化
5. 迭代：改完一轮再测，直到所有指标达标

你想想看，如果跳过第2步直接做联合评估，出了问题你根本不知道是哪个模块的锅。我曾经就吃过这个亏——联合评估准确率只有60%，排查了两天才发现是实体识别模块的一个bug。

---

公众号:蓝海资料掘金营，微信deep3321