一、课程导论与数据标注基础

大家好,我是你们这门课的主讲。做AI模型训练有些年头了,踩过的坑比走过的路还多。今天咱们聊一个特别基础、但又特别容易被忽视的话题——数据标注。

说白了,数据标注就是给原始数据打标签。你想想看,模型再聪明,它也得先知道“这是什么”才能学。我刚开始带团队的时候,总觉得标注嘛,找几个人画画框就行了。结果呢?模型精度死活上不去,后来一查,标注质量一塌糊涂。嗯,从那以后我再也不敢小看这步了。

1.1 智能标注的定义

智能标注,不是指“用AI自动标注”这么简单。它其实是一个闭环:

  • 人工标注:人眼识别,鼠标框选,最传统的方式
  • 半自动标注:模型先预标,人工修正。我常用的套路
  • 主动学习:模型挑出它最不确定的样本,让人来标。效率翻倍
  • 全自动标注:完全靠模型,但风险高,我一般只用在验证集

我个人习惯把智能标注理解成“人机协作的标注流水线”。机器干粗活,人做质检。这样既快又准。

核心观点:智能标注不是替代人工,而是让人的精力花在刀刃上。

1.2 数据标注行业现状

这个行业现在有多火?我给你们看组数据:

年份 市场规模(亿元) 主要玩家
2020 36 百度、海天瑞声
2022 68 头部平台+众包
2024(预估) 120+ AI公司自建标注团队

为什么会增长这么快?说白了,大模型时代,数据就是石油。但石油得炼过才能用,标注就是炼油的过程。

我在项目中遇到过最头疼的事:外包标注团队为了赶工期,瞎标一气。最后我们花了三倍时间返工。所以现在我的团队,标注流程必须自己把控。

1.3 标注类型:分类/检测/分割

这三种是最常见的,我一个个说。

1.3.1 分类标注

最简单,也最基础。给一张图,问“这是猫还是狗?”

  • 二分类:是/否,有/无
  • 多分类:猫、狗、鸟、鱼...
  • 多标签:一张图里既有猫又有狗

避坑指南:我曾经犯过一个错——类别定义模糊。比如“人”和“行人”算不算一类?后来统一成“person”,才解决。

1.3.2 检测标注

不光要知道“有什么”,还得知道“在哪”。用矩形框把目标框出来。

  • 水平框:最常见,旋转不变性差
  • 旋转框:适合文字、车辆等有方向性的目标
  • 关键点检测:人脸关键点、人体骨骼点

我建议新手先从水平框练起。别一上来就搞旋转框,标注规范能把人逼疯。

1.3.3 分割标注

像素级标注,最精细,也最贵。

  • 语义分割:把每个像素归到某个类别(比如路、车、人)
  • 实例分割:同一类别的不同个体要分开(比如车1、车2)
  • 全景分割:语义+实例的结合

嗯,这里要注意:分割标注的工时是检测的10倍以上。所以除非你的任务对边缘精度要求极高,否则别轻易上分割。

我的经验:如果预算有限,先用检测标注训练一个初版模型,再用模型做预标注,人工修正。这样能省60%的成本。

1.4 标注质量评估指标

标完了,怎么知道标得好不好?不能光靠感觉。我一般用这几个指标:

指标 含义 我的阈值
准确率 标注正确的样本数 / 总样本数 ≥ 98%
召回率 被正确标注的目标数 / 实际目标总数 ≥ 95%
IoU 预测框与真实框的交并比 ≥ 0.7
一致性 不同标注员对同一张图的标注差异 ≥ 90%

这里我重点说说一致性。你想想看,如果两个人标同一张图,一个框大一个框小,模型学谁的?所以我会定期做一致性测试——随机抽10%的数据,让两个人独立标注,然后算差异。

警告:别只看准确率。我见过一个项目,准确率99%,但召回率只有60%。为什么?因为标注员只标了明显的目标,小的、模糊的全漏了。模型学出来就是个“近视眼”。

知识体系总览

下面这张图,是我自己梳理的本章知识结构。你可以把它当成一张地图,随时回来对照。

数据标注基础 智能标注定义 行业现状 标注类型 质量评估指标 人工标注 半自动标注 主动学习 全自动标注 市场规模增长 主要玩家 常见问题 分类标注 检测标注 分割标注 准确率/召回率/IoU/一致性 图:本章知识体系结构图

好了,这一章的内容就到这。记住一句话:数据标注的质量,直接决定了模型的天花板。别在标注上省钱,否则后面会花更多的钱填坑。

专注资料整理