反馈采集策略 & 工具链
30章 · 完整目录
01
反馈采集概述
什么是人类反馈 · 为什么需要 · AI训练核心价值
02
反馈类型与维度
显式/隐式 · 评分 · 排序 · 文本纠错 · 偏好选择
03
采集策略设计
主动/被动采集 · 随机采样 · 困难样本 · 探索利用
04
工具链概览
Label Studio · Argilla · Prodigy · 选型指南
05
Label Studio 入门
安装配置 · 项目创建 · 基础标注界面定制
06
Label Studio 进阶
自定义模板 · ML后端集成 · API调用
07
Argilla 入门
安装配置 · 数据集管理 · 反馈记录查看
08
Argilla 进阶
Python SDK · Hugging Face Datasets集成
09
Prodigy 入门
安装激活 · Recipe概念 · 命令行工具
10
Prodigy 进阶
自定义Recipe · 模型循环 · 主动学习
11
反馈数据质量
标注者一致性 · 信度效度 · 异常值检测
12
标注者管理
任务分配 · 培训校准 · 绩效考核
13
反馈数据存储
PostgreSQL · MongoDB · 数据版本控制
14
数据预处理
清洗去重 · 格式标准化 · 多模态对齐
15
反馈数据增强
数据扩增 · 合成数据 · 对抗样本
16
隐私与安全
数据脱敏 · 差分隐私 · 访问控制审计
17
反馈采集流水线
数据源到标注 · 端到端设计
18
实时反馈系统
WebSocket · 事件驱动 · 低延迟采集
19
A/B测试与反馈
实验设计 · 分流策略 · 结果统计分析
20
多语言反馈采集
跨语言标注 · 翻译本地化 · 文化敏感性
21
图像与视频反馈
边界框 · 语义分割 · 视频追踪
22
文本反馈采集
情感标注 · 实体识别 · 关系抽取
23
语音反馈采集
转写 · 说话人识别 · 情感语气标注
24
强化学习中的反馈
奖励建模 · 偏好排序 · RLHF流程
25
反馈与模型迭代
在线学习 · 持续集成 · 模型回滚
26
成本控制
预算规划 · 众包平台 · 任务定价策略
27
反馈数据可视化
仪表盘 · 标注进度 · 质量热力图
28
合规与伦理
GDPR · 标注者权益 · 算法公平性
29
案例研究
ChatGPT RLHF · 自动驾驶标注流水线
30
未来趋势
大模型时代 · 自动化标注 · 人机协同