仿真数据采集与标注流水线实战

01

流水线概述 核心

什么是数据流水线 · 为什么需要自动化 · 核心组件：采集、清洗、标注、存储

02

仿真数据源设计 仿真

仿真数据的定义与价值 · Unity/Gazebo 介绍 · 数据生成策略设计

03

数据采集基础 传感器

相机/激光雷达/IMU 采集原理 · ROS Bag、HDF5 格式与协议

04

Python数据采集框架 并发

多线程/多进程采集 · 队列管理 · 数据缓冲与落盘

05

数据清洗与预处理 清洗

缺失值处理 · 异常值检测 · 数据去重 · 时间戳对齐

06

数据标注入门 标注基础

标注定义与类型 · LabelImg / CVAT / Label Studio 介绍

07

图像标注实战 视觉

LabelImg 边界框标注 · Pascal VOC / COCO / YOLO 格式

08

点云标注实战 3D

点云可视化 · 3D边界框 · 点云与图像融合标注

09

文本标注实战 NLP

实体识别 · 文本分类 · 序列标注工具使用

10

音频标注实战 语音

语音转写 · 事件检测 · 音频分割

11

标注质量控制 质量

一致性检查 · 交叉验证 · 标注员培训与考核

12

自动化标注策略 自动

规则自动标注 · 预训练模型辅助 · 主动学习采样

13

数据版本管理 DVC

Data Version Control 入门 · 数据集版本化 · 回滚与追溯

14

数据存储与索引 存储

MinIO / Ceph 分布式文件系统 · 元数据管理 · 检索优化

15

流水线编排工具 Airflow

Apache Airflow 入门 · DAG定义 · 任务调度与监控

16

Airflow实战 调度

搭建Airflow环境 · 编写采集DAG · 依赖与重试机制

17

流水线容器化 Docker

Docker基础 · Dockerfile编写 · 流水线容器化部署

18

流水线编排进阶 K8s

Kubernetes基础 · 在K8s上运行Airflow · 弹性伸缩

19

数据流水线监控 监控

ELK Stack日志 · Prometheus+Grafana · 告警设置

20

数据安全与隐私 安全

数据脱敏 · RBAC访问控制 · 加密传输与存储

21

数据流水线测试 测试

单元/集成/端到端测试 · 数据质量断言

22

CI/CD for Data DevOps

GitHub Actions · 数据流水线CI/CD实践

23

标注平台搭建 平台

Label Studio私有部署 · 用户管理 · 项目配置

24

标注结果导出与转换 格式

COCO↔YOLO · JSON↔CSV · 数据合并

25

数据增强技术 增强

图像翻转/旋转/色彩抖动 · 点云增强 · 文本增强

26

性能优化 优化

瓶颈分析 · 并行处理 · 内存管理 · I/O优化

27

自动驾驶仿真流水线 案例

CARLA仿真 → 标注完成的全流程

28

智能客服对话流水线 案例

对话生成 · 清洗 · 标注 · 训练闭环

29

医疗影像数据流水线 案例

DICOM采集 · 脱敏 · 标注 · 存储

30

课程总结与展望 未来

数据流水线趋势 · MLOps+DataOps · 学习建议