01
边缘计算与数据清洗概述
边缘计算概念 · 为什么在边缘做清洗 · 挑战与价值
概念架构
02
边缘环境搭建
轻量级OS选型 · Python环境 · pip/conda依赖管理
LinuxRTOS配置
03
数据采集基础
传感器读取 · 日志采集 · API拉取 · JSON/CSV/XML解析
采集解析
04
数据质量评估
完整性 · 一致性 · 准确性 · 时效性 · 质量报告
评估报告
05
缺失值处理
检测 · 删除法 · 填充法 · 插值法（线性/多项式）
清洗插值
06
异常值检测与处理
Z-Score/IQR · LOF · 距离法 · 修正与剔除
异常统计
07
重复数据处理
完全/近似重复 · SimHash/编辑距离 · 去重策略
去重相似
08
数据格式统一
日期格式化 · 数值转换 · 单位换算 · UTF-8/GBK
格式化编码
09
数据标准化与归一化
Min-Max · Z-Score · Robust · 边缘计算优化
归一化优化
10
特征工程基础
统计/时域/频域特征 · 过滤/包裹/嵌入法选择
特征选择
11
数据降维
PCA · SVD · 轻量AutoEncoder
降维压缩
12
时间序列数据预处理
重采样 · 滑动窗口 · 差分 · 季节性分解 · 平稳性
时序平稳
13
文本数据预处理
分词 · 停用词 · 词干 · TF-IDF · 文本向量化
NLP向量
14
图像数据预处理
尺寸调整 · 色彩空间 · 数据增强 · 归一化
图像增强
15
音频数据预处理
采样率转换 · 降噪 · 分帧 · MFCC/频谱图
音频MFCC
16
数据分片与批处理
分片策略 · 批量框架 · 内存管理 · 流式处理
分片批处理
17
边缘数据存储
SQLite/LevelDB · InfluxDB · 轻量消息队列
存储时序
18
数据压缩与传输优化
gzip/zlib · 降采样/量化 · 差分编码 · 批量传输
压缩传输
19
数据安全与隐私
脱敏 · AES/RSA · 差分隐私 · TLS/mTLS
安全加密
20
边缘-云协同
全量/增量同步 · 冲突解决 · 断点续传 · 带宽自适应
协同同步
21
实时数据清洗管道
Kafka/Flink · 窗口计算 · 水位线 · 背压处理
实时流处理
22
批处理数据清洗管道
Cron · Airflow · 依赖管理 · 重试机制
批处理调度
23
数据清洗规则引擎
YAML/JSON规则 · 执行 · 评估 · 动态更新
规则引擎
24
数据血缘与溯源
来源追踪 · 转换记录 · 版本管理 · 审计日志
血缘审计
25
边缘设备资源优化
CPU/内存监控 · 计算卸载 · 量化 · TensorRT/ONNX
优化推理
26
数据清洗测试与验证
单元测试 · 集成测试 · 质量断言 · 回归测试
测试验证
27
监控与告警
Prometheus · Grafana · 告警规则 · 自愈机制
监控告警
28
案例实战一：工业传感器
温度/振动/压力去噪与异常检测
实战传感器
29
案例实战二：智能摄像头
目标检测前图像增强与格式转换
实战视频
30
案例实战三：车联网GPS轨迹
漂移点过滤 · 地图匹配 · 轨迹压缩
实战GPS