🧠 边缘端AI精度调优
实战·30章
⚡
友好色系
01
边缘AI概述
边缘计算与AI的结合
边缘AI的应用场景
边缘AI的挑战与机遇
02
模型量化基础
量化的概念与原理
对称量化与非对称量化
量化参数 (scale, zero_point) 的计算
03
训练后量化 (PTQ)
PTQ流程详解
校准数据集的选择
PTQ在TensorRT与ONNX Runtime中的实现
04
量化感知训练 (QAT)
QAT原理与伪量化节点
QAT训练流程
QAT与PTQ的对比与选择
05
模型剪枝
剪枝的分类 (结构化/非结构化)
剪枝策略 (L1/L2范数)
剪枝后的微调技巧
06
知识蒸馏
蒸馏原理 (软标签与硬标签)
温度参数T的作用
蒸馏损失函数设计
07
模型融合与BN合并
Conv+BN融合原理
融合后的精度影响
在推理框架中的实现
08
算子优化与替换
常见低效算子分析
算子替换策略 (如GELU替换为ReLU)
自定义算子的开发
09
精度评估指标
分类任务 (Top-1/Top-5)
检测任务 (mAP)
分割任务 (mIoU) 的计算与解读
10
数据集分析与校准
数据分布分析
异常样本检测
校准数据集构建方法
11
误差分析工具
使用Netron可视化模型结构
使用ONNX GraphSurgeon分析图
使用TensorBoard监控训练
12
逐层精度对比
逐层输出对比方法
余弦相似度与欧氏距离
定位精度下降的层
13
混合精度推理
FP16与INT8混合推理
动态精度选择策略
在TensorRT中的配置
14
模型部署中的精度调试
常见部署精度问题 (溢出、截断)
调试工具与方法
日志分析技巧
15
边缘端推理框架对比
TensorRT、ONNX Runtime、TFLite
NCNN、OpenVINO的精度特性
框架精度横向对比
16
模型版本管理与回滚
模型版本控制策略
精度基线建立
自动化回滚机制
17
自动化精度调优工具
NNI、Optuna在量化参数搜索中的应用
贝叶斯优化调参
自动化调优案例
18
对抗样本与鲁棒性
对抗攻击原理
对抗训练
边缘端鲁棒性验证
19
模型加密与安全
模型加密方法
安全推理
防止模型窃取
20
多模型级联精度优化
级联模型精度传递
级联阈值优化
级联延迟与精度平衡
21
模型压缩与加速综合策略
量化+剪枝+蒸馏的组合应用
压缩比与精度的权衡
实际案例
22
边缘端硬件适配
不同芯片 (GPU、NPU、DSP) 的精度特性
硬件算子支持列表
精度校准
23
实时推理精度监控
在线精度监控方案
数据漂移检测
模型自动回滚
24
模型精度验证流程
验证集构建
验证指标选择
验证报告生成
25
A/B测试与灰度发布
A/B测试方案设计
灰度发布策略
线上精度对比
26
模型精度调优案例
图像分类模型调优案例
目标检测模型调优案例
语音模型调优案例
27
边缘端模型精度标准
行业精度标准
业务精度要求
精度验收流程
28
模型精度文档与报告
精度报告模板
调优日志记录
知识库建设
29
团队协作与CI/CD
精度测试集成到CI/CD
自动化测试用例
团队协作流程
30
未来趋势与前沿
可微分量化
神经架构搜索 (NAS) 在边缘端的应用
模型精度与公平性