🚗 车规级 · 实战部署
语义分割网络
在车规芯片上的部署与优化
30章 从入门到板端调优
📚 共
30
章节 · 芯片实战
01
课程导论与芯片选型
为什么是车规芯片？主流车规AI芯片（TI TDA4、NVIDIA Orin、地平线征程系列）对比与选型策略。
选型
02
语义分割基础回顾
FCN、U-Net、DeepLab系列核心原理速通，重点回顾空洞卷积与ASPP模块。
基础
03
开发环境搭建
基于Docker的交叉编译环境配置，SDK安装与板卡连接（SSH/串口）。
环境
04
模型轻量化技术（上）
通道剪枝与结构化剪枝，如何在保持mIoU的前提下减少参数量。
剪枝
05
模型轻量化技术（下）
知识蒸馏与量化感知训练，从FP32到INT8的转换实战。
蒸馏
06
ONNX模型导出与优化
从PyTorch/TensorFlow导出ONNX，使用onnx-simplifier与onnxruntime验证。
ONNX
07
芯片编译器入门
以TI TDA4的TI-RTOS或地平线的BPU编译器为例，讲解编译流程与算子映射。
编译器
08
模型量化与校准
对称量化vs非对称量化，校准数据集的选择与KL散度校准方法。
量化
09
自定义算子开发（上）
为什么需要自定义算子？基于TDA4的C7x DSP核实现一个自定义激活函数。
算子
10
自定义算子开发（下）
算子注册与集成到编译栈，性能Profiling与调优。
调优
11
内存管理与数据搬运
DDR与SRAM的分配策略，DMA（直接内存访问）的使用技巧。
内存
12
流水线设计与多核并行
如何利用芯片的异构核心（ARM + DSP + AI加速器）构建高效推理流水线。
并行
13
图像预处理加速
基于芯片ISP或VISS模块的Resize、Normalize硬件加速，避免CPU瓶颈。
ISP
14
后处理优化（上）
Argmax与颜色映射的向量化实现，使用NEON指令集加速。
NEON
15
后处理优化（下）
条件随机场（CRF）的轻量化近似，在芯片上的实时实现。
CRF
16
模型部署实战（一）
以Cityscapes数据集训练的轻量级DeepLabV3+为例，完成从训练到板端推理的全流程。
实战
17
模型部署实战（二）
处理动态尺寸输入，Padding策略与芯片对齐要求。
动态
18
模型部署实战（三）
多帧输入与时序融合，利用光流信息提升分割稳定性。
时序
19
精度与性能调优
使用芯片提供的Profiling工具定位瓶颈，调整网络结构以匹配硬件特性。
调优
20
功能安全与ASIL等级
ISO 26262对软件的要求，模型输出的错误检测与冗余机制。
安全
21
模型OTA升级方案
差分升级与AB分区策略，确保升级失败可回滚。
OTA
22
传感器融合基础
将语义分割结果与毫米波雷达/激光雷达点云进行前融合或后融合。
融合
23
BEV视角转换
从多路鱼眼相机生成鸟瞰图分割结果，IPM（逆透视映射）的硬件加速。
BEV
24
可解释性与可视化
在芯片上实时生成热力图与注意力图，辅助调试与验证。
可视化
25
测试与验证体系
MOTA、IDF1等跟踪指标在分割任务中的应用，构建自动化回归测试集。
测试
26
功耗优化
DVFS（动态电压频率调整）策略，根据场景复杂度动态切换模型精度。
功耗
27
安全攻击与防御
对抗样本对语义分割的影响，在芯片端添加轻量级防御模块。
安全
28
多芯片级联方案
当单芯片算力不足时，如何设计多芯片协同推理架构。
级联
29
行业案例解析
基于地平线征程5的城区领航辅助驾驶（NOA）中的语义分割应用。
案例
30
课程总结与未来展望
端到端模型、Transformer在车规芯片上的落地挑战与机遇。
展望