01
智能驾驶芯片概览
从ADAS到自动驾驶的算力需求演进，主流芯片架构对比（英伟达Orin、特斯拉FSD、华为昇腾、地平线征程），NPU在SoC中的位置与作用。
芯片架构NPU
02
神经网络加速器（NPU）基础
NPU的核心计算单元（MAC阵列、PE阵列），数据流架构（权重固定、输出固定、行固定），典型的NPU微架构拆解。
MAC数据流微架构
03
卷积神经网络（CNN）在NPU上的映射
卷积运算的硬件实现，im2col与Winograd算法在NPU中的加速原理，如何将一层卷积映射到MAC阵列上。
CNNim2colWinograd
04
数据复用与带宽优化
输入特征图复用、权重复用、部分和复用的策略，如何通过数据流调度减少片外DRAM访问，我在项目中遇到的带宽瓶颈案例。
数据复用带宽DRAM
05
量化技术基础
FP32、FP16、INT8、INT4精度对比，对称量化与非对称量化，量化参数（scale、zero_point）的计算，量化对模型精度的影响。
量化INT8精度
06
训练后量化（PTQ）实战
使用校准集确定量化参数，KL散度与MSE两种校准方法对比，我在调教一个车道线检测模型时遇到的量化掉点问题。
PTQKL散度校准
07
量化感知训练（QAT）
模拟量化前向传播，直通估计器（STE）原理，QAT的调参技巧（学习率调整、BN层冻结），如何用QAT挽回精度损失。
QATSTE调参
08
模型剪枝技术
结构化剪枝与非结构化剪枝，通道剪枝在NPU上的实际收益，剪枝后的微调策略，我的一次剪枝过度导致模型崩溃的教训。
剪枝通道剪枝微调
09
知识蒸馏
教师模型与学生模型的设计，软标签与温度系数T的调节，蒸馏在智能驾驶感知模型中的应用案例，如何用蒸馏压缩模型同时保持精度。
蒸馏温度系数压缩
10
算子融合与图优化
Conv+BN+ReLU融合，相邻卷积层融合，如何利用TVM或TFLite的图优化工具，我在优化一个多任务模型时的图优化实践。
算子融合TVM图优化
11
内存层次结构与数据搬运
NPU的SRAM、Cache、DRAM层次，DMA引擎的工作原理，如何通过tiling（分块）技术减少数据搬运，double buffering技巧。
内存层次DMAtiling
12
计算与存储的流水线设计
指令发射与执行流水线，如何隐藏DMA延迟，软件流水线编排，我在一个实时性要求高的项目中如何压榨流水线效率。
流水线DMA隐藏实时性
13
编译器前端
从ONNX/TensorFlow模型到计算图，算子识别与降级，图优化pass的设计，如何自定义一个NPU算子。
编译器ONNX自定义算子
14
编译器后端
指令调度与寄存器分配，内存分配策略，代码生成与二进制指令流，如何为特定NPU架构编写后端。
指令调度寄存器代码生成
15
性能分析工具
NPU硬件性能计数器（cycle、MAC利用率、带宽利用率），Profiling工具的使用（如NVIDIA Nsight、华为MindStudio），如何定位性能瓶颈。
ProfilingNsight计数器
16
算子性能调优
矩阵乘法的微调（tile size、loop unrolling），卷积算子的手工优化，激活函数（ReLU、Sigmoid）的查表法实现，我优化一个depthwise卷积的经历。
算子调优loop unrolling查表法
17
带宽瓶颈分析与优化
计算密度（Ops/Byte）的概念，Roofline模型分析，如何通过算子融合和内存复用突破带宽墙，我在4K分辨率输入下的带宽优化案例。
Roofline带宽墙4K
18
多核NPU并行计算
任务并行与数据并行，多核同步与通信开销，负载均衡策略，如何将一个模型拆分到多个NPU核上运行。
多核并行负载均衡
19
稀疏计算加速
权重稀疏与激活稀疏，稀疏矩阵的存储格式（CSR、CSC），如何在NPU上实现稀疏计算，稀疏加速的实际收益与挑战。
稀疏CSR加速
20
Winograd卷积加速
F(2x2, 3x3)与F(4x4, 3x3)算法原理，Winograd在NPU上的实现，变换矩阵的量化与精度损失，我在项目中用Winograd提速30%的经验。
WinogradF(2x2)精度损失
21
Transformer在NPU上的加速
Self-Attention的硬件实现，Softmax的近似计算，LayerNorm的优化，如何将BEVFormer等大模型部署到NPU上。
TransformerSelf-AttentionBEVFormer
22
动态形状与动态张量
动态batch size处理，变长序列的优化，动态形状下的内存分配策略，我在处理一个可变分辨率输入时的踩坑记录。
动态形状变长序列内存分配
23
模型部署全流程
从训练到推理的完整pipeline，模型转换（ONNX -> NPU指令），精度对齐验证，端到端延迟与吞吐量测试。
部署ONNX端到端
24
端到端延迟优化
pipeline并行与模型并行，预处理与后处理的硬件加速，如何利用NPU的硬件加速单元（如Crop、Resize），我优化一个端到端系统延迟的案例。
延迟优化pipeline并行硬件加速
25
功耗与散热调优
DVFS（动态电压频率调整）策略，功耗墙下的性能调优，如何通过降低频率换取能效比，我在一个低功耗项目中如何平衡性能与功耗。
DVFS功耗墙能效比
26
安全性与可靠性
NPU的ECC校验，故障注入测试，如何设计看门狗与超时机制，ISO 26262功能安全对NPU调优的要求。
ECC功能安全ISO 26262
27
多传感器融合加速
Camera、Lidar、Radar数据预处理，BEV空间的特征对齐，如何在NPU上高效实现多模态融合，我参与的一个多传感器融合项目经验。
多传感器BEV融合
28
实时性与确定性
硬实时与软实时的区别，如何保证NPU推理的确定性延迟，中断与轮询机制的选择，我在一个ASIL-B项目中如何满足实时性要求。
实时性确定性ASIL-B
29
OTA与模型热更新
模型分区的在线更新，双备份与回滚机制，如何在不重启系统的情况下更新NPU模型，热更新中的内存与性能管理。
OTA热更新双备份
30
综合案例：从零调优一个BEV感知模型
需求分析、模型选型、量化剪枝、算子调优、系统集成、实车测试，全流程复盘与经验总结。
BEV全流程实车测试