01
混合精度推理概述
什么是混合精度推理 · 为什么需要 · FP16/INT8/INT4精度格式 · 端侧算力与带宽瓶颈
基础概念
02
浮点数表示原理
IEEE 754 · FP32/FP16/BF16位宽与动态范围 · 定点数表示 · 量化误差来源
数学原理
03
端侧芯片硬件架构
NPU/DSP/GPU异构计算 · 内存层次SRAM/DRAM · 数据搬运与计算比例
硬件架构
04
量化理论基础
对称/非对称量化 · scale/zero_point · 量化公式推导与反量化
量化核心
05
校准数据集与量化方法
MinMax · Percentile · KL散度 · MSE最小化 · 校准方法选择
校准算法
06
权重量化与激活量化
Per-tensor vs Per-channel · 动态/静态量化 · 敏感层分析
量化策略
07
混合精度策略设计
FP16/INT8层分配 · 精度与速度权衡 · 自动化混合精度搜索
策略自动
08
端侧推理引擎介绍
TFLite · ONNX Runtime · NCNN · MNN · TNN 混合精度支持对比
引擎对比
09
模型转换与量化工具链
PyTorch/TF/ONNX量化工具 · 自定义量化流程
工具流程
10
FP16推理实现
FP16计算流程 · 矩阵乘法优化 · FP16 vs FP32精度对比
FP16实现
11
INT8推理实现
INT8量化推理流程 · 矩阵乘法与卷积 · 累加器精度问题
INT8卷积
12
INT4与更低比特量化
INT4挑战 · 二值/三值网络 · 混合比特量化MBQ
低比特MBQ
13
量化感知训练 QAT
伪量化节点 · 直通估计器STE · 训练流程与超参数调优
QAT训练
14
训练后量化 PTQ
PTQ流程 · 校准数据集 · PTQ vs QAT精度对比 · 快速部署
PTQ部署
15
精度校准与误差分析
逐层精度对比 · 余弦相似度 · SNR · 最大绝对误差MAE
分析指标
16
算子融合与图优化
Conv+BN+ReLU融合 · GELU替换ReLU · 内存复用优化
优化融合
17
内存带宽优化
数据复用策略 · tiling分块 · double buffer技术
带宽tiling
18
计算流水线与并行化
指令流水线 · 数据/模型并行 · SIMD · VLIW优化
并行流水线
19
端侧芯片功耗管理
DVFS · 计算与内存功耗模型 · 低功耗混合精度策略
功耗DVFS
20
典型端侧芯片案例
骁龙Hexagon DSP · 联发科APU · 苹果ANE · 昇腾
芯片案例
21
计算机视觉模型部署
MobileNet/ShuffleNet/EfficientNet · YOLO量化部署
CV部署
22
自然语言处理模型部署
BERT/TinyBERT/ALBERT INT8部署 · Transformer量化难点
NLPTransformer
23
语音模型部署
RNN-T/Conformer混合精度 · 流式与非流式量化差异
语音流式
24
多模态模型部署
CLIP/ViT混合精度 · 视觉-语言模型量化对齐
多模态对齐
25
端侧推理性能评测
延迟 · 吞吐量 · 内存占用 · 功耗测量方法
评测指标
26
精度与速度的权衡分析
Pareto前沿 · 用户场景驱动的精度选择策略
权衡Pareto
27
常见问题与调试技巧
精度骤降排查 · NaN/Inf处理 · 硬件不支持回退
调试避坑
28
端侧芯片的软件栈
驱动KMD/UMD · 运行时Runtime · 编译器TVM/MLIR混合精度支持
软件栈编译器
29
未来趋势与前沿技术
FP8 (E4M3/E5M2) · 稀疏+量化联合 · 可微分量化 · 存内计算
前沿FP8
30
综合实战项目
PyTorch → 端侧芯片全流程：选型·量化·部署·调优·评测
实战全流程