📘 边缘端大模型剪枝与部署
实战课程 · 30章
🧩 友好色系
01
边缘AI概述
边缘计算概念 · 大模型挑战 · 学习路径
02
模型剪枝基础
剪枝定义 · 结构化/非结构化 · 核心思想
03
剪枝粒度与策略
细粒度 · 向量 · 通道 · 层剪枝对比
04
非结构化剪枝实战
权重大小剪枝 · 阈值 · 稀疏存储
05
结构化剪枝实战
通道剪枝 · BN缩放因子 · L1范数
06
剪枝率与性能权衡
选择剪枝率 · 精度-速度曲线 · 经验法则
07
迭代式剪枝
训练-剪枝-微调 · 逐步剪枝 · 学习率调度
08
一次性剪枝 vs 渐进式剪枝
优劣 · 适用场景 · 代码对比
09
模型量化基础
量化原理 · FP32→INT8 · 对称/非对称
10
量化感知训练 (QAT)
模拟量化 · 伪量化节点 · 训练技巧
11
后训练量化 (PTQ)
校准数据集 · KL散度 · 量化误差
12
混合精度量化
不同层不同精度 · 敏感度 · 硬件支持
13
知识蒸馏入门
教师-学生 · 软标签 · 温度系数
14
蒸馏与剪枝结合
先剪后蒸 · 先蒸后剪 · 联合训练
15
模型蒸馏实战
logit蒸馏 · 特征蒸馏 · 关系蒸馏
16
ONNX模型导出
PyTorch→ONNX · 动态轴 · 算子兼容
17
ONNX模型优化
图优化 · 常量折叠 · 算子融合
18
TensorRT部署
安装 · 模型解析 · 引擎构建与推理
19
TensorRT量化
FP16/INT8校准 · 动态形状 · 多流
20
NCNN部署
框架介绍 · 模型转换 · Android/iOS
21
OpenVINO部署
工具套件 · 模型优化 · 边缘适配
22
TFLite部署
转换 · 委派加速 · NNAPI
23
Core ML部署
iOS部署 · 模型转换 · ANE加速
24
边缘硬件选型
Jetson · 树莓派 · RK3588 · TPU/NPU
25
模型压缩综合案例
BERT剪枝+量化+蒸馏全流程
26
视觉模型压缩案例
YOLOv8剪枝+量化+TensorRT
27
语音模型压缩案例
Whisper剪枝+量化+边缘部署
28
性能基准测试
延迟 · 吞吐 · 功耗 · 内存测量
29
模型安全与鲁棒性
对抗攻击 · 精度回退 · 防御策略
30
课程总结与未来趋势
边缘AI趋势 · AutoML剪枝 · 硬件协同