01
课程导论与全链路概览
大模型部署的挑战与机遇，从PyTorch模型到芯片上电的全流程拆解。
概览全流程
02
模型训练与导出基础
PyTorch/TensorFlow模型训练要点，导出为ONNX/TorchScript格式。
训练ONNX
03
模型量化原理（上）
对称量化、非对称量化、MinMax与KL散度校准方法。
量化校准
04
模型量化原理（下）
量化感知训练（QAT）与训练后量化（PTQ）实战对比。
QATPTQ
05
模型剪枝与蒸馏
结构化剪枝、非结构化剪枝、知识蒸馏技术详解。
剪枝蒸馏
06
ONNX与模型转换
ONNX算子标准，PyTorch转ONNX常见问题与修复。
ONNX算子
07
模型编译器入门
TVM、MLIR、Glow等编译器架构对比。
编译器TVM
08
TVM深度学习编译器实战
Relay IR导入，AutoTVM与AutoScheduler调优。
TVM调优
09
MLIR与多级中间表示
Dialect设计，从Linalg到LLVM的Lowering流程。
MLIRLowering
10
算子库与内核优化
cuDNN、cuBLAS、oneDNN、ARM Compute Library介绍。
算子库cuDNN
11
手写高性能算子
以矩阵乘法为例，讲解循环分块、向量化、内存布局优化。
高性能优化
12
内存管理与数据流优化
DDR带宽利用、Double Buffer、数据预取策略。
内存数据流
13
芯片架构基础（上）
CPU、GPU、NPU、FPGA架构差异与适用场景。
芯片架构
14
芯片架构基础（下）
脉动阵列、SIMD、VLIW、数据流架构详解。
脉动阵列SIMD
15
硬件抽象层（HAL）设计
统一硬件接口，Runtime与Driver开发。
HALRuntime
16
模型序列化与部署格式
.engine、.kmodel、.om等格式解析。
序列化格式
17
端侧推理引擎实战
MNN、TNN、NCNN、Paddle Lite部署流程。
端侧MNN
18
服务端推理引擎实战
TensorRT、OpenVINO、ONNX Runtime优化与部署。
服务端TensorRT
19
异构计算与流水线并行
CPU+GPU+NPU协同工作，Pipeline调度。
异构流水线
20
模型加密与安全部署
模型加密、授权校验、反逆向工程方案。
安全加密
21
边缘计算场景部署
树莓派、Jetson Nano、RK3588等平台实战。
边缘Jetson
22
云原生模型部署
Docker容器化、Kubernetes弹性伸缩、模型热更新。
云原生K8s
23
性能Profiling与瓶颈分析
Nsight Systems、Perfetto、Chrome Tracing工具。
ProfilingNsight
24
精度调试与数值一致性
逐层对比、余弦相似度、PSNR指标分析。
精度PSNR
25
芯片Bring-up与模型联调
从模拟器到FPGA原型验证，再到芯片回片测试。
Bring-upFPGA
26
多模型管理与动态加载
模型分片、按需加载、内存池管理。
动态加载内存池
27
低比特量化与混合精度
INT4、INT8、FP16混合推理策略。
低比特混合精度
28
稀疏化计算与硬件加速
2:4稀疏、N:M稀疏在Ampere架构上的实践。
稀疏Ampere
29
大模型部署特辑
LLM的KV Cache优化、Flash Attention、Continuous Batching。
LLMFlash Attention
30
全链路实战项目
从训练ResNet-50/LLaMA小模型开始，在指定芯片上跑通并达到性能指标。
实战全链路