🚀 模型→硬件部署
全流程解析
📚 30章 · 从入门到实战
01
AI模型部署全景
什么是模型部署、挑战（算力/功耗/延迟）、部署流程概览：训练→转换→优化→推理
02
硬件平台概览
CPU·GPU·NPU·FPGA·ASIC特点与场景，边缘端与云端硬件对比
03
模型训练基础
PyTorch/TensorFlow框架简介，训练分类模型，模型保存格式 .pt/.pth/.h5
04
模型导出与格式转换
ONNX简介，PyTorch→ONNX，模型验证与可视化 (Netron)
05
ONNX算子兼容性
常见算子支持，不支持的算子处理：自定义算子、算子替换
06
模型量化基础
为什么量化，FP32 vs INT8，对称/非对称量化原理
07
量化感知训练 (QAT)
QAT原理，PyTorch实现QAT，QAT vs 后训练量化 (PTQ)
08
模型剪枝
结构化/非结构化剪枝，L1/L2范数策略，剪枝后微调
09
模型蒸馏
知识蒸馏原理，教师-学生网络架构，蒸馏损失函数设计
10
模型编译与优化
TVM/TensorRT/XLA简介，计算图优化：算子融合、常量折叠
11
TensorRT实战 (上)
TensorRT安装，PyTorch→TensorRT engine，动态shape处理
12
TensorRT实战 (下)
INT8校准，多profile优化，性能调优技巧
13
OpenVINO部署
工具套件介绍，模型优化器 (MO)，推理引擎 (IE) API
14
NCNN部署
NCNN框架特点，onnx2ncnn，Android/iOS端集成
15
TFLite部署
TFLite模型转换，Delegate (GPU/NNAPI) 加速，Android部署实战
16
Core ML部署
Core ML模型转换，iOS端集成，ANE (Apple Neural Engine) 加速
17
ONNX Runtime部署
跨平台支持，C++/Python API，性能优化选项
18
边缘端硬件选型
Jetson系列、RK3588、树莓派，算力与功耗权衡
19
Jetson平台部署
JetPack SDK安装，DeepStream SDK，TensorRT on Jetson
20
RK3588 NPU部署
RKNN工具链，模型转换 (RKNN)，NPU驱动与API调用
21
模型服务化部署
Flask/FastAPI搭建推理服务，Docker容器化，负载均衡
22
推理引擎性能对比
延迟、吞吐量、内存占用对比 (TensorRT vs OpenVINO vs ONNX Runtime)
23
模型加密与保护
AES加密方案，混淆技术，安全飞地 (TEE) 简介
24
多模型流水线部署
模型串行/并行执行，异步推理，Pipeline设计模式
25
模型热更新
热更新策略，版本管理，AB测试框架
26
监控与日志
推理日志记录，性能指标监控 (Prometheus+Grafana)，异常告警
27
端侧部署优化
内存优化 (内存池/共享内存)，功耗优化 (DVFS/休眠策略)
28
异构计算
CPU+GPU+NPU协同，任务调度策略，OpenCL/CUDA混合编程
29
部署案例实战 (一)
人脸识别模型从训练到Jetson部署全流程
30
部署案例实战 (二)
目标检测模型 (YOLOv8) 从ONNX到TensorRT优化部署