01
推理引擎概述
什么是推理引擎 · 与训练框架的区别 · 核心价值
基础概念
02
主流推理引擎概览
TensorRT · ONNX Runtime · OpenVINO · Triton · MNN · NCNN
对比生态
03
模型格式与中间表示
ONNX 详解 · Protobuf · 序列化
格式标准
04
图优化技术
算子融合 · 常量折叠 · 死代码消除 · 内存优化
编译加速
05
量化技术基础
FP32/FP16/INT8/INT4 · 对称与非对称量化
量化精度
06
量化感知训练与后训练量化
QAT · PTQ · 校准数据集
训练压缩
07
算子加速与内核调优
CUDA Kernel · 汇编优化 · Winograd · Im2Col
高性能底层
08
内存管理与调度
内存池 · 显存复用 · 计算图规划 · Pinned Memory
内存优化
09
动态形状与静态形状
静态图vs动态图 · Shape Inference · Padding策略
图编译推理
10
多后端支持与异构计算
CPU/GPU/NPU/FPGA · OpenCL · Vulkan
异构硬件
11
TensorRT深度解析
TensorRT架构 · Plugin · INT8校准 · 动态batch
NVIDIA加速
12
ONNX Runtime深度解析
Execution Provider · Session Options · 自定义算子
跨平台微软
13
OpenVINO深度解析
Model Optimizer · Inference Engine · IR格式 · 异构
Intel边缘
14
Triton Inference Server
模型仓库 · 并发执行 · 动态批处理 · Metrics
服务NVIDIA
15
端侧推理引擎
MNN · NCNN · TFLite · Paddle Lite · 端侧挑战
移动端轻量
16
模型压缩技术
剪枝 · 蒸馏 · 低秩分解 · 权重共享
压缩加速
17
推理引擎的Benchmark
延迟 · 吞吐量 · 内存 · 功耗 · MLPerf
评测标准
18
推理引擎的编译优化
TVM · XLA · MLIR · Triton语言
编译AI编译器
19
推理引擎的安全与隐私
模型加密 · TEE · 联邦学习
安全隐私
20
推理引擎在云端的应用
Serverless推理 · 弹性伸缩 · 冷启动优化
云原生部署
21
推理引擎在边缘端的应用
边缘计算 · 离线推理 · 低功耗设计
边缘IoT
22
推理引擎在自动驾驶中的应用
多传感器融合 · 实时性 · 安全冗余
自动驾驶车规
23
推理引擎在NLP中的应用
Transformer优化 · KV Cache · FlashAttention
NLP大模型
24
推理引擎在CV中的应用
YOLO优化 · 超分 · 图像分割
CV检测
25
推理引擎在推荐系统中的应用
大规模稀疏模型 · Embedding优化 · 特征工程
推荐稀疏
26
推理引擎的生态工具
Netron · Nsight Systems · Profiler · Debugger
工具调试
27
推理引擎的社区与开源
OpenMMLab · Hugging Face · ModelHub · GitHub
社区开源
28
推理引擎的未来趋势
大模型推理 · 稀疏计算 · 存算一体 · 光子计算
前沿趋势
29
推理引擎的选型策略
业务场景 · 硬件平台 · 性能成本权衡
选型架构
30
推理引擎实战项目
训练到端侧部署 · CI/CD · A/B测试
实战全流程