🧠 硬件感知推理优化技术精讲

📚 30章 · 从入门到前沿
📅 2025 · 实战精讲 ⚡ 推理加速 · 量化 · 编译 · 部署 友好色系 🎨
01
硬件感知推理优化概述 导论
什么是硬件感知推理 · 为什么需要 · 核心目标：延迟/吞吐/功耗
02
计算硬件基础 架构
CPU/GPU/NPU/FPGA对比 · 计算单元与内存层次
03
内存层次与数据局部性 存储
L1/L2/L3缓存 · HBM · DDR · 局部性原理加速推理
04
量化技术基础 量化
INT8/INT4原理 · 对称/非对称量化 · 误差分析
05
量化感知训练 QAT 训练
模拟量化 · 伪量化节点 · 训练策略 · 踩坑实录
06
训练后量化 PTQ 校准
校准数据集 · KL散度 · MinMax · 实战经验
07
稀疏化技术 剪枝
结构化/非结构化稀疏 · 剪枝策略 · 硬件加速原理
08
知识蒸馏 蒸馏
软标签 · 温度系数 · 损失函数 · 轻量模型实战
09
算子融合 (Kernel Fusion) 融合
Conv+BN+ReLU · LayerNorm融合 · 减少访存
10
图优化技术 编译
计算图优化 · 常量折叠 · 死代码消除 · 算子重排
11
内存优化 内存
内存复用 · In-Place · 张量重计算 · 降低峰值
12
并行推理策略 并行
数据/模型/流水线并行 · 异构计算调度
13
批处理 (Batching) 优化 吞吐
动态Batching · 连续Batching · 吞吐/延迟权衡
14
模型编译与代码生成 TVM
TVM · MLIR · XLA · 自动调优 · 硬件后端
15
推理引擎架构 引擎
TensorRT · ONNX Runtime · OpenVINO 对比
16
TensorRT 实战 NVIDIA
模型导出 · 精度校准 · 动态形状 · 线上事故
17
ONNX Runtime 实战 ONNX
ONNX导出 · 算子支持 · 执行提供者 (CPU/CUDA/TRT)
18
OpenVINO 实战 Intel
模型优化 · 推理请求 · 异步推理 · Intel最佳实践
19
TFLite 与 Android NNAPI 移动端
移动端推理优化 · Delegate机制 · 量化部署
20
Core ML 与 Apple Neural Engine iOS
iOS端优化 · ANE利用 · 模型转换
21
硬件特定优化 矩阵
Tensor Core · Matrix Core · AMX · 矩阵加速
22
FlashAttention 与高效注意力 注意力
IO感知计算 · 分块策略 · 硬件友好设计
23
KV Cache 优化 大模型
PagedAttention · Prefix Caching · 内存管理
24
推测解码 (Speculative Decoding) 自回归
草稿模型 · 验证策略 · 加速生成
25
模型并行与张量并行 分布式
Megatron-LM · DeepSpeed · 分布式推理
26
量化部署实战 混合精度
W4A16 · W8A8 · 混合精度 · 精度与性能平衡
27
性能分析与 Profiling 调优
Nsight · VTune · Perfetto · 定位瓶颈
28
端侧推理优化 端侧
模型压缩 · NCNN · MNN · 资源受限场景
29
服务端推理优化 服务端
Triton · vLLM · 高并发低延迟部署
30
前沿趋势与总结 未来
存算一体 · 光计算 · 神经形态计算展望
📢 : ·