🧠 推理优化全攻略
📘 30章 · 从入门到前沿
📚 30 章节 ⚡ 推理加速 🎯 友好色系
01推理优化全景图
延迟吞吐量内存占用方法论总览
开始学习 →
02模型量化基础
对称/非对称精度权衡QATPTQ
开始学习 →
03INT8量化实战
PyTorch静态量化校准集精度调优
开始学习 →
04模型剪枝技术
结构化剪枝非结构化权重大小微调恢复
开始学习 →
05知识蒸馏入门
教师-学生软标签温度参数蒸馏损失
开始学习 →
06算子融合与图优化
Conv+BN+ReLU计算图优化TorchScript
开始学习 →
07ONNX模型转换
ONNX格式PyTorch转ONNXONNX Runtime算子兼容
开始学习 →
08TensorRT加速实战
Engine/BuilderFP16/INT8动态形状
开始学习 →
09OpenVINO推理优化
模型优化器推理引擎异构执行
开始学习 →
10TFLite与移动端优化
模型转换DelegateNNAPIGPU加速
开始学习 →
11Core ML与Apple生态
ANEiOS推理模型转换
开始学习 →
12模型编译与TVM
Relay IRAutoTVMAnsor端到端编译
开始学习 →
13推理引擎对比与选型
TensorRTONNX RuntimeOpenVINOTFLiteTVM
开始学习 →
14内存优化策略
内存复用张量共享梯度检查点瓶颈分析
开始学习 →
15模型序列化与加载优化
SavedModelTorchScriptONNX懒加载
开始学习 →
16批处理与动态批处理
静态批处理动态批处理吞吐量调度策略
开始学习 →
17异步推理与流水线
生产者-消费者流水线并行请求排队
开始学习 →
18GPU推理优化
Tensor CoreCUDA Graphs多流并发带宽优化
开始学习 →
19CPU推理优化
AVX/SSEoneDNN线程并行NUMA缓存
开始学习 →
20边缘设备推理优化
MobileNetEfficientNetTinyML微控制器
开始学习 →
21模型服务化与部署
TF ServingTorchServeTritonREST/gRPC
开始学习 →
22推理性能基准测试
P50/P99perf/nsysDLProf测试报告
开始学习 →
23模型压缩与稀疏化
权重稀疏激活稀疏稀疏矩阵硬件支持
开始学习 →
24低秩分解技术
SVD分解CP分解Tucker微调部署
开始学习 →
25自动混合精度(AMP)
AMP原理损失缩放精度平衡推理应用
开始学习 →
26推理优化工具链
Nsight SystemsDLProfPyTorch Profiler
开始学习 →
27大规模推理系统设计
分布式推理模型分片KV Cache集群管理
开始学习 →
28大语言模型推理优化
自回归PageAttentionvLLM投机解码
开始学习 →
29多模态模型推理优化
视觉-语言跨模态对齐多模态引擎
开始学习 →
30推理优化未来趋势
存算一体光计算AutoML可解释性
开始学习 →
📢 ： ｜