01
大模型推理的算力饥渴
为什么需要硬件加速？从摩尔定律失效到AI芯片崛起，分析计算瓶颈（访存墙、计算墙）。
算力瓶颈
02
硬件加速全景图
CPU、GPU、NPU、FPGA架构对比，各自适用场景与性能天花板。
架构对比
03
GPU架构深度解析
NVIDIA CUDA Core与Tensor Core演进，V100到H100，SM单元与显存带宽。
GPUTensor Core
04
量化技术基础
FP32/FP16/INT8/INT4数据格式对比，量化误差来源与评估方法。
量化精度
05
权重量化实战
PyTorch Post-Training Quantization (PTQ)，校准数据集选择与实现。
PTQPyTorch
06
量化感知训练
QAT原理与实现，模拟量化误差，提升低比特模型精度。
QAT训练
07
稀疏化加速
结构化/非结构化稀疏，NVIDIA 2:4模式，稀疏矩阵硬件加速原理。
稀疏加速
08
剪枝技术
权重剪枝、通道剪枝与层剪枝，不损精度减少计算量。
剪枝压缩
09
知识蒸馏
Teacher-Student架构，软标签与温度系数，蒸馏在硬件部署中的收益。
蒸馏部署
10
算子融合
多小算子合并为一个大算子，减少Kernel Launch与显存带宽占用。
融合优化
11
FlashAttention原理
标准Attention显存瓶颈，FlashAttention分块计算与IO感知优化。
AttentionIO
12
PageAttention与vLLM
KV Cache管理优化，非连续显存分配提升推理吞吐。
vLLM显存
13
Continuous Batching
动态批处理策略，最大化GPU利用率，减少请求排队延迟。
批处理吞吐
14
Speculative Decoding
投机解码原理，小模型草稿+大模型验证，加速自回归生成。
解码加速
15
模型并行策略
张量并行、流水线并行、数据并行对比，3D并行训练与推理。
并行分布式
16
TensorRT模型优化
TensorRT图优化、层融合与精度校准，PyTorch模型加速。
TensorRT优化
17
TensorRT-LLM部署实战
搭建TensorRT-LLM推理服务，配置GPTQ/AWQ量化模型。
TRT-LLM量化
18
ONNX Runtime加速
导出ONNX格式，使用ONNX Runtime跨平台推理优化。
ONNX跨平台
19
OpenVINO工具链
Intel平台推理优化，模型转IR格式，利用CPU集成显卡加速。
OpenVINOIntel
20
vLLM框架实战
部署vLLM推理服务，配置PagedAttention与Continuous Batching。
vLLM部署
21
TGI (Text Generation Inference)
HuggingFace推理框架，支持张量并行与流式输出。
TGIHuggingFace
22
llama.cpp与GGUF格式
CPU/边缘设备运行大模型，GGUF量化与内存映射优化。
llama.cppGGUF
23
MLC-LLM与TVM
TVM编译器优化模型，在手机和浏览器上运行大模型。
TVM端侧
24
FPGA加速实践
HLS实现矩阵乘法加速器，对比FPGA与GPU延迟与功耗。
FPGAHLS
25
ASIC芯片设计入门
架构设计到RTL实现，NPU关键模块：MAC阵列、片上缓存。
ASICNPU
26
内存墙与HBM技术
HBM2e与HBM3带宽对比，内存层次结构缓解访存瓶颈。
HBM内存墙
27
Chiplet与互联技术
Die-to-Die互联，UCIe标准，通过Chiplet扩展算力。
ChipletUCIe
28
推理服务性能评估
吞吐量、延迟、TTFT、TPOT等指标，Profiling工具定位瓶颈。
性能Profiling
29
端侧部署实战
手机/嵌入式部署量化模型，NNAPI与CoreML硬件加速。
端侧NNAPI
30
未来趋势
存算一体、光计算、量子计算，下一代AI芯片技术方向与挑战。
前沿芯片