GPU量化计算从零到一实战指南

📚 共计 30 章节

GPU计算概述

GPU与CPU的区别 · 架构简史(Tesla→Hopper) · 深度学习角色 · 量化为什么重要

CUDA编程基础

环境搭建 · 向量加法 · 线程层次 · 内存模型简介

GPU内存管理

全局/共享/寄存器/常量/纹理内存 · cudaMalloc/cudaFree · cudaMemcpy

CUDA核函数优化

Warp与分支发散 · 内存合并 · Bank Conflict · Occupancy · Nsight

深度学习量化基础

为什么量化 · PTQ与QAT · 对称/非对称 · Scale/Zero Point

安装 · ONNX导出 · trtexec转换 · 工作流(构建/优化/推理)

TensorRT量化实战

FP16/INT8 · 校准器(Entropy/MinMax/Percentile) · 动态范围

CUDA低精度计算

FP16与Tensor Core · INT8矩阵乘 · WMMA API · 混合精度AMP

自定义量化算子开发

CUDA扩展 · PyTorch绑定 · 前向/反向量化 · 算子注册

模型量化实战(一) CNN

ResNet-50 · 逐层精度 · 敏感层定位 · TensorRT INT8部署

模型量化实战(二) Transformer

BERT量化 · Attention难点 · KV Cache量化 · TensorRT-LLM

模型量化实战(三) LLM

LLaMA · GPTQ · AWQ · AutoGPTQ库

量化感知训练 QAT

STE · torch.quantization · FakeQuantize · 训练技巧

权重量化与激活量化

Per-Tensor/Per-Channel · Outlier处理 · 动态/静态量化

稀疏化与量化结合

结构化/非结构化稀疏 · 2:4稀疏 · 联合优化 · 效果评估

GPU推理引擎优化

Kernel Fusion · NHWC vs NCHW · 动态形状 · 多流并发

多GPU与分布式推理

数据/模型并行 · Pipeline并行 · Tensor并行 · 多卡量化

分布式多卡

量化模型精度评估

Accuracy/Perplexity/BLEU · 校准集 · 余弦相似度 · KL散度

边缘端GPU量化部署

Jetson Nano/Orin · TensorRT for Jetson · 功耗平衡 · 目标检测

量化工具链与框架

torch.ao.quantization · ONNX Runtime · OpenVINO · TFLite

工具链框架

自定义校准器开发

数据生成策略 · 直方图/KL散度/百分位校准器

量化模型安全性与鲁棒性

对抗样本影响 · 鲁棒性测试 · 安全部署建议

量化计算前沿技术

FP8(E4M3/E5M2) · NF4/QLoRA · MXFP · 硬件趋势

性能剖析与调优

Nsight Systems · GPU利用率 · 带宽/吞吐平衡 · 调优案例

量化模型跨平台迁移

GPU→CPU迁移 · Turing/Ampere/Hopper兼容 · 精度对齐

大规模量化部署实践

K8s集群 · 模型版本管理 · A/B测试 · 监控告警

大规模DevOps

量化计算数值分析

浮点误差 · 量化误差传播 · 随机/确定性舍入 · 补偿

开源量化项目解读

TensorRT源码 · TVM量化 · llama.cpp量化实现

量化计算未来展望

硬件趋势 · 软件生态 · 大模型挑战 · 学习路径

综合实战项目

训练到部署全流程 · 端到端量化系统 · 性能/精度报告