低功耗SwiGLU量化压缩
📚 实战课程 ·
30章
01
SwiGLU激活函数原理
从GLU到SwiGLU的演进 · LLM优势分析
02
低功耗场景需求分析
边缘算力限制 · 内存带宽 · 能效比目标
03
量化基础回顾
对称/非对称 · per-tensor vs per-channel
04
SwiGLU量化难点
激活值异常分布 · 离群点影响
05
静态量化方案
校准数据集 · KL散度 · MSE阈值搜索
06
动态量化方案
运行时统计 · 自适应缩放因子
07
混合精度量化
Gate分支与Up分支不同策略
08
权重量化
权重分布分析 · 分组量化(group-wise)
09
激活量化
Token-wise · SmoothQuant适配
10
KV-Cache量化
SwiGLU的KV-Cache压缩技巧
11
训练后量化(PTQ)
PTQ流程与校准
12
量化感知训练(QAT)
直通估计器STE · 伪量化节点
13
蒸馏辅助量化
知识蒸馏与量化联合训练
14
稀疏化与量化联合
SwiGLU稀疏模式 · 结构化剪枝
15
低比特量化
4-bit / 3-bit / 2-bit 尝试
16
NF4与FP4量化
归一化浮点4适配
17
GPTQ算法应用
Hessian矩阵 · 分组优化
18
AWQ算法适配
激活感知的权重量化
19
QuIP算法
低精度高精度恢复
20
硬件加速器设计
NPU/TPU算子 · 量化SwiGLU
21
软件栈优化
TensorRT · ONNX Runtime配置
22
内存访问优化
量化内存布局 · 缓存友好设计
23
功耗建模
动态功耗与静态功耗影响
24
精度-功耗权衡
Pareto前沿 · 自动搜索策略
25
端侧部署实战
手机/嵌入式SwiGLU量化部署
26
云端推理优化
数据中心低功耗量化推理
27
评估指标
PPL · 下游任务精度 · 功耗测量
28
常见陷阱与调试
不收敛 · 精度骤降排查
29
前沿进展
1-bit LLM · BitNet + SwiGLU
30
综合案例
从零构建低功耗SwiGLU推理系统