🧠 ACT · 算法实战
📚 30 章节
完整版
⚡ 硬件部署
GPU/Edge/Web
🌟 友好 · 从原理到部署
01
ACT算法概述
发展史
核心思想
与传统对比
应用场景
02
数学基础回顾
矩阵运算
特征值
熵·KL散度
优化入门
03
注意力机制原理
Seq2Seq→注意力
缩放点积
多头注意力
04
Transformer架构解析
Encoder-Decoder
位置编码
残差·层归一化
05
ACT核心机制
动态计算步数
自适应停止
ponder损失
集成方式
06
ACT数学推导
停止概率建模
计算预算约束
梯度估计·重参数化
07
ACT算法变体
PonderNet
ACT for RNNs
Universal Transformer
08
环境搭建
Ubuntu配置
CUDA cuDNN
Docker
Python虚拟环境
09
深度学习框架选型
PyTorch vs TF vs JAX
ONNX导出
兼容性考量
10
数据准备与预处理
文本清洗
Tokenization
DataLoader优化
11
模型构建实战(一)
标准Transformer Encoder
12
模型构建实战(二)
ACT自适应停止
ponder损失
13
模型构建实战(三)
ACT集成到Decoder
14
训练策略
学习率调度
梯度裁剪
混合精度AMP
15
损失函数设计
ponder损失调优
辅助损失
16
模型评估与调试
注意力可视化
停止步数分布
过拟合诊断
17
模型压缩与量化
知识蒸馏
权重剪枝
INT8量化
TensorRT加速
18
硬件部署基础
CPU/GPU/TPU/NPU
内存带宽·计算瓶颈
19
ONNX Runtime部署
模型导出ONNX
Runtime优化
C++/Python API
20
TensorRT部署
trtexec转换
动态形状
FP16/INT8
多流并发
21
NVIDIA Triton
模型仓库
并发加载
动态批处理
22
边缘端部署
Jetson适配
TensorRT on Jetson
功耗平衡
23
移动端部署
Core ML
NNAPI
TFLite优化
24
Web端部署
ONNX.js / TF.js
WebAssembly
浏览器推理
25
性能基准测试
延迟·吞吐量
内存占用
功耗测量
26
端到端实战(一)
文本分类
训练→ONNX部署
27
端到端实战(二)
机器翻译
ACT+TensorRT
28
端到端实战(三)
图像描述生成
多模态ACT+Triton
29
生产环境最佳实践
CI/CD流水线
A/B测试
模型版本管理
监控告警
30
前沿趋势与展望
ACT+LLM
硬件协同设计
未来方向