🤖 ACT 核心框架
机器人模仿学习 · 30 章完整路径
📚
动作分块 · Transformer · 仿真到真机
01
ACT框架概述
机器人模仿学习简介
ACT核心思想
与传统模仿学习区别
应用场景与优势
02
环境搭建与工具链
Python/PyTorch
ROS/ROS2基础
MuJoCo安装
硬件驱动配置
03
数据采集与预处理
动作块概念
多视角图像采集
时间对齐与插值
归一化与增强
04
ACT模型架构详解
Transformer Encoder-Decoder
时序编码
动作分块预测头
CVAE集成
05
训练流程与超参数调优
损失函数(MSE/KL)
学习率调度
Batch/Chunk Size
TensorBoard监控
06
策略部署与推理
TorchScript/ONNX
实时推理管线
动作平滑与滤波
安全与异常处理
07
仿真环境验证
MuJoCo任务构建
评估指标
A/B测试
消融实验
08
真实机器人部署
硬件接口封装
视觉伺服控制
力控与柔顺
多任务泛化
09
高级话题与优化
多模态融合
领域随机化
在线微调
模型压缩与边缘部署
10
项目实战：桌面推放
任务定义与采集
训练调优
仿真与真机部署
性能分析
11
ACT框架理论基础
行为克隆局限性
动作分块解决复合误差
Transformer注意力
时序决策作用
12
CVAE深入理解
条件变分自编码器
重参数化技巧
先验/后验网络
潜在空间可解释性
13
数据增强进阶
随机裁剪/颜色抖动
时间扭曲
动作噪声注入
对抗性增强
14
多任务学习与迁移
任务嵌入
多任务训练策略
零样本迁移
少样本微调
15
模型评估与诊断
动作质量评估
注意力可视化
失败模式分析
鲁棒性测试
16
实时系统优化
异步推理与流水线
GPU/CPU协同
延迟优化<10ms
确定性执行
17
安全与伦理
碰撞检测与规避
紧急停止
数据隐私脱敏
可解释AI
18
社区与生态
ACT GitHub仓库
预训练模型库
竞赛与基准
论文复现指南
19
ACT与强化学习结合
初始化策略
RL微调
混合专家MoE
逆强化学习视角
20
未来趋势与挑战
长时序动作预测
灵巧手操作
人机协作
大模型VLA融合
21
数据采集系统搭建
多相机标定
同步触发
HDF5/ROS Bag
数据质量检查
22
模型压缩与量化
知识蒸馏
权重剪枝
INT8量化
TensorRT部署
23
仿真到真实迁移
域适应
随机化参数调优
真实数据混合
闭环校正
24
多机械臂协同
协同动作分块
通信延迟补偿
共享与私有策略
冲突解决
25
视觉基础模型集成
ResNet/ViT编码器
预训练权重加载
特征对齐微调
多尺度融合
26
动作空间设计
关节 vs 任务空间
笛卡尔空间表示
阻抗控制参数化
混合动作空间
27
时间序列建模
TCN替代方案
LSTM vs Transformer
位置编码RoPE/ALiBi
因果注意力
28
调试与可视化工具
PyTorch Profiler
Weights & Biases
动作回放与轨迹
点云与深度图
29
论文精读
ACT原论文
RT-2: VLA
低成本双手操作
视觉-语言-动作
30
综合项目：自主搭建流水线
从零搭建完整项目
撰写技术文档
开源贡献指南
课程总结与展望