精细操作 · ACT实战方案

01

机械臂基础与ACT概览

• 机械臂发展史
• ACT算法核心思想
• 课程框架与学习路径

01.html

02

运动学基础 (上)

• 刚体变换
• 旋转矩阵
• 欧拉角与四元数
• 齐次变换矩阵

02.html

03

运动学基础 (下)

• 正运动学DH参数法
• 逆运动学解析法与数值法

03.html

04

动力学基础

• 牛顿-欧拉法
• 拉格朗日法
• 动力学参数辨识入门

04.html

05

轨迹规划

• 关节空间规划 (梯形/S形)
• 笛卡尔空间规划 (直线/圆弧)

05.html

06

力控制基础

• 阻抗控制
• 导纳控制
• 力位混合控制原理

06.html

07

ACT算法原理 (一)

• 模仿学习概述
• 行为克隆(BC)与ACT关联

07.html

08

ACT算法原理 (二)

• Transformer架构详解
• CVAE在ACT中的应用

08.html

09

ACT算法原理 (三)

• ACT模型训练流程
• 损失函数设计
• 动作序列预测机制

09.html

10

环境搭建 (一)

• ROS/ROS2安装配置
• MoveIt框架介绍

10.html

11

环境搭建 (二)

• 仿真环境 (Gazebo/Isaac Sim)
• 机械臂URDF模型导入

11.html

12

环境搭建 (三)

• Python虚拟环境配置
• PyTorch安装
• CUDA与cuDNN配置

12.html

13

数据采集 (一)

• 遥操作设备 (3D鼠标/力反馈手柄)
• 数据记录格式设计

13.html

14

数据采集 (二)

• 基于ROS的数据采集节点
• 多传感器数据同步

14.html

15

数据预处理

• 数据清洗与异常值剔除
• 时间对齐
• 数据增强 (加噪/平滑)

15.html

16

ACT模型实现 (一)

• 构建Transformer编码器-解码器

16.html

17

ACT模型实现 (二)

• 实现CVAE模块
• 动作分块 (Action Chunking)

17.html

18

ACT模型实现 (三)

• 训练脚本编写
• 模型保存与加载
• TensorBoard可视化

18.html

19

模型评估

• 仿真环境评估
• 成功率统计
• 动作平滑度分析
• 泛化能力测试

19.html

20

模型部署 (一)

• 模型导出 (TorchScript/ONNX)
• C++推理接口封装

20.html

21

模型部署 (二)

• 与ROS节点集成
• 实时推理管线
• 控制频率优化

21.html

22

精细操作案例 (一)

• 插拔USB接头
• 力觉引导柔顺插接

22.html

23

精细操作案例 (二)

• 穿针引线
• 视觉伺服与微小力控

23.html

24

精细操作案例 (三)

• 螺丝拧紧
• 力矩控制与姿态调整

24.html

25

精细操作案例 (四)

• 叠放积木
• 高精度位姿估计与抓取

25.html

26

故障诊断与调试

• 模型不收敛
• 动作抖动
• 力控振荡排查

26.html

27

性能优化

• 模型量化
• TensorRT加速
• 动作帧率提升技巧

27.html

28

进阶话题 (一)

• 多模态融合 (视觉+触觉+力觉)

28.html

29

进阶话题 (二)

• ACT与强化学习结合
• 在线微调策略

29.html

30

课程总结与展望

• ACT技术前沿 (扩散策略/3D视觉)
• 项目实战建议

30.html