ACT模型训练与嵌入式部署
📘 30章 · 从入门到实战
01
ACT模型概述
📌 核心思想
🤖 机器人/自动驾驶
🗺️ 路线图
02
环境搭建
🐍 Python/PyTorch
⚡ CUDA/cuDNN
🤖 ROS基础
03
数据采集基础
📷 RGB/深度/IMU
🛠️ 硬件选型
⏱️ 时间戳对齐
04
数据预处理
🔄 去畸变/归一化
🎨 增强(裁剪/抖动)
📊 数据集划分
05
ACT模型架构
🧩 编码器-解码器
⚙️ Transformer/自注意力
📍 位置编码
06
动作分块
🧱 为什么需要分块
📏 分块大小选择
⏳ 时序一致性损失
07
时序集成
⏮️ 时序集成原理
🪟 滑动窗口策略
✨ 推理平滑
08
模型训练基础
📉 L1/L2/动作概率损失
⚡ AdamW
📈 学习率调度
09
训练脚本编写
🔄 PyTorch循环
📦 DataLoader
💾 断点续训
10
评估与可视化
📊 成功率/平均奖励
📉 TensorBoard
✏️ 动作轨迹
11
模型导出与量化
📤 TorchScript/ONNX
🔢 动态/静态量化
⚡ INT8实践
12
嵌入式平台选型
🖥️ Jetson/树莓派/RK3588
⚖️ 算力与功耗
13
交叉编译环境
🛠️ 宿主机/目标板
🔧 工具链
📚 依赖库移植
14
模型部署框架
🚀 TensorRT/ONNX Runtime
📱 NCNN
⚡ 性能对比
15
TensorRT部署
🔄 ONNX→TensorRT
📐 动态形状
⚡ FP16/INT8
16
ONNX Runtime部署
⚙️ 模型优化
💻 CPU/GPU切换
🧩 会话配置
17
NCNN部署实战
🔄 PyTorch→NCNN
⚡ Vulkan加速
📱 移动端要点
18
嵌入式推理优化
🧩 算子融合/内存复用
⏳ 多线程流水线
⚡ 异步推理
19
实时性保障
⏱️ 端到端延迟
🎞️ 帧率控制
📤 丢帧处理
20
ROS集成部署
📡 ROS节点/话题
🖼️ 图像/动作通信
🎯 动作服务器
21
硬件在环测试
🏗️ MuJoCo/Gazebo
🔌 硬件接口调试
🔄 闭环测试
22
模型压缩
🧠 知识蒸馏
✂️ 结构化剪枝
📉 低秩分解
23
多模态融合
👁️ 视觉-语言-动作
🔗 特征对齐
⚡ 跨模态注意力
24
迁移学习与微调
📥 预训练加载
🌍 领域自适应
🎯 少样本微调
25
安全性与鲁棒性
🛡️ 对抗防御
⚠️ 异常检测
🛑 安全停止
26
性能基准测试
⏱️ 延迟/吞吐量
🔋 功耗/内存
🧪 自动化脚本
27
常见问题排查
⚠️ 训练不收敛
🐢 推理速度慢
💥 内存溢出/精度下降
28
案例实战1：机械臂抓取
🦾 数据采集→部署
📦 全流程
29
案例实战2：移动机器人导航
🤖 端到端ACT部署
🗺️ 导航任务
30
课程总结与展望
🚀 ACT3.0前沿
🔭 未来趋势
📚 学习资源