01
VLA概述
什么是VLA模型 · 从CLIP到RT-2 · 核心技术栈 · 应用场景
视觉编码器语言模型动作解码器
02
环境搭建
Python/PyTorch · CUDA/cuDNN · Transformers · MuJoCo/Isaac Gym
HuggingFaceCLIP仿真环境
03
视觉编码器基础
CNN回顾 · ResNet/ViT · CLIP视觉编码器 · 图像特征提取
卷积Vision Transformer特征提取
04
语言模型基础
Transformer · 自注意力 · BERT/GPT · 因果LM · Tokenizer
多头注意力位置编码分词
05
多模态对齐
对比学习 · InfoNCE Loss · 嵌入空间对齐 · 相似度检索
CLIP图像-文本检索实战
06
动作表示与解码
关节角度/末端位姿 · Action Tokenization · 连续预测 · 自回归解码
动作空间离散化回归头
07
数据集构建
BridgeData · Open X-Embodiment · 清洗预处理 · 三元组 · 增强策略
图像-文本-动作随机裁剪颜色抖动
08
数据加载器设计
Dataset/DataLoader · 多进程 · 缓存预读取 · DistributedSampler
PyTorch分布式性能优化
09
模型架构设计（上）
End-to-End vs Modular · ViT-B/16 vs L/14 · MLP Projector
视觉编码器投影层架构选型
10
模型架构设计（下）
GPT-2 vs LLaMA · Cross-Attention Fusion · 动作头MLP+Tanh · 参数量估算
语言模型交叉注意力动作头
11
损失函数设计
Cross-Entropy · L1/L2/Chamfer · 多任务加权 · 辅助对比损失
语言建模动作预测特征对齐
12
训练策略（上）
Warmup+Cosine · AdamW vs SGD · 梯度裁剪 · 混合精度AMP
学习率优化器AMP
13
训练策略（下）
Batch大小/梯度累积 · 权重初始化 · Dropout/Weight Decay · EMA
正则化Label SmoothingEMA
14
单卡训练实战
Training Loop · TensorBoard/WandB · 检查点保存/恢复 · 监控调试
日志模型保存训练监控
15
分布式训练
DataParallel vs DDP · PyTorch DDP · 模型并行+数据并行 · 梯度同步
DDP混合并行通信优化
16
模型评估与验证
验证集/指标 · Success Rate · 动作精度 · 指令跟随 · 可视化评估
轨迹回放注意力图成功率
17
模型推理与部署
TorchScript/ONNX · INT8/FP16量化 · TensorRT · Jetson/RK3588
量化推理加速边缘端
18
仿真环境集成
MuJoCo API · Franka Panda/UR5 · Pick-and-Place/Push · 数据采集
仿真机器人控制任务场景
19
真实机器人部署
机械臂/夹爪/相机 · ROS2 · 手眼标定 · 真实数据采集
硬件选型相机标定ROS2
20
指令微调
指令数据集 · LoRA/QLoRA · 微调实战 · 模型评估
低秩适应量化LoRA指令跟随
21
多任务学习
多任务数据集 · Task ID/Embedding · 任务特定头 · 干扰缓解
任务标识特定头多任务
22
零样本与少样本泛化
Zero-Shot VLA · Few-Shot Prompting · In-Context Learning · 基准评估
零样本少样本上下文学习
23
闭环控制与反馈
视觉反馈 · 动作校正 · 重规划 · 错误恢复策略
闭环重规划安全
24
安全与鲁棒性
对抗攻击/防御 · OOD检测 · 动作安全约束 · Fail-Safe
对抗分布外安全约束
25
模型压缩与加速
知识蒸馏 · 结构化剪枝 · 权重共享 · TinyVLA轻量化
蒸馏剪枝轻量化
26
多模态扩展
RGB-D融合 · 触觉传感器 · 音频指令 · 多视角视觉
深度信息触觉多视角
27
VLA前沿研究
RT-2 · PaLM-E · Octo · π0 · 基础模型 · 具身智能趋势
前沿模型具身智能未来
28
项目实战（一）
Pick-and-Place VLA · 数据采集标注 · 训练调优 · 仿真验证
实战Pick-and-Place仿真
29
项目实战（二）
多任务VLA (Pick+Push+Stack) · 混合训练 · 泛化测试 · 真机部署
多任务真机泛化
30
课程总结与展望
技术路线图 · 常见问题 · 学习资源 · 未来方向 (世界模型/强化学习)
总结资源推荐VLA+RL