第1章：VLA模型基础组件
视觉编码器、语言模型、动作解码器——这三个组件，说白了就是VLA模型的"眼睛"、"大脑"和"手脚"。今天咱们就来拆解一下，每个组件到底是怎么工作的，以及我在实际项目中踩过哪些坑。
1.1 视觉编码器：ViT与ResNet
视觉编码器的任务，就是把摄像头拍到的图像，变成机器人能理解的"特征向量"。我最早做机器人抓取时，用的还是手工设计的特征——SIFT、HOG这些。后来换成深度学习，效果直接翻倍。
ResNet：残差连接的妙用
ResNet的核心思想，说白了就是"让信息抄近路"。你想想看，网络越深，梯度消失越严重。ResNet通过残差连接，让梯度可以直接回传到浅层。我在项目中遇到过，不加残差连接的50层网络，训练到20层就饱和了。加上残差后，100层照样收敛。
关键公式：y = F(x) + x
这里的F(x)是卷积层堆叠，x是输入。加法操作让网络可以"跳过"不必要的层。
ViT：把图像当成句子看
ViT的做法很有意思——把图像切成16x16的小块，每个小块当成一个"单词"来处理。嗯，这里要注意，ViT需要大量的训练数据。我刚开始用ViT时，在ImageNet上预训练的模型，直接迁移到机器人场景，效果还不如ResNet。后来加了领域微调，才追上来。
我的经验：如果数据量少于10万张，优先用ResNet。数据量够大，ViT的上限更高。
1.2 语言模型：BERT与GPT
语言模型负责理解人类的指令。比如你说"把红色杯子放到蓝色托盘上"，语言模型要提取出"红色杯子"、"蓝色托盘"、"放"这些关键信息。
BERT：双向理解的王者
BERT的特点是"双向"——它同时看一个词的前后文。比如"苹果"这个词，在"吃苹果"和"苹果手机"里意思完全不同。BERT能根据上下文判断。我在做机器人指令解析时，BERT的准确率比单向模型高了15%。
避坑指南：我曾经把BERT直接用在机器人实时控制上，结果推理延迟太高（200ms+）。后来改用蒸馏版BERT，延迟降到30ms，精度只掉了2%。
GPT：生成式理解的利器
GPT是单向的，从左到右生成。但它有个好处——可以处理开放式的指令。比如"帮我把桌子收拾一下"，GPT能生成一系列动作序列。BERT只能做分类，GPT能做生成。
| 模型 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| BERT | 双向理解，精度高 | 推理慢，不支持生成 | 指令分类、实体提取 |
| GPT | 生成能力强，灵活 | 单向，可能遗漏信息 | 开放式指令、对话 |
1.3 动作解码器：MLP与Transformer Decoder
动作解码器把视觉和语言信息，转化成机器人能执行的关节角度或末端位姿。说白了，就是"怎么动"的问题。
MLP：简单直接
MLP就是全连接层堆叠。我最早做机械臂控制时，用的就是三层MLP。输入是视觉特征+语言特征，输出是6个关节角度。优点是简单、快，缺点是泛化能力有限。换个物体，可能就要重新训练。
class MLPActionDecoder(nn.Module):
def __init__(self, input_dim, hidden_dim, output_dim):
super().__init__()
self.fc1 = nn.Linear(input_dim, hidden_dim)
self.fc2 = nn.Linear(hidden_dim, hidden_dim)
self.fc3 = nn.Linear(hidden_dim, output_dim)
def forward(self, x):
x = torch.relu(self.fc1(x))
x = torch.relu(self.fc2(x))
return self.fc3(x)Transformer Decoder：序列建模
Transformer Decoder能处理时序信息。比如机器人要完成"先抓A，再放B"这样的序列动作，MLP就搞不定了。Transformer Decoder可以输出一个动作序列。我在做双臂协作时，用Transformer Decoder来协调两只手臂的动作，效果比MLP好很多。
核心区别：MLP输出单步动作，Transformer Decoder输出动作序列。如果你的任务需要多步规划，选后者。
1.4 知识体系总览
下面这张图，把三个组件的关系画清楚了。视觉编码器提取图像特征，语言模型解析指令，动作解码器生成控制信号。三者串联，就是完整的VLA流程。
这张图里，视觉和语言特征先融合，再送给动作解码器。我习惯在融合层加一个注意力机制，让模型自己决定"看"图像还是"听"指令。比如"把那个红色的东西拿过来"，模型会更关注视觉特征中的红色区域。
实用建议：刚开始做VLA项目时，别一上来就搞大模型。先用ResNet+MLP搭个基线，跑通了再升级到ViT+Transformer。这样调试起来快很多。
好了，三个基础组件就讲到这里。视觉编码器负责"看"，语言模型负责"听"，动作解码器负责"动"。下一章咱们聊聊怎么把这些组件拼起来，训练一个完整的VLA模型。