模型结构验证：前向传播形状检查、参数初始化、权重共享的调试技巧

模型结构验证，说白了就是确保你搭的神经网络骨架没毛病。我见过太多同学花几周调参，结果发现是模型结构写错了——形状对不上、初始化炸了、权重共享没生效。嗯，这章我们就来聊聊怎么把这些坑填上。

一、前向传播形状检查：别让张量迷路

前向传播的形状检查，是模型调试的第一步。我个人习惯，写完一个模块后，先跑一个 dummy 输入，看看输出形状对不对。

核心原则：每一层的输出形状，必须与下一层的输入形状匹配。否则梯度会炸，或者干脆跑不起来。

1.1 手动形状推导

我建议你养成手动推导形状的习惯。比如一个 Conv2d 层：

# 输入形状: (batch, channels, height, width)
# 假设输入: (32, 3, 224, 224)
conv = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)
# 输出形状: (32, 64, 224, 224)  # padding=1 保持尺寸

为什么会这样？因为 padding=1 让卷积核在边缘补零，输出尺寸不变。我在项目中遇到过有人把 padding 算错了，结果后面全连接层形状对不上，报错信息看得一头雾水。

1.2 自动形状检查工具

手动推导太累？可以用 PyTorch 的 torchsummary 或 torchinfo：

from torchinfo import summary
model = MyModel()
summary(model, input_size=(32, 3, 224, 224))

这个工具会打印每一层的输出形状、参数量、MACs。我每次写完模型都会跑一遍，确保形状链是通的。

小技巧：在 forward 函数里加 print 语句，打印每个关键张量的形状。调试完再删掉。别嫌麻烦，这比看报错日志快多了。

二、参数初始化：别让梯度消失或爆炸

参数初始化，说白了就是给模型一个合理的起点。初始化不好，训练可能直接崩掉。我曾经有一次用全零初始化，结果模型死活不收敛，查了两天才发现是初始化的问题。

2.1 常见初始化方法

初始化方法 适用场景 特点
Xavier/Glorot tanh、sigmoid 激活函数 保持输入输出方差一致
Kaiming/He ReLU、LeakyReLU 激活函数 考虑 ReLU 的负半轴为零
正交初始化 RNN、LSTM 保持梯度流动稳定

我个人习惯，CNN 用 Kaiming 初始化，RNN 用正交初始化。你想想看，如果用了 ReLU 却用 Xavier，深层网络的方差会越传越小，梯度消失是迟早的事。

2.2 初始化调试技巧

怎么判断初始化好不好？看前向传播的激活值分布：

def check_init(model, dummy_input):
    model.eval()
    with torch.no_grad():
        output = model(dummy_input)
        print(f"输出均值: {output.mean():.4f}, 标准差: {output.std():.4f}")
        # 理想情况：均值接近0，标准差在1左右

如果标准差远小于1，说明初始化太保守，梯度会消失。如果远大于1，说明初始化太激进，梯度会爆炸。嗯，这里要注意，BatchNorm 层会缓解这个问题，但初始化依然重要。

避坑指南：我曾经在训练一个 50 层的 ResNet 时，忘了对最后的全连接层做初始化，结果那层的权重全是随机的，导致 loss 一开始就很大。后来我养成了习惯：初始化完模型后，打印所有参数的均值和标准差，一眼就能看出问题。

三、权重共享的调试技巧：别让参数偷偷独立

权重共享，说白了就是让不同模块用同一份参数。这在 Siamese Network、Transformer 里很常见。但调试起来很头疼——你怎么知道共享真的生效了？

3.1 验证权重共享是否生效

最简单的方法：打印参数的内存地址。

# 假设有两个共享权重的线性层
shared_fc = nn.Linear(128, 64)
fc1 = shared_fc
fc2 = shared_fc  # 实际上 fc1 和 fc2 是同一个对象

print(f"fc1 权重地址: {id(fc1.weight)}")
print(f"fc2 权重地址: {id(fc2.weight)}")
# 如果地址相同，说明共享生效

我建议你在模型初始化后，专门写一个函数检查所有共享参数：

def check_weight_sharing(model):
    param_ids = {}
    for name, param in model.named_parameters():
        param_id = id(param)
        if param_id in param_ids:
            print(f"警告: {name} 与 {param_ids[param_id]} 共享权重")
        else:
            param_ids[param_id] = name

3.2 权重共享的常见陷阱

陷阱一：不小心创建了多个独立副本。比如：

# 错误写法
class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(128, 64)
        self.fc2 = nn.Linear(128, 64)  # 这是独立的，不是共享的！

# 正确写法
class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.shared_fc = nn.Linear(128, 64)
        self.fc1 = self.shared_fc
        self.fc2 = self.shared_fc

陷阱二：在 forward 里不小心修改了共享参数。比如用 in-place 操作：

def forward(self, x):
    # 错误：这会修改共享参数
    self.shared_fc.weight.data += 0.01
    return self.shared_fc(x)

小技巧：训练过程中，定期打印共享参数的梯度。如果两个共享模块的梯度不一致，说明共享没生效。我一般每 100 个 step 检查一次，确保梯度流是对的。

四、综合调试流程：三步走

嗯，到这里我们总结一下。我个人习惯的调试流程是这样的：

  1. 形状检查：用 dummy 输入跑一遍 forward，打印每层输出形状。确保形状链完整。
  2. 初始化检查：打印所有参数的均值和标准差。用 Kaiming 或 Xavier，别偷懒用默认的 uniform。
  3. 共享检查：打印参数地址，确认共享生效。训练时监控共享参数的梯度一致性。

你想想看，这三步走完，模型结构层面的问题基本都能暴露出来。剩下的就是训练过程中的梯度爆炸、loss 不收敛等问题，那是后面章节的内容了。

核心总结：模型结构验证不是一次性的工作。每次修改模型后，都要重新跑一遍这三步。我见过太多人改了一行代码，结果形状对不上了，还傻乎乎地调了半天学习率。

好了，这章就到这里。下一章我们会聊训练稳定性监控——怎么用 TensorBoard 和 wandb 实时看 loss、梯度、权重的变化。到时候我会分享一个我踩过的坑，保证让你少走弯路。

← 上一章 📖 返回目录 下一章 →