4. 多层级Switch的时钟域划分与同步策略

时钟域划分，说白了就是给芯片里不同的模块分配不同的时钟。多层级PCIe Switch系统里，这个问题尤其棘手。我做过一个项目，系统里挂了三个层级、十几个端点设备，时钟关系乱得像一团麻。后来花了整整两周才把时钟域理清楚。

嗯，今天我们就聊聊这个。

4.1 为什么需要时钟域划分？

你想想看，一个多层级Switch系统里，上游端口可能跑在PCIe Gen5，下游端口可能跑在Gen4甚至Gen3。不同链路的速率不一样，时钟频率自然也不一样。

举个例子：

• 上游端口：PCIe Gen5 x16，参考时钟100MHz，内部PLL倍频到32GHz
• 下游端口1：PCIe Gen4 x8，参考时钟100MHz，内部PLL倍频到16GHz
• 下游端口2：PCIe Gen3 x4，参考时钟100MHz，内部PLL倍频到8GHz

这三个端口如果共用一个时钟域，那麻烦就大了。高频逻辑跑到低频域里，setup time肯定hold不住。低频逻辑跑到高频域里，又会出现大量亚稳态。

4.2 时钟域划分的典型方案

我个人习惯把多层级Switch的时钟域分成三类：

1. 端口时钟域（Port Clock Domain）：每个物理端口独立，频率由链路速率决定
2. 交换时钟域（Fabric Clock Domain）：内部交换矩阵使用，通常固定频率
3. 管理时钟域（Management Clock Domain）：配置寄存器、中断处理等慢速逻辑

下面这张图是我自己画的，能帮你直观理解时钟域的划分逻辑：

4.3 跨时钟域同步策略

时钟域划分好了，接下来就是怎么让它们之间安全地传数据。这里我踩过不少坑，分享几个实用的方法。

4.3.1 异步FIFO——最常用的方案

异步FIFO是跨时钟域传输的标配。我做过一个项目，端口时钟域和交换时钟域之间用了8个异步FIFO，每个深度64，跑得稳稳的。

设计异步FIFO时，有几个关键点：

• 格雷码指针：读写指针跨时钟域传递时，必须用格雷码编码。二进制指针直接传，大概率会采到错误值
• 深度选择：深度至少是2的幂次，且要大于读写时钟频率比。比如读时钟是写时钟的2倍，深度至少4
• 空满判断：空信号在写时钟域判断，满信号在读时钟域判断。这个顺序搞反了，数据就会丢

4.3.2 双寄存器同步——简单场景够用

如果只是传递一个控制信号，比如复位、使能，用双寄存器同步就够了。但要注意：

• 只能同步单比特信号
• 信号变化频率不能太快，至少间隔两个目标时钟周期
• 不能用于数据总线

我曾经犯过一个低级错误：用双寄存器同步一个4比特的计数器。结果每次计数变化时，不同比特到达目标域的时间不一样，导致中间值被采到。嗯，后来老老实实改成了异步FIFO。

4.3.3 握手协议——控制类信号的首选

对于控制类信号，比如配置寄存器写请求，我推荐用握手协议。典型的4相握手流程：

1. 源域拉高req信号
2. 目标域检测到req后，拉高ack信号
3. 源域检测到ack后，拉低req
4. 目标域检测到req拉低后，拉低ack

这个协议虽然慢一点，但绝对可靠。我在一个多层级Switch的管理接口上用了这个方案，从来没出过问题。

4.4 复位信号的跨时钟域处理

复位信号比时钟信号更麻烦。为什么？因为复位需要异步断言、同步释放。

我见过一个团队，直接把全局复位接到所有触发器的异步复位端。结果复位释放时，不同时钟域的触发器在不同时刻退出复位，导致状态机跑飞。

正确的做法是：

// 每个时钟域独立的复位同步器
module reset_sync (
    input  wire clk,
    input  wire rst_n_async,
    output wire rst_n_sync
);

reg [2:0] rst_n_meta;

always @(posedge clk or negedge rst_n_async) begin
    if (!rst_n_async) begin
        rst_n_meta <= 3'b0;
    end else begin
        rst_n_meta <= {rst_n_meta[1:0], 1'b1};
    end
end

assign rst_n_sync = rst_n_meta[2];

endmodule

这个代码里，复位是异步拉低的，但释放时是同步的。三级寄存器链能有效防止亚稳态。

4.5 实际项目中的避坑指南

最后，分享几个我在项目中踩过的坑：

• 时钟门控的陷阱：我曾经在时钟门控后面直接做跨时钟域同步，结果门控关闭时同步器收不到时钟，数据一直卡在中间。后来我把同步器放在门控前面，问题解决。
• PLL锁定时间：多层级Switch里，每个端口的PLL锁定时间可能不一样。复位释放前，一定要等所有PLL都锁定。我一般用一个计数器，等所有PLL的lock信号都拉高后再等100us。
• 仿真与实物的差异：仿真时异步FIFO跑得好好的，上板就丢数据。后来发现是仿真库里的异步FIFO模型太理想，没有考虑实际工艺偏差。建议用Foundry提供的硬宏，别自己写。

嗯，这些经验都是真金白银换来的。下次你设计多层级Switch时，照着这个思路来，能少走不少弯路。