3、PCIe链路调优：PCIe Gen3/Gen4链路参数、链路宽度与速率配置、链路训练与均衡、RC与EP端优化
好，咱们进入PCIe链路调优这个硬核话题。说实话，在嵌入式系统里折腾NVMe，PCIe链路往往是整个性能瓶颈的“七寸”所在。我见过太多项目，CPU算力够、SSD也够快，结果跑分就是上不去，一查——PCIe链路没调好。
这一章，咱们就掰开揉碎了聊聊PCIe Gen3和Gen4的链路参数、宽度与速率配置、链路训练与均衡，以及RC（Root Complex）和EP（Endpoint）端的优化。嗯，都是实战中踩过的坑。
3.1 PCIe链路参数：Gen3与Gen4的核心差异
先搞清楚一件事：PCIe Gen3和Gen4，不只是速率翻倍那么简单。Gen3的单通道速率是8 GT/s，Gen4是16 GT/s。但速率高了，信号完整性（SI）的挑战就大了很多。
关键参数对比：
| 参数 | PCIe Gen3 | PCIe Gen4 |
|---|---|---|
| 单通道速率 | 8 GT/s | 16 GT/s |
| 编码方式 | 128b/130b | 128b/130b |
| 有效带宽（x4） | 约3.94 GB/s | 约7.88 GB/s |
| 均衡（Equalization） | 可选 | 强制 |
| 参考时钟抖动要求 | 较宽松 | 更严格 |
我个人习惯，在设计初期就根据目标SSD的规格确定Gen3还是Gen4。别想着“我留个Gen4兼容，以后升级”——PCB走线、阻抗控制、AC耦合电容的位置，这些在Gen4下都得重新算。
我记得有一次，客户拿着Gen4的SSD插在Gen3的板子上，跑出来的性能还不如中端Gen3盘。为什么？因为链路协商降速了，但均衡参数没跟上，导致误码率升高，重传频繁。说白了，链路没稳定。
3.2 链路宽度与速率配置：别让x4跑成x2
NVMe SSD通常使用PCIe x4接口。但实际项目中，链路宽度可能因为硬件设计或信号质量问题降级。比如，你明明画了x4的走线，结果因为一对差分线阻抗不连续，链路协商成了x2。
怎么配置？在RC端，可以通过BIOS或设备树强制指定链路宽度和速率。举个例子，在U-Boot或Coreboot中，你可以这样设置：
// 强制PCIe控制器以Gen3 x4模式训练
pcie_controller_config {
max_link_speed = 3; // Gen3
max_link_width = 4; // x4
target_link_speed = 3;
target_link_width = 4;
};但要注意，强制配置不等于链路一定能跑上去。如果硬件信号质量不行，强制Gen3 x4会导致链路训练失败，系统直接挂掉。我建议的做法是：先让链路自动协商，然后通过读取链路状态寄存器确认实际协商结果。
实战技巧：在Linux下，用lspci -vvv查看PCIe链路状态。重点关注LnkSta字段，它会显示当前速率和宽度。如果显示“Speed 8GT/s, Width x2”，说明你的x4链路降级了。
为什么会降级？原因很多。可能是PCB走线过长，可能是连接器接触不良，也可能是参考时钟的抖动太大。我曾经在一个项目里，因为用了便宜的PCIe插槽，导致x4链路死活只能跑x1。换了插槽，问题解决。嗯，硬件选型不能省。
3.3 链路训练与均衡：Gen4的必修课
链路训练（Link Training）是PCIe设备上电后的“握手”过程。Gen3和Gen4的训练流程基本一致，但Gen4多了一个强制均衡（Equalization）阶段。
均衡说白了，就是发送端和接收端互相调整信号参数，补偿高频损耗。Gen4的16 GT/s速率下，信号衰减非常严重，不均衡的话，眼图根本睁不开。
均衡过程分为三个阶段：
- Phase 1：发送端发送训练序列，接收端测量信号质量。
- Phase 2：接收端反馈均衡系数，发送端调整预加重（Pre-emphasis）和去加重（De-emphasis）。
- Phase 3：双方确认均衡完成，进入正常数据传输。
我遇到过最头疼的问题，是Gen4 SSD在某个RC上均衡失败，链路反复训练，系统日志里全是“PCIe link retraining”的警告。后来发现是RC端的均衡算法太保守，接收端要求的均衡系数超出了发送端的能力范围。
避坑指南：我曾经在调试Gen4链路时，忽略了PCB上的AC耦合电容容值。Gen4要求AC耦合电容在75nF到200nF之间，而我用了100nF的电容，但电容的寄生参数太大，导致高频信号衰减严重。换成高质量的低寄生电容后，均衡一次通过。
如果你在调试中遇到链路训练失败，建议先降速到Gen3验证硬件是否正常。如果Gen3能稳定工作，再逐步提升到Gen4，同时用示波器抓取眼图，观察信号质量。
3.4 RC与EP端优化：两端都要管
PCIe链路是双向的，RC和EP两端都需要优化。很多人只盯着SSD（EP端），忽略了RC端的配置，结果性能大打折扣。
3.4.1 RC端优化
RC端通常是SoC或CPU内部的PCIe控制器。优化点包括：
- Max Payload Size (MPS)：建议设置为512字节或1024字节。Gen4下，更大的MPS能减少TLP开销，提升吞吐量。
- Max Read Request Size (MRRS)：建议设置为4096字节。这决定了RC一次能发起的读请求大小，对顺序读性能影响很大。
- 中断配置：使用MSI-X而不是传统的INTx中断。MSI-X能减少CPU中断开销，提升IOPS。
我记得在一个项目中，RC端的MPS默认只有128字节，导致NVMe的4KB随机读性能只有标称值的60%。改成512字节后，性能直接翻倍。你想想看，128字节的MPS，一个4KB请求要拆成32个TLP，效率能高吗？
3.4.2 EP端优化
EP端就是NVMe SSD本身。虽然固件是SSD厂商写的，但作为系统集成方，你可以在驱动层面做一些优化：
- 提交队列（SQ）和完成队列（CQ）深度：建议设置为1024或2048。太浅会导致CPU频繁轮询，太深会占用过多内存。
- 仲裁机制：如果SSD支持，使用加权轮询（WRR）或严格优先级（Strict Priority）仲裁，确保高优先级IO不被低优先级IO阻塞。
- 电源状态管理：在性能测试时，禁用ASPM（Active State Power Management）。ASPM虽然省电，但会增加延迟，降低吞吐量。
一个小技巧：在Linux下，可以通过nvme set-feature命令动态调整SQ深度和仲裁机制，不需要重启系统。调试时非常方便。
3.5 实战：链路调优的检查清单
最后，我整理了一份链路调优的检查清单，供你在项目中参考：
- 硬件检查：PCB走线阻抗（85Ω或100Ω）、AC耦合电容容值、连接器质量。
- 链路协商：确认实际协商的速率和宽度，与预期一致。
- 均衡调试：如果Gen4链路不稳定，尝试调整RC端的均衡系数或降速到Gen3验证。
- MPS/MRRS配置：设置为最优值（MPS=512或1024，MRRS=4096）。
- 中断优化：确保使用MSI-X，并合理分配中断亲和性。
- 电源管理：性能测试时禁用ASPM和L1 Substates。
嗯，PCIe链路调优是个细致活，但只要你掌握了这些核心参数和调试方法，大部分问题都能迎刃而解。下一章，咱们聊聊NVMe队列与中断的优化，那又是另一个精彩的话题。