4、RoCE网卡选型方法论：业务场景匹配、带宽与PCIe带宽计算、端口密度规划、功耗与散热考量

网卡选型这事儿，说简单也简单，说复杂真能让人掉几根头发。我见过不少项目，前期随便挑个网卡，结果上线后要么带宽跑不满，要么散热扛不住，最后还得返工。今天我就把这几年的经验掰开揉碎，跟你聊聊RoCE网卡选型到底该怎么搞。

4.1 业务场景匹配：先搞清楚你要干什么

选网卡之前，我习惯先问三个问题：

• 你的业务是存储型还是计算型？
• 延迟敏感还是吞吐量敏感？
• 现有网络架构是25G、100G还是400G？

举个例子。我在一个AI训练集群项目中遇到过，客户上来就要买400G网卡，觉得越快越好。结果一分析，他们的GPU互联走的是NVLink，网卡只负责数据导入导出，100G完全够用。多花的钱够买好几台交换机了。

具体来说：

• AI/深度学习训练：需要高带宽、低延迟，建议100G/200G起步，支持RoCEv2
• 分布式存储（Ceph、GPFS）：吞吐量优先，25G/100G均可，注意多队列支持
• 高频交易/金融：延迟是命根子，必须选硬件卸载能力强的，比如Mellanox ConnectX系列
• 视频转码/媒体处理：带宽需求大，但对延迟容忍度高，性价比优先

4.2 带宽与PCIe带宽计算：别让PCIe成为瓶颈

这个坑我踩过。有一次给客户配了100G网卡，结果实际吞吐只有60G。查了半天，发现PCIe插槽是Gen3 x8，理论带宽才64Gbps，加上开销，跑满100G根本不可能。

所以，选网卡前一定要算清楚这笔账。

4.2.1 网卡带宽 vs PCIe带宽匹配公式

网卡标称带宽是双向的，比如100G网卡，收+发各100G。但PCIe是双向全双工的，所以计算时要小心。

PCIe理论带宽 = 通道数 × 每通道速率 × 编码效率

Gen3 x16：16 × 8GT/s × (128/130) ≈ 126 Gbps
Gen4 x16：16 × 16GT/s × (128/130) ≈ 252 Gbps
Gen5 x16：16 × 32GT/s × (128/130) ≈ 504 Gbps

嗯，这里要注意：实际可用带宽还要打折扣，大概85%-90%。

举个例子：

• 100G网卡（双向200G）→ 需要Gen3 x16（约113G可用）→ 不够！→ 必须Gen4 x8或Gen3 x16双口
• 200G网卡（双向400G）→ 需要Gen4 x16（约227G可用）→ 勉强够，建议Gen5 x8

4.2.2 多网卡场景下的PCIe规划

如果你要插多张网卡，PCIe通道分配就更关键了。我记得有个存储项目，一台服务器插了4张100G网卡，结果CPU的PCIe通道不够，只能降速跑。最后不得不换平台。

建议：

• 先查CPU支持的PCIe通道总数（比如Intel Xeon Scalable最多64条）
• 减去NVMe SSD、GPU等占用的通道
• 剩下的才是网卡能用的

4.3 端口密度规划：一个端口还是多个端口？

端口密度这事儿，说白了就是「一张网卡上做几个口」。常见的有单口、双口、四口。

我个人习惯这样选：

• 单口网卡：适合边缘节点、管理网络，成本低
• 双口网卡：最常用，可以做bonding或者连两台交换机做冗余
• 四口网卡：适合高密度场景，比如存储节点，但散热压力大

端口密度规划还要考虑交换机端口数量。比如你有40台服务器，每台双口100G，那就需要80个交换机端口。如果交换机是32口100G的，至少需要3台。

4.4 功耗与散热考量：别小看这几瓦

很多人选网卡只看性能，不看功耗。但实际部署时，功耗和散热往往决定你能不能稳定运行。

来看一组典型数据：

网卡类型	典型功耗（W）	散热方式	备注
25G 单口	8-12	被动散热	基本无压力
100G 双口	15-25	被动/主动	注意机箱风道
200G 双口	25-35	主动散热（带风扇）	噪音会变大
400G 双口	35-50	主动散热	必须考虑机箱散热能力

你想想看，一台服务器插4张100G网卡，光网卡就吃掉100W。再加上GPU、CPU，整机功耗轻松超过1000W。这时候散热设计跟不上，降频、重启都是家常便饭。

另外，主动散热网卡虽然效果好，但噪音大。如果是办公区部署，建议选被动散热+机箱风扇的方案。

4.5 知识体系总览

说了这么多，我把整个选型方法论画成了一张图，方便你对照使用。

这张图把四个维度串起来了。你选型时，按这个框架走一遍，基本不会漏掉关键点。

---

公众号:蓝海资料掘金营，微信deep3321