4. 网络层设计：TCP/IP优化、UDP组播应用、RDMA技术选型、网络拓扑设计
网络层，说白了就是交易网关的血管。数据能不能跑得快、跑得稳，全看这一层怎么设计。我做了十几年金融系统，见过太多因为网络问题导致的悲剧——行情慢了半拍，交易指令丢了包，甚至整个机房因为网络风暴瘫痪。嗯，今天咱们就把这块掰开揉碎了讲。
4.1 TCP/IP优化：别让协议拖后腿
很多人觉得TCP/IP是成熟协议，拿来就用。其实不然。在金融交易场景下，默认的TCP配置简直就是灾难。
我个人的习惯是，上来先改三样东西：
- TCP_NODELAY：关闭Nagle算法。Nagle会把小包攒成大包再发，这在交易场景下会引入不可接受的延迟。你想想看，一个订单指令才几十个字节，等它攒够MTU再发，黄花菜都凉了。
- SO_RCVBUF / SO_SNDBUF：调大收发缓冲区。我在项目中遇到过，默认的8KB缓冲区在高吞吐场景下频繁触发背压，导致吞吐量上不去。一般建议调到1MB以上。
- TCP_QUICKACK：快速确认。默认的延迟确认策略会等200ms才发ACK，这在低延迟交易中是不可接受的。
核心配置示例（Linux）：
# sysctl 参数优化
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_slow_start_after_idle = 0避坑指南：我曾经在某个期货交易所项目里，因为没关掉tcp_slow_start_after_idle，导致空闲连接恢复后前几个包延迟飙升到50ms。查了两天才找到原因，后来直接把这个参数置0，问题解决。
4.2 UDP组播应用：行情分发的王道
为什么金融行情都用UDP组播？说白了，TCP是点对点的，100个客户端就要发100份数据。组播不一样，一份数据发出去，所有订阅者都能收到。这在行情数据这种一对多的场景下，效率差距是数量级的。
UDP组播的核心要点：
- IGMP协议：客户端加入组播组时，需要发送IGMP报告。我建议用IGMPv3，支持源特定组播，可以过滤掉不需要的数据源。
- 丢包处理：UDP本身不保证可靠传输。实际项目中，我们会在应用层做序列号校验和重传请求。比如每包带一个递增的seq_id，客户端发现跳号就发起重传。
- 流量控制：组播没有TCP那样的拥塞控制。如果发送端太快，接收端来不及处理，就会丢包。我一般会在发送端做速率限制，比如每秒不超过10万包。
注意：UDP组播在跨网段时，需要路由器支持PIM协议。否则组播包会被丢弃。我曾经在跨机房部署时踩过这个坑，后来老老实实配了PIM-SM。
4.3 RDMA技术选型：极致低延迟的利器
RDMA（Remote Direct Memory Access）是近几年金融圈的热门技术。它允许数据直接从一台机器的内存搬到另一台机器的内存，完全绕过CPU和内核。延迟可以做到1-3微秒，比传统TCP的10-50微秒低了一个数量级。
RDMA的三种实现方式：
| 技术 | 延迟 | 成本 | 适用场景 |
|---|---|---|---|
| InfiniBand | <1μs | 高 | 核心交易引擎互联 |
| RoCE v2 | 1-3μs | 中 | 行情分发、订单路由 |
| iWARP | 3-5μs | 低 | 存量TCP网络升级 |
我个人的选型建议：
- 如果预算充足，核心交易链路用InfiniBand，延迟最低，但需要专用交换机和网卡。
- RoCE v2是性价比之选，跑在标准以太网上，但需要PFC（优先级流控）保证无损传输。
- iWARP兼容性好，但性能不如前两者，适合过渡方案。
RDMA编程示例（libibverbs）：
// 创建QP（队列对）
struct ibv_qp *qp = ibv_create_qp(pd, &qp_init_attr);
// 注册内存区域
struct ibv_mr *mr = ibv_reg_mr(pd, buf, size, IBV_ACCESS_LOCAL_WRITE);
// 发送数据
struct ibv_send_wr wr = {0};
wr.wr_id = 1;
wr.opcode = IBV_WR_SEND;
wr.send_flags = IBV_SEND_SIGNALED;
ibv_post_send(qp, &wr, &bad_wr);避坑指南：我曾经在RoCE v2部署时，发现延迟忽高忽低。查了半天，原来是交换机没开PFC，导致丢包重传。开了PFC之后，延迟稳定在2微秒以内。记住，RoCE必须配合无损网络。
4.4 网络拓扑设计：别让架构成为瓶颈
网络拓扑设计，说白了就是决定设备怎么连。我见过最蠢的设计，是把所有服务器串成一串，结果一台交换机挂了，整个网络瘫痪。
金融交易网关的典型拓扑：
- Spine-Leaf架构：这是目前的主流。Spine层负责高速转发，Leaf层连接服务器。任何两台服务器之间的跳数不超过3跳，延迟可控。
- 冗余设计：所有链路必须双活或主备。我建议用MLAG（多链路聚合）实现双活，一台交换机挂了，流量自动切换到另一台。
- 网络隔离：交易网、行情网、管理网必须物理隔离。我在项目中遇到过，因为管理网流量突发，导致交易网丢包，差点酿成事故。
拓扑设计的关键指标：
- 延迟：端到端延迟必须小于10微秒（含交换机转发延迟）。
- 带宽：单链路至少25Gbps，建议100Gbps起步。
- 可用性：任何单点故障不影响业务，切换时间小于1秒。
注意：不要为了省钱用单台核心交换机。我曾经见过一个交易所，核心交换机挂了，整个交易停了半小时。后来他们花了三倍的钱重建网络。该花的钱不能省。
好了，网络层设计就聊到这儿。记住一句话：网络是交易系统的命脉，设计时多花一分心思，上线后少流一滴眼泪。