为什么大模型训练卡在网络

训练一个千亿参数的大模型，往往需要成千上万张GPU协同工作。在分布式训练中，每完成一轮计算，各节点之间都要交换大量的梯度数据，任何一次网络延迟都会拖累整个集群的进度。传统TCP协议在传输数据时需要多次内存拷贝和操作系统调度，延迟高、CPU开销大，当GPU规模扩大后，通信时间占比越来越高，昂贵的算力资源大量空转。业界逐渐意识到，制约大模型训练效率的，除了算力本身，还有看不见的网络瓶颈。

RDMA如何绕过CPU直接搬数据

RDMA（远程直接内存访问）技术的核心，是让数据从一个节点的内存直接传输到另一个节点的内存，全程绕过操作系统和CPU的介入。这样一来，数据传输的延迟可以降到微秒级，CPU也得以腾出资源专注于计算。RDMA早期主要运行在专用的InfiniBand网络上，性能优异但生态相对封闭、成本较高。近年来，随着RoCE（融合以太网上的RDMA）技术的成熟，用户可以在标准的以太网硬件上获得接近InfiniBand的性能，门槛大幅降低，成为许多AI数据中心的主流选择。

无损网络与拥塞控制的配合

RDMA对丢包极其敏感，一次微小的丢包就可能触发重传，性能急剧下降。因此AI数据中心需要构建「无损网络」，核心是通过PFC（优先级流控）等机制避免缓冲区溢出导致的丢包，同时配合ECN显式拥塞通知，在拥塞发生时提前减速而不是等丢包后再补救。这需要交换机、网卡与上层调度算法的协同调优。对关注AI基础设施的从业者而言，理解RDMA与无损网络的关系，有助于在规划或采购算力集群时做出更合理的网络选型，避免「算力强、网络弱」的失衡局面，让昂贵的GPU真正跑满利用率。