RDMA,即远程直接内存访问,是一种让数据绕开CPU直接在两台机器的内存之间传输的技术。传统的网络传输需要数据先经过操作系统和CPU多次拷贝,每一跳都带来延迟和开销。RDMA则允许网卡直接把数据写入对端机器的内存,全程不需要CPU参与搬运,从而把网络延迟从毫秒级降到微秒级,同时大幅降低CPU的负担。在大规模分布式计算的场景下,这种性能差距会被急剧放大。
RDMA对丢包极其敏感,传统以太网在拥塞时靠丢包来缓解压力,重传一次就可能让RDMA的性能优势大打折扣。因此,承载RDMA的网络必须做到「无损」,即通过流量控制机制避免拥塞和丢包。业界为此发展出一套关键技术:优先级流控PFC可以对不同队列的流量分别进行暂停控制,显式拥塞通知ECN则让网络在拥塞发生前就提前感知并降速,配合合适的拥塞控制算法,让网络在接近满负荷运行时依然保持零丢包。
要做到真正的无损,还需要从网络拓扑和配置层面精心设计。数据中心的网络架构、交换机的缓冲区大小、路由策略都需要为RDMA场景专门优化。这背后是一整套系统工程,而不仅仅是把网卡换掉那么简单。
在大模型时代,算力规模动辄达到万卡级别,节点之间的通信效率直接决定了训练速度的上限。如果把每块GPU比作一名工人,那么网络就是工人之间传递信息的通道,通道越顺畅,整体协作效率越高。RDMA让这些GPU能够以近乎实时的速度交换数据,让庞大的训练任务得以在合理时间内完成。
随着模型规模持续增长,通信开销在训练总耗时中的占比越来越高,无损RDMA网络的重要性也愈发凸显。可以预见,在相当长一段时间里,RDMA与无损网络都将是高端算力集群的核心基础设施,它的每一次优化,都会直接转化为人工智能训练效率的提升。