我见过太多这样的情况：
单台GPU服务器测试时性能很好，GPU占用率也漂亮；一旦上到多机训练，吞吐开始不稳定，GPU利用率忽高忽低，模型训练时间明显被拉长。
很多人第一反应是怀疑GPU不够强、驱动没装好，或者框架没调优。但在实际排查中，真正的瓶颈往往出现在两个地方：网络带宽，以及GPU到网卡之间的PCIe通道。
简单说一句你可以先记住的话：
在多GPU、多节点场景下，网络和PCIe配置，往往比GPU型号更早成为性能上限。
在谈万兆之前，先搞清楚你的真实使用场景
在我看来，部署GPU服务器前最重要的不是“选多快的网”，而是你先想清楚自己在跑什么任务。
你可以先问自己两个问题：
- 你主要是单机多卡，还是多机协同训练？
- 你的任务是偏推理，还是偏大规模训练？
如果是单机多卡，重点更多在节点内通信，比如PCIe或NVLink。
但只要你进入多机训练阶段，节点之间的网络和数据路径，就会迅速放大问题。
很多团队觉得“我只是加了几台机器”，实际上却是通信模型彻底变了。
万兆网络真的够用吗？别只看“10G”这个数字
万兆网络（10GbE）几乎是现在GPU服务器的起步配置，但“有万兆”和“用好万兆”完全是两回事。
从标准角度看，10GbE的线路速率在物理层可以达到10.3125Gbit/s，但这是理想状态。落到真实环境里，还要经过以太网帧、IP、TCP等多层协议，应用层能稳定用到的带宽会进一步缩水。
更重要的是，在分布式训练中，稳定性和延迟抖动往往比峰值带宽更致命。
常见的万兆接法，实际体验差别很大
如果你正在选万兆方案，通常会遇到这几种：
| 万兆形式 | 适合场景 | 实际体验要点 |
|---|---|---|
| 10GBASE-T | 机房布线成熟、距离较远 | 维护方便，但延迟和功耗偏高 |
| SFP+ DAC | 同机柜短距离 | 成本低、延迟低，线长有限 |
| SFP+ 光模块 | 跨机柜或更远 | 成本与兼容性要提前确认 |
从实际部署经验看，如果你的GPU节点在同一机柜，SFP+ DAC或AOC几乎是最稳妥的选择。不仅延迟低，也为未来升级25G、100G留了空间。
什么情况下万兆还能“撑一撑”
一个相对务实的判断标准是：
- 2–4台节点、小规模训练、通信占比不高：万兆勉强可用
- 节点数继续增加，或者模型并行度高：万兆很容易先成为瓶颈
我通常不建议一开始就“必须百G”，但会强烈建议你：
把万兆当成过渡方案来规划，而不是最终形态。
为什么网络没跑满，GPU却已经在等数据
这是很多人最困惑的地方：
iperf测试看着正常，GPU训练却还是慢。
原因往往不在“网线”，而在GPU到网卡之间的PCIe通道。
数据在集群中流动时，并不是直接从GPU“飞”到交换机，而是要经过一条完整路径：
GPU显存 → PCIe → CPU或PCIeSwitch → 网卡 → 网络 → 对端
只要这条路径中某一段被限制，整个通信就会被拖慢。
PCIe通道不是参数表里的摆设
很多人只记得“这是PCIe4.0”，却忽略了更关键的问题：
- GPU实际跑在x16还是x8？
- 网卡占了多少lane？
- GPU和网卡是不是在同一NUMA节点？
不同代际PCIe的带宽差异非常明显。以常见配置为例：
| PCIe规格 | 单向理论带宽 |
|---|---|
| PCIe3.0 x16 | ≈15.75GB/s |
| PCIe4.0 x16 | ≈31.5GB/s |
| PCIe5.0 x16 | ≈63GB/s |
如果你的GPU被迫降到x8，或者GPU与网卡跨CPU通信，再快的网络也救不了整体效率。
一张图理解GPU集群的网络与内部结构
从部署角度，我通常建议至少在逻辑上区分三类网络：
- 管理网络
- 训练网络
- 存储网络
即便物理上复用，也要在设计上有清晰边界。
混用网络最常见的后果就是：训练过程中出现难以复现的抖动。
在单机内部，你更需要关心的是GPU、网卡与CPU之间的PCIe拓扑关系，而不是单纯的“插满卡”。
RDMA和RoCE是不是必须上？
这是新手最常问的问题之一。
我的建议一直很保守：
先把TCP模式跑稳定，再考虑RDMA。
RoCE和GPUDirectRDMA确实能降低CPU占用、减少拷贝，但它们对交换机、拥塞控制和网络调优的要求更高。一旦配置不到位，问题反而更难排查。
对于刚开始部署万兆GPU集群的团队，稳定性往往比极限性能更重要。
部署前可以直接照抄的检查清单
在和服务器商或托管商沟通时，你至少应该确认这些问题：
网络层面
- 网卡是单口还是双口？是否支持未来升级
- 交换机是否支持VLAN和链路聚合
服务器内部
- GPU实际PCIe代际和lane数
- 网卡占用的PCIe规格
- 是否能保证GPU与网卡在同一NUMA节点
软件与通信
- NCCL是否能正确识别拓扑
- 是否支持GPU直连相关优化路径
如果你不想自己研究拓扑图，让Hostease直接给你一份明确的PCIe与网络配置说明，是最省时间的方式。
常见问题FAQ
Q：只有两台GPU服务器，也需要万兆吗？
如果只是轻量推理，千兆也能跑。但一旦进入多机训练，万兆几乎是起步线。
Q：万兆是不是等于10GB/s？
不是。10GbE是10Gbit/s，换算后大约是1.25GB/s量级，还要扣除协议开销。
Q：为什么换了更快的网卡，性能却没提升？
最常见原因是PCIe通道不足或拓扑不合理，GPU数据根本“挤”不到网卡。
写在最后：把网络当成“第二颗GPU”来看
在GPU集群里，网络不是配角，而是决定规模上限的核心组件。
我的经验是：
你越早把万兆网络和PCIe通道规划清楚，后面花在“性能为什么不对”的时间就越少。
如果你正在准备部署独立GPU服务器，不妨把这篇文章当作一份检查清单，直接和Hostease沟通你的训练规模、节点数量和未来扩展计划。把问题提前问清楚，比事后补救要轻松得多。
