传统数据中心将资源集中于一点，而分布式计算则利用众多互连服务器或节点分散任务。在此模式下，工作负载通过高速、低延迟网络连接分配至不同机器。对于生成式AI应用(如ChatGPT、BERT、DALL-E)及大型复杂模型的训练，计算资源需求巨大。

随着大数据和模型规模不断壮大，分布式计算依赖于互连节点以加速训练。在这个过程中，交换机确保消息迅速传递至所有节点，尤其在大型数据中心和高强度工作负载中，降低延迟至关重要。

此外，网络的扩展性和处理大量节点的能力对于大型AI模型的训练和海量数据处理不可或缺。交换机在此过程中发挥着确保高效网络连接和数据传输的重要作用。

交换机的关键性能指标包括：交换带宽、延迟、抖动和兼容性。交换带宽反映了其数据交换能力，而低延迟对于实时应用和高速网络至关重要。抖动是指数据包到达时间的变异性，抖动越小，数据传输稳定性越高。兼容性则衡量交换机与其他网络设备和协议的互操作性，确保系统无缝连接。

以太网交换机的核心性能指标由其芯片决定，这颗芯片主要包括交换核心、接口控制器和内存。作为数据包的预处理与转发专家，交换芯片通过PCIE线与CPU紧密连接，接收中央处理器指令，从而高效完成数据转发任务。

交换机芯片成本高昂，占主营业务直接材料成本的40%。其他组成部分包括电源、结构件、PCB、网络变压器和被动元器件等。

1、InfiniBand网络

InfiniBand是一种为高性能计算设计的互连标准，旨在解决集群中数据传输的瓶颈。其主要特点包括高带宽、低延迟和高网络可靠性。 InfiniBand起源于1999年，由未来I/O和下一代I/O(NGIO)两种竞争设计合并而成，并由英特尔、Sun Microsystems、Dell等公司推动。在2000年，InfiniBand架构规范1.0版发布，最初目标是替代PCI总线、以太网、集群互连和光纤通道。

InfiniBand凭借其显著的高带宽及低延迟特性而备受瞩目，目前支持FDR 56Gbps、EDR 100Gbps、HDR 200Gbps以及NDR 400Gbps/800Gbps(通过4x链路宽度连接)。

InfiniBand的发展历程充满挑战和机遇，最终在高性能计算领域找到了增长点。随着英特尔和微软的退出，Mellanox逐渐成为主要推动力，通过一系列并购和技术整合，占据了全球InfiniBand市场的80%。

InfiniBand的崛起得益于RDMA技术的关键作用。传统TCP/IP中，数据从网卡传输到核心内存，再传输到应用存储空间，这一过程涉及多次内存拷贝，增加了数据流长度、CPU负担和传输延迟。

RDMA技术，内核旁路机制让应用能直接与网卡进行数据读写，将服务器内部数据传输延迟降至接近1微秒。此外，内存零拷贝特性让接收端无需经过核心内存，大大减轻了CPU的负担，从而提高了CPU效率。

2、以太网网络

以太网是计算机网络中最广泛使用的技术，也是互联网的基础技术。自诞生以来，以太网在不断改进，支持更高的比特率、更多的节点和更长的链路距离的同时保持良好的向后兼容性。以太网在很大程度上取代了令牌环、FDDI和ARCNET等其他有线LAN技术，成为企业、运营商、无线网络和互联网的主导技术。

- 以太网是一种局域网技术，它使用CSMA/CD协议来避免冲突。

- 以太网使用IEEE 802.3标准，该标准定义了物理层和数据链路层。

- 以太网可以使用多种传输介质，例如电缆、光纤和无线信号。

以太网的设计初衷是实现局域网内的节点间通信，其特点在于兼容性强、成本较低、灵活性好。它利用MAC地址标识节点，通过ARP协议映射至IP地址，并在网络层使用IP协议路由，ICMP协议进行错误和控制消息报告。从10Mbps发展至100GE、200GE、400GE等高速标准，适应了网络带宽增长。尽管缺乏流控机制可能引起拥塞，以太网基于TCP/IP协议，允许接入互联网的设备进行数据传输 。

RoCE是一种数据中心网络技术，它将RDMA技术与以太网技术结合起来，以实现高速、低延迟、高效的数据传输。 RoCE技术利用以太网的高带宽和广泛应用的优势，同时又避免了TCP/IP协议栈的高开销，从而实现了低延迟、高吞吐量的数据传输。

RoCE分为v1和v2版本，v1在二层以太网实现RDMA,v2通过UDP/IP在三层网络实现。V2利用UDP封装提高传输效率，实现内存直接访问。数据中心应用需无损以太网络和支持RoCE的网卡，以确保零丢包和低延迟。

3、IB与以太网技术指标对比

以太网与InfiniBand在高性能计算和数据传输领域各有千秋。总体而言，InfiniBand在带宽、延迟和网络稳定性方面独领风骚，适用于对高性能通信有苛刻要求的环境；而以太网凭借其较低的成本和广泛的兼容性，在终端设备互联和普通网络应用中更具竞争力。

InfiniBand为您提供了更高的带宽和更低的延迟，同时还具备高度的网络稳定性和简单的组网方式。相较之下，以太网在价格和终端设备互联方面更具优势，但在处理复杂业务和大规模组网时可能会增加配置复杂性和成本。

InfiniBand在HPC领域凭借其高带宽、低延迟和高度可扩展性脱颖而出，确保了数据流的快速传输和网络性能的稳定。然而，以太网在AI网络中更具优势。相较于InfiniBand,以太网价格更为亲民，且多功能性和与各类设备的兼容性使其成为预算考虑的关键因素。值得一提的是，随着ROCE和无损以太网等技术的不断进步，以太网在数据传输、流量管理和错误检测等方面表现卓越。

Arista Networks首席执行官Jayshree Ullal表示，现实中以太网的性能优于InfiniBand约10%。预计到2028年，45%的AI生成流量将运行在以太网上，进一步巩固其在AI网络领域的地位。开放的生态系统和众多供应商选择使以太网在AI训练和推理方面更具竞争力和潜力。

2023年7月，Linux基金会隆重推出超级以太网联盟！AMD、Arista、Broadcom、思科等领先企业共襄盛举，致力于优化以太网性能，满足HPC和AI领域对低延迟和可扩展性的高度需求。首要任务是制定与开发超以太网传输(UET)协议，助力HPC和AI工作负载的飞速发展。

4、IB vs 以太网：巨头趋势

英伟达瞄准以太网市场，预计每年为其网络部门带来20-30%的增长。市场投资重点集中在光模块和以太网产业链上。未来，英伟达将持续推出高性能以太网交换机，满足大规模GPU集群需求，并进一步加强以太网技术在AI推理领域的应用。

英伟达Spectrum-X800,卓越之选，拥有256端口，每秒传输51.2Tbps数据。2025年，我们将推出升级版Spectrum-X800 Ultra,拥有512个端口；2026年，Spectrum-X1600将问世，专为数百万GPU设计。

英特尔的以太网产品线涵盖了从网络适配器到高级交换机的各种设备。通过持续投资和创新，英特尔推出了多款先进的以太网交换机和网络适配器，如Intel ® Ethernet 800系列，支持更高的带宽和更低的延迟，以满足不断增长的网络需求 。

博通，全球以太网芯片领军者，专注于高性能以太网领域。尽管未大规模涉足IB市场，但其在以太网交换机和网络适配器方面占据重要地位。近年来，博通不断创新，推出如Tomahawk和Trident系列交换芯片等高性能产品，广泛应用于数据中心与云计算。博通的产品支持高达400Gbps的网络速度，满足现代数据中心对高带宽与低延迟的需求。

华为公司在以太网领域有所涉足，但并未将其作为主要发展方向。相比之下，华为更加强调以太网技术的发展。华为推出了多款高性能以太网交换机，如CloudEngine系列，这些产品支持大规模数据中心和AI应用 。

中兴：与华为相似，其并非IB领域的主攻方向。专注于以太网技术的研发与推广，覆盖企业及运营商市场，提供从接入层到核心层的全面解决方案。已涉足800G、400G、100G等多种数据中心交换机产品。

-对此，您有什么看法见解？-

-欢迎在评论区留言探讨和分享。-