高负荷下的人工智能GPU:平均寿命仅1-3年

科闻社 2024-10-29 15:37:20

在当今人工智能(AI)和高性能计算(HPC)日益依赖的环境中,图形处理单元(GPU)已经成为数据中心的重要计算资源。然而,最近的报告指出,这些高价GPU在实际使用中的寿命可能仅为1到3年,给AI行业的经济带来了潜在的影响。

根据Tech Fund引用的一位来自Alphabet的高级专家的观点,数据中心GPU的寿命受到其利用率的极大影响。现代数据中心中,GPU主要用于执行AI训练和推理等高强度计算任务。在这种情况下,GPU往往处于高负荷状态,导致其磨损速度远超其他硬件组件。云计算服务提供商(CSP)在运营中发现,GPU的利用率通常维持在60%至70%之间,这种高负荷的工作环境进一步缩短了GPU的预期寿命。

在这样的利用率下,GPU的平均寿命一般在1到2年之间,最多可延长至3年。这一观点虽然尚未得到充分验证,但由于现代GPU的功耗通常达到700W或以上,确实给硅片带来了巨大的压力,这使得这种看法具备一定的可信度。

为了延长GPU的使用寿命,降低其利用率被认为是一种有效的方法。然而,这样的做法会导致GPU的贬值速度减缓,进而影响到资本回收的效率,这对于大多数商业运营来说并不是理想的选择。因此,许多云服务提供商更倾向于维持GPU的高利用率,以实现最佳的投资回报。

Meta在早些时候进行的一项研究表明,他们在训练Llama 3 405B模型时,使用了由16,384个Nvidia H100 80GB GPU组成的集群。尽管该集群的模型浮点运算利用率(MFU)约为38%,但在54天的训练过程中,发生了419次不可预见的故障,其中148次(约30.1%)是由各种GPU故障引起的,包括NVLink故障,而72次(约17.2%)则由HBM3内存故障引起。这表明,即使在相对较低的利用率下,GPU也面临着显著的故障风险。

Meta的研究结果显示,若以其故障率为依据,H100 GPU的年度故障率约为9%,而在三年内的年度故障率则约为27%。然而,随着GPU服役时间的延长,故障的频率可能会进一步增加,这给运营带来了不小的挑战。

随着AI和HPC应用的不断发展,数据中心对GPU的需求只会持续增长。然而,GPU的短寿命周期却使得数据中心的运营维护面临严峻考验。为了应对这一挑战,行业亟需开发更加耐用的GPU架构,寻找有效的管理和延长GPU使用寿命的方法。

与此同时,数据中心运营商还需要重新评估其硬件更新策略,以适应不断变化的技术需求和日益增长的计算负载。以传统三年折旧期为基础的资本投资计划已显得不再现实,企业需转向短期投资回收计划,以应对可能的现金流压力。

*免责声明:以上内容整理自网络,仅供交流学习之用。如有内容、版权问题,请留言与我们联系进行删除。

0 阅读:124
评论列表
  • 2024-10-30 01:58

    我1660玩吃鸡2000+小时 平均占用率95%以上 依旧耐操[得瑟]

  • 2024-11-01 08:24

    机房的环境还不如家用,机器多,散热难度大,24小时不间断的高负载运行,一年估计就抵家用5年的损耗