极光大气模型比传统系统快5000倍

拥抱科技有未来 2024-07-19 10:40:33

风暴频率和强度的增加对全球各地的社区构成了巨大威胁。自1900年以来,气候变化使海洋变暖,海平面上升了6英寸多,暴风雨只会变得更加猛烈。1980年开始,大西洋3级或以上飓风的比例增加了一倍,这些飓风的产生概率是100年前的三倍。

通过减少人类排放到大气中的碳量来预防气候变化是解决这些问题的唯一真正办法。

微软最近的一个大气模型可能会帮助我们更好地为这些风暴做好应对准备。这个解决方案被称为极光(Aurora),它是第一个大规模的地球大气基础模型,可以处理大量的大气数据。

微软声称,Aurora对超过100万小时的气象和气候数据进行了训练,与数值综合预报系统相比,计算速度提高了5000倍。

微软研究院AI4Science的首席研究经理Paris Perdikaris接受采访让我们更多地了解这个系统。

Perdikaris说:“Aurora的结果表明,仅仅通过两个因素,仅仅增加数据集的多样性和模型的大小,你就可以提高准确性。”“无论是在预测典型天气事件,还是更重要的是,提高了极端天气事件的准确性。

让我们更深入地研究这个系统如何彻底改变我们的风暴预测和准备方法。

为什么是人工智能?

Perdikaris首先概述了目前科学家可以使用的两种天气预测模型。

首先,我们多年来使用的传统天气和气候模型旨在预测大气如何演变。利用物理原理,如质量和能量守恒定律,建立了一套控制方程。当这些方程式形成后,研究人员就会使用大型超级计算机来模拟解。

Perdikaris说:“为了生成10天的天气预报,超级计算机需要运行几个小时来做出预测。”“在这个过程中,需要一个叫做数据模拟的步骤,在这个步骤中,这些模拟器的输出被校准,以更接近我们收集的真实观察结果。这是一个漫长而昂贵的过程。”

从卫星到气象气球,科学家们收集了大量关于地球天气模式的数据。

第二类预测模型是基于人工智能(AI)的模型,Aurora属于这种模型。Perdikaris指出,地球是一个极其独特的系统,它被卫星、气象站、气象气球等全天候监测着。关于我们的星球有丰富的数据可供人工智能的探索和使用。这些系统可以利用这些信息,建立纯粹的数据驱动预测系统。他们没有直接利用大气动力学的物理方程,因此这些系统的预测速度非常快。

尽管Perdikaris提到,像Aurora这样的系统在训练阶段是昂贵的,因为它们需要了解过去十年的所有天气事件,但这种前期投入在未来会带来回报。

Perdikaris说:“一旦你训练了这个系统,现在在一秒钟内你就可以得到10天的预测,而传统的预测工具需要一台超级计算机运行几个小时才能得到。”“这是人工智能方法的主要优势和前景,即提高效率和计算速度。”

然而,还有第二个更微妙的优势。他指出,人工智能方法不知道用什么数据源来训练它们。科学家可以用模拟数据训练它们,但他们也可以用真实的观测数据训练——甚至是两者的结合,这被称为再分析数据。再分析数据反映了我们对大气最准确的理解,因为它们结合了基于物理的模型和实际观测的结果。

通过对这些机器学习模型进行再分析数据的训练,科学家最终得到的产品可以比纯粹基于物理的模型给出更准确的预测。

Aurora有何不同?

基于人工智能的大气模型相对于传统的基于物理模型的优势,那么Aurora比其他人工智能方法更优越吗?让我们将Aurora与谷歌DeepMind的GraphCast人工智能天气预报模型进行比较。

Aurora

13亿个参数

使用灵活的3D Swin Transformer 和基于3D感知器的编码器和解码器

可以在0.1°空间分辨率下工作(在赤道大约11平方公里)。

经过超过一百万小时的各种天气和气候模拟数据训练

GraphCast

600万个参数

使用图形神经网络架构

可以在0.25°空间分辨率下操作(在赤道大约28平方公里)。

接受ERA5再分析数据培训

乍一看,这里有一些明显的区别。Aurora的参数尺寸比GraphCast大得多,并且使用了3D Swin Transformer ,该Transformer 来自2D的移位窗口Transformer 概念。此外,Aurora的分辨率比GraphCast有了很大的提高。

在这些规格之上,微软的Aurora显示出了比GraphCast更好的性能。Aurora在94%的目标上优于GraphCast,在高层大气中比GraphCast提高了40%。更重要的是,Aurora在短周期和长周期内都有10-15%的改进。

让Aurora成功的主要区别之一是它的训练方式。微软表示,Aurora经过了超过100万小时的各种天气和气候模拟训练。另一方面,Perdikaris说GraphCast完全依赖于ERA5全球气候再分析数据集。

Perdikaris说:“GraphCast和所有其他人工智能系统主要是在单一数据集上进行训练的,它们的设计目的是处理单一的预测任务,即10天的天气预报。”“现在有了Aurora,我们试图调查我之前提到的假设,如果我们超越使用单一数据集来训练这些模型,会发生什么。”

Perdikaris继续说道:“对于Aurora,我们提出了这样一个问题:如果我们超越了ERA5数据集,会发生什么?这也是几个Tb(Tetabyte-1024G)或几十Tb的数据规模。如果我们开始使用像ERA5这样的再分析数据,同时预测数据分析数据,增加我们训练的数据来源的多样性,一直到几百T字节,甚至可能到1P(Petabyte-1024T)字节的训练数据,会发生什么呢?Aurora的结果表明,仅仅通过这两个因素——仅仅增加数据集的多样性和数量,以及模型的大小,你就可以提高预测典型天气事件的准确性,也可以提高极端事件的准确性。”

Perdikaris说,Aurora背后的许多设计原则都是为了适应不同的数据源、不同的变量和不同的分辨率。因此,团队需要一个非常灵活的模型架构来处理所有这些不同的数据流。

这种多样化的数据集是Aurora比综合预报系统快5000倍而GraphCast只快1000倍的原因之一。

Aurora先进的结构、更高的分辨率和多样化的训练数据相结合,强调了它在大气建模方面的卓越性能。

模拟空气污染

除了令人印象深刻的天气预报能力,Aurora在预测空气污染水平方面也有很大的潜力。该模型使用哥白尼大气监测服务(CAMS:Copernicus Atmosphere Monitoring Service)的数据来进行这些空气污染预测,众所周知,计算方法很难预测。

这种困难来自于这样一个事实,即科学家必须模拟额外的物理现象,以产生准确的空气污染预测。科学家想要预测气象变量,如风速、温度和压力。但最重要的是,科学家们必须模拟大气化学。这包括一组描述不同化学物质浓度的新变量——所有这些化学物质都相互作用。

空气污染的建模将在保护人类免受我们向空气中排放的各种化学物质的影响方面发挥至关重要的作用。

Perdikaris说:“我提到过一个10天的天气预报在超级计算机上需要几个小时。如果你想加上大气化学,使你能够预测空气污染,那么这些模拟的成本是普通天气模拟的十倍。”

传统方法的这种困难对新的Aurora模型来说不是问题。Aurora可以以0.4°的空间分辨率提供准确的全球5天空气污染预报。更重要的是,该模型在74%的空气污染预测目标上优于最先进的大气化学模拟。Aurora准确地预测了一系列大气变量,如温室气体和二氧化氮的浓度。

虽然应对气候危机需要社会上许多人的努力,但预测和跟踪天气模式和空气污染的能力同样重要。Aurora展示了人工智能将在应对气候变化中发挥的重要作用,其目前的能力使其看起来是一个强大的工具。

0 阅读:2