离职小鹏汽车，去到英伟达后，吴新宙与前老板何小鹏的关系，依然很融洽。

9月19日，2024云栖大会上，小鹏汽车董事长兼CEO何小鹏，以及英伟达全球副总裁、汽车事业部负责人吴新宙等围绕“生成式AI重塑自动驾驶”主题展开了一场圆桌对话。

针对FSD入华，大模型对自动驾驶加持程度，乃至未来汽车市场格局，两者都有着高度一致的认知。

倒是在谁是“甲方”问题上，相互谦让起来。尽管刚刚高调宣布自研的图灵智驾芯片流片成功，但何小鹏还是表示，很多芯片需要与英伟达等伙伴一起合作，直呼英伟达是其甲方。

吴新宙虽然不同意“甲方”的言论，但也顺势做起广告。他表示，汽车生态，尤其是生成式AI发生后，全栈自研的门槛更高，需要英伟达这样的供应商去弥补一下短板。“我们可以只提供大模型，也可以提供全栈方案，帮助车企把智驾提升到市场主流产品水平。”

不到半小时的时间里，聊技术、聊合作、聊未来，这对前CP，倒是其乐融融。

01

面对特斯拉FSD入华，不慌

“FSD入华，我借用小鹏经常说的两个字，不慌。”谈到对特斯拉FSD入华的态度，吴新宙对其技术表达赞赏的同时，但认为国内车企可以应对。

他表示，特斯拉每一步都给大家验证了这个东西是可行的，这是FSD最大的一个作用。它推动了业界往下一步的发展，真的是提高了上限，很多动作就变得非常拟人化，这个非常重要。

不过，他也认为FSD下限问题还没有完全解决掉，原来的逻辑错误在FSD里还是有，可以说是大模型上限的第一步尝试。“中国场景有很多的复杂东西。我相信中国车企技术上的积累是非常好的，哪怕是同台竞技，也是不分伯仲的水平”。

何小鹏在美国体验特斯拉FSD

“我是非常期盼的。我们需要不一样的，很好的技术去冲击这个市场，能够让我们看到这个市场的变化”。何小鹏的态度则更积极一些。

他认为，FSD在去年有了长足的进步。“以前不管是中国的NGP，还是海外FSD都是很基础的自动辅助驾驶，FSD用了端到端的大模型后，让我们看到的一个巨大的变化，就是更拟人，很流畅，是当地的老司机。”

他还透露，小鹏的NGP最近也在开端到端的全域模型测试版，已经看到在整个横向的切线、转弯、并道巨大的变化，甚至感觉它比我开车时切线还要流畅和有效率，这个变化大家一定要体会。

02

端到端可以把自动驾驶上、下限都做到更高

特斯拉FSD技术能够快速迭代的很大原因，在于端到端大模型技术的落地。

作为技术领域大拿，吴新宙对于端到端大模型进行了自己的解读。

他表示，端到端大模型对于自动驾驶的应用来说有两个阶段，这两个阶段都对自动驾驶的上限会有一个比较大的提高。

第一阶段是端到端，在现有的架构上，把上游的模型和下游的模型通过一种方式连接起来，用数据端到端进行训练。这个业界已经有很多工作在做了。有了这样的能力以后，其实就可以更多把自动驾驶的开发变成数据驱动。

第二阶段是大模型，端到端大模型。把一些通用的大模型真正的放到自动驾驶，可以进一步提高自动驾驶的上限。

传统自动驾驶架构的典型代表：Apollo 3.0 软件架构

“我在自动驾驶领域工作超过十年了，也见证了自动驾驶整个的变化和进展。”吴新宙称，自动驾驶现有的算法大多是基于规则的，讲起来很简单，从看到什么到怎么做，但是要把它很好的拆解是很难的事情。现在大部分的算法栈还是很深的算法栈，需要很多人类工程师尽可能想到所有可能性，但这种方法有上限。

首先是对于行为的量化，人类开车非常灵活，但从自动驾驶算法上，特别是规则维度的算法栈来讲会过度量化人的行为。好的算法栈在状态机里面会有上百种行为，比较基础的算法栈，比如说做LCC可能就是一到两种行为。但是不管你怎么做量化，怎么做清洗，有时候车开的就是比较机械。

其次是现有算法栈在通用性上有非常大的限制。我们为了训练一个模型，特别是感知模型，需要上百万辆数据集修复，在规控上也是这样。这会导致大量的工程量和测试量，通用性上在数据没有见过的地方、场景，车就会不知道怎么反应。

“因为自动驾驶在大部分的时候都是小脑问题，不太需要做逻辑推理的，但是如果要真正把车开好，在很多时候还是需要逻辑推理”。吴新宙指出。

而未来通过大模型空间强大的关联能力，可以形成非常强的记忆能力，将自动驾驶的上限推到非常不一样的高度。吴新宙认为，有了这样能力后，将可以处理复杂场景，把百公里接管变成千公里、万公里，真正打开L3到L4的大门。

何小鹏（中）、吴新宙（右）等在2024云栖大会进行圆桌对话

何小鹏则更多从过去经验对端到端发展进行了预测。

他以自动驾驶举例称，自动驾驶大概1925年开始研发；1999年丰田开始做；2009年谷歌开始做；2014年百度开始做，2017年小鹏开始做，到今天自动驾驶还没有规模落地。

“如果说把大模型从我的角度分类，一个是数字世界的大模型，一个是物理世界的大模型，还有一个新的仿真世界的大模型，这三个不同的模型将来肯定会融会贯通”。何小鹏认为，这个过程从数字世界可能会变化很快，但从物理世界的变化一定会比大家想像得慢。

不过，他也认同，端到端大模型可以帮助企业把自动驾驶高度做得更高，且下限也可以提高。“对于最普通的用户，从现在到未来36个月可以让每个人在每个城市都像老司机一样开车，这是端到端大模型对于用户的强感知”。

03

端到端不一定是最终方案，但一定有价值

至于“端到端是不是自动驾驶终极方案”，两人的回答都相对显得乐观但谨慎。

吴新宙称，从现有技术框架上来看，不敢说大模型是最后的方式，但一定是一个巨大的突破。“我认为未来把人类工程师设计的一些方法、或者一些特征点从全栈中逐步去除，一定是一个不可逆转的趋势”。

但是，吴新宙表示，有了大模型的能力以后，还是要非常注重安全和全栈的可解释性，有一些配合的工作要去做。至于大模型是不是“终极方案”，“这很难讲，一定会有新的技术、下一步突破让我们看到更多的可能性。”

自动驾驶架构演进示意图。资料来源：辰韬资本

对于这个观点，何小鹏也表达了认同，他表示，如果从十年、二十年看，不知道大模型是不是最后的，但是一定比以前的算法泛化、规模能力更强。

“我跟很多L4公司聊天，他们都认为用原来的方式，高精地图加上一个区域，写很多规则，能够把接管率做到很低，是一个最正确的道路。”对此何小鹏并不是很认同。他觉得，这是从软件角度看世界。如果从硬件角度，比如说我关注的是能不能把它做到规模，当你足够大的规模以后才有足够低的成本。

为什么手机摄像头做得很小，汽车的摄像头做得很大？他以手机举例称，“最开始我进入这个行业，觉得一个是车规，一个是消规，错了，是规模”。

一个大型的硬件，无论是汽车、机器人，或者是以后的AI+大型硬件的组合，对于消费者来看都是花了一万块钱、十万块钱，甚至数十万买的硬件，如何持续、稳定的发展非常重要。

他认为，在硬件的逻辑体系里面，基于规则的L4在一个相对稳定的小范围可以做得很好。但一旦当端到端的模型未来两年普及，这种成本又低，下限又高，上限更高的技术，会降维打击冲击现有市场。

04

AI+汽车时代，车市模式将大变样

技术不断迭代、冲击，车企能否适应，未来还会有谁会留在牌桌上？

针对这个问题，何小鹏的回答比较宽泛。他表示，未来在牌桌上的玩家会比较少。“下一个阶段新能源车市场的赛点就是谁能够每年生产跟销售100万台新能源汽车，这只是一个淘汰赛的入门权，也就是说我没有就被淘汰了”。

何小鹏驾驶小鹏汽车P7+亮相2024云栖大会

何小鹏认为，未来如果一个硬件产品不具备AI能力，那么它的品牌受影响的程度会是非常大，但如果拥有了AI之后，全球的将来的硬件加软件，它的生产能力、销售方式都会发生变化。

比如销售层面，以前的汽车都是车厂卖给合作伙伴销售，因此就没有办法对汽车进行运营，进行售后服务，进行后收费。

而最近两三年不仅仅看到中国汽车生产模式的变化，更多的也在思考运营方式的变化，思考端到端的服务，从产品研发到最后的售后服务运营全部要做。

他判断，“这些变化会形成最后规模经济的变化，软件的规模经济，生态硬件的规模经济，全球品牌下的足够规模，这两个的规模一旦合并在一起。我觉得中国将来会有机会留在牌桌上的企业会比较少”。