车规级5nm智驾芯片流片成功,注意,这里有三个关键词:车规级、5nm、智驾专用,其他的内容,因为还在睡午觉,错过了,等我醒来的时候发现斌哥已经开始做总结陈词了。
不过从总结陈词背景墙的PPT可以看出
1、图像处理能力很强,6.5GPixel/s,这里的Pixel应该是指是像素,比如我们常说的高清摄像头分辨率,800万,折算下来就是0.745G
2、处理延时5ms,也就是高清摄像头拍完(或者录像数据)到芯片处理,一秒钟200张
3、5nm,这个就跟国际先进芯片制程一致了,而且黄老板的芯片是不是真的能够铺开来卖还是个问题,当然蔚来的也只是流片成功,也就是试生产ok,什么时候大批量大规模高良品率,还有待进一步信息支持
4、615DMIPS,是指每秒执行615兆条的整数运算的指令
5、8533Mbps LPDDR5是CPU里面的内存单位...
6、高效NPU加速单元,这是智驾所需的比较重要的神经网络处理器,神经网络属于AI的一种
所以最后斌哥说,一个成功的智能电动汽车公司,一定是一家成功的AI公司,当然也有部分公司采购第三方的,说不定也能成功。
二、天枢SkyOS系统核心关键词:历经四年打造、投入了23000人月,面向AI
1、什么是OS,很多人都是基于windows之类的去讲解,我们还是希望从system的字面意义去理解,系统、机制、制度、规范。比如我们经常听到的教育系统、医疗系统,代表了由人组成、有组织层级的、带有明确操作规程的、具有层级内及层级间沟通协作功能的、可以完成一定职能的体系。
而OS,就是由一系列比如CPU、内存、主板等组成的,各硬件之间有明确通讯协议并经由主板线路进行通讯的、可以完成一系列动作的体系。
2、天枢SkyOS有啥特别?这就要说到发布会上他们提到的AutoSAR系统了,这套系统是几年前传统主机厂基于传统车型(如燃油车)指定的一套体系,没有考虑到像现在大的带宽要求、也没有考虑到AI上车。这也是蔚来研发SkyOS的意义所在,面向AI的从每个部件到中央控制域都全面打通的OS
3、天枢SkyOS关键在于高带宽、低延时、高算力、对异构硬件兼容性好、高可靠性、高安全、不同域之间融合等,拆解开来说人话就是
1)各个传感器检测到数据后要能够快速传到系统,就好像我们家用宽带一样,来个好图传变天,这谁受得了啊
2)低延时,也就是数据传回来了,处理器性能不给力,就好比宽带网速给力,但是你弄个十年前的老机器看高清大片儿,一帧一帧的像是放幻灯片儿。特别是比如前面检测到有危险,需要刹车,处理器算了半天,危险源早就被车碾压过去了,这谁受得了啊
3)高算力和异构硬件兼容性,一台汽车不只是中央控制域有算力,每个域其实都有大量的算力而且可能来自不同的供应商,那比如摄像头或雷达拍到图,传输完就闲置了,等你中央域处理器处理啊,就好比踢足球,我中腰都把球给你前锋了,就等你前锋进球啊,前锋当然很努力,然而有对方队员干扰,中腰是不是要去协助补位之类的?所以把各个域的算力统一调配,是不是就更容易进球了?当然也意味着不同域之间的融合能力好
4)高可靠性,这个不用多说了吧,算一半宕机了或者即便宕机了也不会自己启动就挂那儿,这谁受得了啊,尤其是在行车过程中
5)高安全性,同样不言而喻,随便一个菜鸟黑客都能攻破并进入你的车辆系统,这谁敢开对吧?
4、天枢SkyOS包含啥?
1)SkyOS-H,虚拟化,也就是现在类似于手机的车机系统越来越强悍,如果这个手机上打游戏和听音乐两个事情同时进行,如何保证不相互干扰?那就弄两个虚拟机定好各自所需的算力分别单独运行;类似的就是智驾所需的资源最好能够稳定可靠,用虚拟化将硬件资源单独划出来一部分来保证,这是虚拟化带来的好处。早几年微软就提出来的Hyper-V以及云计算服务提出的Dock技术都是类似技术;简而言之就是通过软件将手机的部分硬件资源划出来运行特定的程序,保证程序可靠稳定运行
2)SkyOS-L,应该是使用了虚拟化技术实现了消息队列的单独处理,这样不同等级的消息都能得到足够即时的处理。那消息是啥,可以理解为数据
3)SkyOS-M,应该也是使用了虚拟化技术对各个程序之间进行隔离的机制,并且有快速自恢复的能力,这样一个程序崩了不会导致整个系统崩溃。就好比我手机打游戏,因为网络卡或者一些特定原因游戏宕机了,但是别给我把整个手机搞挂掉啊,我大不了重启游戏就好了,音乐还是要继续听的嘛
4)SkyOS-R,应该是与SkyOS-L相关,也就是消息的处理,就好比开电话会议,我的语音通过网络(SkyOS-R)传给其他参会人,参会人听懂我的话的过程(SkyOS-L)
5)SkyOS-C,搞计算机的应该都知道,也就是Runtime,而且这个Runtime充分利用了各个部件(域)的算力,让他们像一台同一台电脑处理一样,有云计算的一些理念在里面
6)SkyOS中间件,一个系统由各种各样的子系统组成,如何让各个子系统协作?他们之间如何沟通?中间件起到这个作用。同样如上面说的电话会议,一群人开会,我只会中文,参会者只懂英文,我说的他们怎么懂?他们说的我怎么理解?中间翻译就起到关键作用了
7)自研SOA框架,这个SOA是啥?其实就是Service-Oriented Architecture,也就是比如系统功能如果按最小粒度拆分为1000个很小的功能,给到用户能感受到的可能就10个功能,那这1000个小功能到10个可感知的功能之间,就是靠SOA架构去组装、安全控制等;举个例子就是一个教育系统,给家长和学生能感觉到的就是上学、上课、课间休息、放学,但是对教育系统而言则可能包含教材、课件、场地、水、电、课桌、黑板、铃铛、纸张耗材、老师、环卫、食堂等等,如何将这些细枝末节的变成对学生服务的让学生可感知到的,原理大体类似
8)TOX,与数据传输密切相关,其实我们打电话也有类似机制,你在电话这一头说一段话,对方那边居然完整的听到了,其实不是一次性整个语音丢过去的,而是拆解成一个一个小的语音段,再到对方那边拼接起来播放,如果这个小的语音段传输不流畅,对方那边就会听起来卡。在SkyOS里面(或者大部分系统都是类似)如何保证所有小语音段不会丢需要各种手段和策略。当然如果你说我一个一个传,弄个严格的应答机制,那整个语音传完对方估计都睡着了,这谁受得了啊,所以也收到延时要求约束
9)数据闭环,能理解到的就是数据会脱敏
10)自己的工具链,这个就更是对IT这块的描述了,可能实际对公众直接影响很小的,但是可以概括起来说就是我研发过程很规范、自动化程度很高、发布的系统可靠性有保证、而且效率很高就够了
11)数据安全,这个其实也是一整套体系保障的,不多说
12)举例代客换电,涉及到车手站云协同,云可以理解为网上的系统,包含了客户通过网上系统下单、确定站点、到站自动进站、换电、自动泊出等一系列功能。是不是需要SkyOS进行全方位、各个模块之间高度协同才能完成?
最后总结陈词就是:面向AI的、全域的全栈自研
三、banyan3系统这是用户可以直接感知到的部分了,也就是基于SkyOS并大量运用了AI的具体功能
1、这里重点讲了智慧底盘,4D舒适底盘,以前可能需要依赖导航来预先知道你要到那条路,在某个位置会有个坑,车辆提前知道,比如到了位置附近就把底盘调软一点,那过坑的时候是不是就舒缓很多?现在不用导航了,你到某一个地方,因为有车辆的GPS定位,而这个坑的地理位置是确定的,发现离这个坑很近了,就直接调底盘软硬,是不是更方便些?当然,防晕车也有类似的机制
2、智能音响,可以具体到某个歌曲来调整音响效果,也可以结合语音指令调节均衡器,而且调完后的参数可以分享
3、自研Flux系统,类似于微信里的小程序,都是基于网页的功能
4、NOMI,全新体验,主要包括
1)加入GPT,人机交互将更加智能,而且可以N多指令一口气支持,NOMI呈现也不局限于文字,甚至可以是图片或视频
2)NOMI Agents,可以完成代驾、停车场停车、守位(是否被碰车)、找车、记事提醒、探索发现、打卡、DJ、旅行自动剪辑回忆视频
3)NOMI情感引擎,这一部分不再赘述,我们有一些不同意见,起码从发布会上看到的内容上是有不同意见的,具体可参考微博
四、智驾重点讲解了蔚来NWM体系。
能够有比较强的时空理解,也就是结合蔚来大量的历史行车数据可以结合当前的空间位置、路况来预测并模拟出下一时刻路况,并据此来决定车辆该怎么智能驾驶;
而且车辆越开学习的内容越多、所能应付的场景也就越多,智驾能力也就越强悍;换句话说,每个车在路上跑,车上的系统会自监督学习,而且这个学习成果可以上传到云端,经过一定的处理后向其他车共享;
改变了以往单纯靠云端运算、学习的方式,对网络流量、云端算力等压力都将大幅降低,充分应用了边缘计算的优势,毕竟每个车辆终端可都是一台性能强悍的计算机啊。
另外使用端到端技术,改变了传统的人工编码设定规则的方式,改为通过学习自己定义规则;同时因为是端到端,所以传感器拿到数据后没有中间商赚差价,数据携带的信息量就不会损失那么大
最后提的这个理念是值得称道的