智慧屏如何变身“巨幕手机”?
曾经,那台屏幕狭小、体积庞大且无法回放节目的电视,是我们童年最忠实的伙伴和快乐源泉。然而,随着智能手机和平板电脑的普及,人们习惯于回家后刷手机,电视不再是家庭中的必备品。电视行业陷入了一个只追求尺寸更大、成本更低的超级竞争红海之中,开机率、使用时长、销量持续走低,所谓的智能电视也几乎没有应用生态。如何在传统产业实现突破性创新,成了摆在智慧屏研发团队面前的一个问题。
2019年12月,在年终研讨会上,架构负责人老贺抛出了议题:“今天,我们的焦点问题是,我们要做一台什么样的电视?”
大家天马行空,畅所欲言。有人提出:“集成高清摄像头,让家人能随时轻松地视频通话,节假日也能和好友来一场云聚餐。”
还有人补充道:“引入一键投屏技术,让用户能便捷地将手机的内容镜像至大屏,享受更加丰富的视觉体验。”
“想象一下,下班回家后,躺在沙发上通过电视浏览B站、观看云课堂,这将是多么舒适惬意。”……
经过一整天的激烈讨论,大家的思路逐渐明朗,观点聚焦在应用生态、巅峰音画、超高清视频通话等十多个方向。比如,在应用生态方面,移动应用的生态是成熟的,可以将手机应用搬到大屏上提供更大的显示视界;而巅峰音画可以让每一个消费者都能在家中享受到极致的视听盛宴,感受大屏带来的沉浸体验;超高清视频通话可以提供更便捷、更自然的通话效果……
为了进一步确定主要方向,体验组展开了深入调研,通过上千份问卷和上百名用户的深度访谈,获得了宝贵的市场反馈。结果显示,“手机应用上大屏”的功能荣登智慧特性的榜首。这让我们坚信,打造一台能被全家人使用的“巨幕手机”,和手机共生态,是大势所趋。
提升处理器性能,将应用部署至大屏看似易如反掌。然而,真正的挑战在于,在这个智能手机时代,移动应用几乎依赖于触摸交互。即便应用顺利运行于大屏之上,如何解决其交互与操控的问题?
显然,支持触摸功能的方案在家庭环境中并不可行。因为用户不可能频繁地从沙发、床上回到大屏跟前触摸操作,而且常规的屏幕触摸技术在大尺寸下成本极高且对画质有明显影响。无线鼠标虽然也是一种选择,但用起来并不方便,用户需要将鼠标放置于平面上操作,并且由于屏幕的巨大尺寸,光标移动的映射距离过长也是一个问题。
还有人提到了传统电视制造商推出的“空鼠”,这能否满足需求呢?我们体验了市面上的空鼠,虽然它能实现较为完整的操控功能,但存在手眼协调不一致、需要不断调整焦点的问题,影响整体的使用体验。如果空鼠能够实现“指哪打哪”的准确度,将会极大地提升用户的直观交互体验。这种直觉式的操作,就是我们追求的最佳用户交互方案。
这个概念其实并不新鲜。很多小伙伴小时候都有攒零花钱买“打鸭子”红白游戏机的经历:瞄准目标、扣下扳机,随着电视画面的闪烁而发出枪声。这个游戏配套的光线枪,让很多人第一次在电视上体验到瞄准射击的真实感。其实,电视遥控也可以是一场瞄准射击游戏!
但是,为何市面上似乎没有类似的技术应用出现?为了探寻答案,我们深入研究了游戏行业的指向交互技术,从红白游戏机“打鸭子”的光线枪,到Wii(家用游戏机)的红外感应,再到VR(虚拟现实技术)的光学定位,逐一分析。这些指向技术或是为特定的游戏体验而设计,或是在有限的距离和角度下才能发挥作用。然而,在家庭客厅这样的场景中,这些技术无法提供理想的指向体验。
要实现在大屏上的“指哪打哪”,我们得实现一种全新的解决方案,既能满足精准度的要求,又能适应家庭使用的场景。这正是巨幕手机概念的重要创新方向。
建一套迷你“北斗”定位系统
2020年,面对现有技术的局限性,我们与2012实验室中央硬件工程学院以及产业界的专家合作,开展了多个指向技术原型的研究。我们研究了正交波幅感知技术、VR领域的电磁定位技术以及超声融合定位技术等。经过团队近一年的原型评估,这些新技术都很难同时满足操控距离、成本、精度等综合要求。因此,指向交互技术方向的探索一度陷入了僵局,但我们并未放弃,继续寻找更合适的解决方案。
一天晚上乘车回家,出租车司机在路上与我分享了关于导航的发展:“我们国家发上天的北斗导航真的太准了,跑在哪条车道都晓得。”
司机的这句话让我灵光乍现:的确,位于两万公里外的北斗卫星能够实现米级精度的定位导航,如果我们基于大屏构建一套室内迷你“北斗”定位系统,将遥控器作为定位终端,按照系统模型倍率推导,确实有可能达到厘米级甚至毫米级的定位精度。
“如果将GPS(全球定位系统)信号替换为用于室内定位的超宽带无线信号或毫米波信号,从理论上看,这是完全可行的。”这一构想让我兴奋不已,指向交互技术难题的解决似乎有了一线曙光。
在确定了潜在解决方案后,我与小组成员分享了这个系统模型。经过一系列的分析与仿真,大家一致认为这个方案是可行的,并迅速投入实验阶段。我们借鉴了北斗系统的定位原理,成功构建了一套基于超宽带无线信号的定位系统。将定位基站布置在屏幕的四个角落,初步测试表明,在典型的客厅环境中,系统的指向精度令人振奋地达到了测试部门定义的A标,这意味着其拥有了良好的体验。这一结果证实了我们的方向是正确的!
随后,我带着这个原型方案与不同领域的负责人进行了深入探讨。ID(工业设计)负责人杰哥提出了一个关键问题:“下一代产品设计将转向全面屏,边框宽度不足1毫米,已经没有空间放置这些定位基站了。能否将天线藏在屏幕背面发出信号呢?”天线负责人成成也表达了他的意见:“因为液晶屏和大屏金属背板的影响,天线性能无法满足要求,只能放到摄像头正面区域。”面对这些实际问题,我们似乎又退回了原点。
正当我们陷入困境时,团队同步参与攻关的智能门锁项目中,一个iTOF(间接光飞行时间)摄像头器件的测量原理给了我们新的启示。在定位技术中,除了测量信号飞行时间的距离模型外,还有测量相位信息的方法。面对多基站测距方案的实际落地难题,我们想到,改用相位测量方式,将整个系统控制在波长的距离内,以超宽带无线信号的波长来评估。这个定位基站的尺寸大小完全可以集成到摄像头所在的模组内。
我们根据这个新的思路搭建了原型,并验证了整体方案的可行性。之后,我们启动了这套迷你“北斗”定位系统的预研验证工作,开始了新的探索之路。
一指万象,成为现实
历经十八个月、三代技术原型的不懈努力,2023年2月,我和产品SE(系统工程师)光德携带性能及尺寸综合最优的指向原型机,参加了产品线和市场代表的研讨会,在会上展示了这一特性。
在现有大屏机型上,我们通过手机直接分享安装移动应用,使用指向原型,演示了“学而思”网课、“腾讯会议”办公、“植物大战僵尸”手游、“洪恩识字”系列教育等多个场景,赢得了与会者的热烈掌声。大家一致认为这一特性对智慧屏意义重大,希望尽快落地到下一代旗舰产品上。
获得各领域的支持后,灵犀指向项目于2023年4月正式立项,目标是在9月的旗舰发布会上正式发布上市。也就是说,我们只有5个月的交付时间。
彼时,我们面临多个全新方案的挑战:低延时数据传输方案需采用全新平台、行业中尚无对应的测试方案需要自制、天线采用全新的超材料方案等。
项目团队成员迎难而上,在7月进行了第一次整机试产,但性能表现没有达到预期。余总在体验了这一批次的试产样机后,向产品线提出了明确要求:“继续优化,下个月再安排一次体验,如果做不到良好的体验,将从发布会中撤下这个特性。”
如同航海者面对着一片神秘的海域,我们的前方蕴藏着无限可能,但也暗藏着难以预料的暗礁和风暴。面对这“退无可退”的局面,为了确保量产问题得到解决,我将攻关的地点从实验室转移到产线,以便和团队成员更方便地深入优化。
在这些问题中最为棘手的一个,是超宽带信号用于相位测量时极易受到环境影响。无线信号在穿透非金属材料传播时,就和光穿过不同透明介质一样,吸收反射是不一样的,会对原始信号的相位产生影响。整个信号链路上的塑胶镜片、安装间隙、粘胶种类等累积二十多个因素均会影响到超宽带信号相位,导致不同机器的信号无法收敛会存在较大偏差。我们想到的最直接的解决方案,是把每一个影响因素控制在很小的范围内来收敛全链路的公差,但是这样管控成本极高,而且性能是在整机组装后测试的,一旦某个要素管控不到位而在测试端被发现,返修成本很高,根本不可行。
那针对不同机器的差异做逐台多点校准是否可行呢?从测量到的数据看,离散度太高,需要从单点校准增加到20多个点位校准才能达到目标精度,对应单台的测试时间将会增加五倍,生产测试成本大幅度增加,同时严重影响产能,不具备可量产性。
我们又想到:“能不能建立起样机差异的数据库,只通过最后的测试数据来匹配写入适合各自样机的参数呢?”这样可以大幅度简化管控过程,也能保障量产效率。
最终,按照这个思路,我们组装了近百台不同极限样组合的机器,采集对应的数据,通过AI训练的方式来找到特征点,再基于测量结果去递归样机的个体差异状态。
凌晨4点,团队调测攻关
经过三周7×24小时“两班倒”的数据采集验证,我们统计了上千组三维空间场数据。训练标定迭代优化后,我们最终实现了仅通过单点校准即达到了目标性能的量产一致性。月底试产的机器批量通过了测试部的指标测试验收,并在闭环体验会上得到了EMT(经营管理)团队的一致好评,确定特性量产上市。
在2023年9月的秋季发布会上,搭载灵犀指向的华为智慧屏V5 Pro发布。当介绍到灵犀指向功能时,团队四年来探索攻关的日日夜夜悄然浮现在我们眼前:学文带领的软件团队针对数十种使用场景反复做工程优化、天线薛孟团队验证过的二十多种方案挑战行业最极限、算法昊玮团队针对上百个参数持续优化精益求精、测试高康团队跟踪上千份Beta(用户测试)体验反馈闭环优化、装备道林团队扑在产线上整改报废了的半个仓库的治具……这一切,在此刻都得到了最好的回应。
“巨幕手机”的上市获得了行业的积极反响,带动华为智慧屏声量和销量上涨的同时,V5pro也迅速占据该价格档位电视市场47%的份额,用户净推荐值高达80.6%。在市场后调中,灵犀指向特性也成为品牌因素之外的Top1买点。而这些来自消费者的好评是对我们的最好的肯定——
“回到家可以躺沙发上刷大屏,体验确实很好。”
“之前一直用的xx空鼠电视,换了搭载灵犀指向的智慧屏后,上手精准丝滑,完全回不去传统空鼠了。”
“以前下班都是各玩各的,买了这台智慧屏后,大家聚在一起玩体感游戏、下棋等的频次越来越多了,又找回了客厅的欢乐。”
……
小朋友们体验智慧屏上的灵犀指向操控功能
保持热爱和勇气
在灵犀指向系统方案上,我们团队还输出了十多件核心专利,其中一件专利还入选了“终端十大发明”。还记得,在十大发明专利评审会上,评委问了一个问题:“前后花四年时间做一个灵犀指向遥控器,投入这么大,会不会遇到和其他领域的一些特性一样,上市后竞争对手低成本快速复制,我们现在的专利能保护完整吗?”
我充满信心地回复道:“行业想要复制做到接近的体验至少需要两年时间。而且除非大幅度牺牲体验,否则在这个方向路径上基本没有绕过的可能。”如今,灵犀指向上市已近一年时间,行业也在探索可复制的解决方案,但是距离可商用落地仍然有较大差距。随着该特性逐渐覆盖华为全系列智慧,以及持续的技术迭代优化,我们在专利、交互及生态上的护城河也将更宽、更深。
追求创新就是“敢于非凡”,听上去很容易,实际上却非常难,失败的概率也很高。我们不一定会成为最终找对方向的人,但我们会继续探寻未知,功成不必在我,为后继者引路。
灵犀指向研发团队部分成员