1、助力芯片制造自立自强，北邮实现晶圆缺陷检测新突破！
从指尖智能设备到无人系统，从智慧家居到工业互联网，从人形机器人到航空航天大国重器，芯片驱动生活革新，赋能万物互联。面向国家安全与经济重大战略需求，以“十四五”规划和2035远景纲要为指引，大力发展芯片产业，提高集成电路设计及制造能力，打破欧美技术垄断，实现芯片制造自主可控和高质量发展是极为必要的。晶圆作为集成电路芯片的基本载体，其质量直接影响到集成电路的性能和产量。由此，基于人工智能算法，开展晶圆缺陷检测研究是非常重要的。
近日，北京邮电大学团队在《Computers in Industry》国际期刊（中科院一区，Top期刊）上在线发表了一项研究，为混合类型晶圆缺陷检测提供了新思路。论文第一作者为北京邮电大学博士生张向燕，通讯作者为北京邮电大学智能工程与自动化学院的李剑研究员。
为了解决当前研究存在的混合类型缺陷检测准确率低、相似缺陷和弱特征识别能力差等问题，研究人员提出了一种用于检测混合类型晶圆图缺陷的双分支多层次卷积网络（DMWMNet）。该网络通过充分考虑基本缺陷、缺陷数量和缺陷类型之间的相互关系的“小巧思”，有效降低混合类型晶圆缺陷的检测难度、改善复杂缺陷准确率低问题，实现了晶圆缺陷检测的“高性能”突破。
晶圆图---晶圆图缺陷的窥视镜
晶圆图是通过电气测试生成的反映晶圆缺陷分布的图像。图1展示了MixedWM38数据集中的38种缺陷晶圆图，其中包括1种正常类别、8种单一类型缺陷（基本缺陷）和29个混合类型缺陷（13种两混合缺陷、12种三混合缺陷和4种四混合缺陷）。
图1 MixedWM38数据集中的38种缺陷类型晶圆图
探密基本缺陷、缺陷数量和缺陷类型之间的相互关系
从图1可看出相比于单类型基本缺陷，混合类型晶圆缺陷的种类大幅增加，且缺陷复杂程度高，使得混合类型缺陷检测难度大。然而，混合类型虽然复杂，但其由多个基本缺陷组成，每个混合缺陷可拆解为几个基本缺陷的组合。此外，随着缺陷混合的数量增加，缺陷检测的性能往往急剧下降，因此关注混合的缺陷数量非常重要。因此，研究人员探究了缺陷类型与基本缺陷和缺陷数量的关系，如图2所示。
图2 基本缺陷、缺陷数量和缺陷类型之间的相互关系
借助小巧思，设计高性能双分支多层次混合缺陷检测网络
当前已有的混合类型晶圆缺陷检测方法通常直接将晶圆图输入深度神经网络以检测缺陷类别，然而，这种方式忽略了各个缺陷之间的相互关系，且对相似缺陷（如EL边缘定位和ER边缘环）、弱缺陷（如S划痕缺陷）、重叠缺陷检测效果欠佳。
通过探究基本缺陷、缺陷数量和缺陷类型之间的相互关系，研究人员设计了双分支多层次卷积网络DMWMNet。它由两个并行分支和一个融合分类器组成，如图3所示。其中分支1（见图3(a)）用于执行基本的缺陷判别和缺陷类型检测，它将混合缺陷解耦为几个基本缺陷，增强了网络对单个基本缺陷的敏感性；分支2（见图3(b)）检测缺陷数量和缺陷类型，它关注晶圆图中存在的基本缺陷的数量，有效缓解了重叠缺陷和弱缺陷造成的缺陷遗漏或多检的问题，并且多源信息增强了缺陷的检测效果；融合分类器（见图3(c)）进一步整合两个分支的检测结果以得到最终的缺陷类型。此外，基于Focal Loss构建损失函数也有利于使网络在训练过程中强化对缺陷的关注。
图3 DMWMNet网络结构示意图
实验结果验证了DMWMNet的高性能与可靠性
1、从测试集的混淆矩阵可看出大多数类别都被准确识别，多个类型的准确率达到100%，混合缺陷也取得良好检测效果。此外，可看出网络能够清楚地区分EL和ER等相似缺陷，并能有效检测包含弱特征S的混合缺陷。
图4 测试集上的混淆矩阵
2、消融实验结果可看出，网络的分支1和分支2可分别增加缺陷的检测性能，而融合分支1和分支2的网络则进一步提升了缺陷检测性能。
图5 消融实验结果
3、将DMWMNet与典型的晶圆缺陷检测网络做性能比较，如表1所示，可看出所提出的DMWMNet准确率达到98.99%，性能优于其他典型的晶圆缺陷检测网络。此外，图6显示了DMWMNet还具有优越的鲁棒性。
表1 不同方法的性能比较
图6 不同方法在测试集上的准确率箱型图
从表2可看出，DMWMNNet的模型尺寸和衡量模型速度的FLOPS也较小，说明其在保持高检测性能的同时，具有了较好的模型轻量化和响应速度。
表2 不同方法的模型尺寸和响应速度
精准检测，创新驱动，守护芯片安全，让中国芯更强大！团队提出的高性能高精度晶圆缺陷检测技术，为芯片和集成电路的品质保驾护航，为促进我国半导体产业发展注入绵薄之力！
基金：本研究得到了北京邮电大学人才引进项目，学科交叉团队项目(No. 2023SYLTD04)及研究生双创项目(No. 2024-YC-T038)的支持。
论文信息：Xiangyan Zhang, Zhong Jiang, Hong Yang, Yadong Mo, Linkun Zhou, Ying Zhang, Jian Li*, Shimin Wei, DMWMNet: A novel dual-branch multi-level convolutional network for high-performance mixed-type wafer map defect detection in semiconductor manufacturing, Computers in Industry, Volume 161, 2024, 104136, https://doi.org/10.1016/j.compind.2024.104136.
(https://www.sciencedirect.com/science/article/pii/S0166361524000642)
通讯作者：李剑，jianli_628@126.com
文章来源：机器人技术与应用
2、日本设施农业草莓采摘机器人研究现状
本文节选自：
黄梓宸, SUGIYAMA Saki. 日本设施农业采收机器人研究应用进展及对中国的启示[J]. 智慧农业(中英文), 2022, 4(2): 135-149. DOI: 10.12133/j.smartag.SA202202008
HUANG Zichen, SUGIYAMA Saki. Research Progress and Enlightenment of Japanese Harvesting Robot in Facility Agriculture[J]. Smart Agriculture, 2022, 4(2): 135-149. DOI: 10.12133/j.smartag.SA202202008
日本设施农业草莓采摘机器人研究现状
与其他果蔬产品相比，草莓的栽培工作时间较长，收获期约为5个月（总采收时长约5000 h/ha），成熟高峰期采摘工作会给农民造成的严重负担。在日本，草莓是一种较昂贵的水果，超市单个草莓的价格约为8元人民币。为保证草莓高品质生产，农民更容易接受一定的设备投资。问卷调查显示，69.4%的农民希望人机协同作业，如由机器人采收大多数草莓，剩下难采收的由人工完成。只有16.8%的农民希望草莓完全由机器人采收。约有80%的农民希望采收机器人的价格控制在3万美元（约合20万元人民币）以内。京都大学Kondo团队研发了不同工作方式的多种草莓采收机器人。
表1 四代草莓采收机器人对比 Table 1 Comparison of the four generations of strawberry harvesting robots
第一代草莓采收机器人针对高架草莓而研发。该机器人主要由一个5自由度机械臂、一个气动式末端执行器、视觉传感器CCD相机和四轮行走装置组成。草莓果实悬挂在温室天花板垂下的种植苗床上，因此不需要避开障碍物。末端执行器使用真空装置吸住草莓并自下而上进行采摘。切下花梗后果实留在吸头中，由机械手运送并放置到托盘上。该采收方式具有接近于100%的收获成功率，但由于草莓单果是自下而上成熟，尖端成熟的时候其他部位不一定成熟，所以该采摘模式在成熟度检测方面存在不足。
第二代草莓采收机器人针对垄作草莓而研发，在垄的上方移动并采收，其机械手附有吸盘式末端执行器。在采摘时，末端执行器先向下移动，直到吸头到达垄的表面，末端执行器可以将目标水果吸入吸头。当两对光电断路器检测到吸头中的果实时，机械手向上移动，内筒旋转切割花序梗。由于在末端执行器的吸头上安装了限位开关，因此可以在不通过外部传感器测量距离表面深度的情况下停止末端执行器的运动。虽然该机型的试验成功率为100%，但一些目标果实相邻的未成熟果实被强吸力采收。从农机农艺结合角度考虑，可以控制花梗长度以减少未成熟果实的采收。
第三代草莓采收机器人的设计理念是全天24 h工作。对于草莓采收工作，采收机器人在夜间更具工作优势，因为日间温室内温度远高于夜间，不利于采收后低温保鲜。前两代采收机器人可以实现接近于100%的采收率，但会采收到不成熟的草莓。针对这个问题，第三代草莓采收机器人设计了末端执行器、机器视觉系统和行走装置。末端执行器具有三个自由度，由一个与气缸相连的吸头和两个夹取机构组成，可以通过吸头抓住果实，并通过两个夹取机构根据花梗倾斜度旋转切割和抓住花梗。机器视觉系统由三个相同的彩色摄像头组成，两侧的相机可以计算水果的三维位置，中间的相机识别目标水果和花梗细节。通过三自由度的机械手也可将采收后的草莓准确放入托盘的对应位置中。试验显示，样机采收成功率为38%，采收成功率低是因为立体匹配错误以及水果和花序梗识别错误。此外，该采收机器人嵌入了草莓分级系统，机械手采收到的草莓可以直接进行检测分级。在前期的试验基础改进了草莓识别算法，这种机械手在真实种植草莓温室的环境下进行了三个月实验，在总共879个草莓中收获了667个，采收成功率为76%。
第四代草莓采收机器人在第三代的基础上进行了改进，由京都大学、国立研究开发法人农业·食品产业技术综合研究机构（类似于中国农业科学院）和Shibuya精机株式会社联合研发，目标是针对标准温室内所有的草莓进行全天候采摘。为提高草莓产量，Hayashi等设计了具有高空间利用率、高密度栽培的草莓种植温室。开发的基于可移动苗床的高密度种植系统长16.0 m，宽9.2 m，主要由2个纵向输送单元、2个横向输送单元、2个营养供给单元、1个农药喷雾器、62个种植台和1个控制单元组成。纵向输送机构设计结合了拉杆的旋转和滑动运动以及控制输送单元的方法，苗床到达初始位置的循环时间为67 s。用这种方法得到的草莓种植密度为16.0~20.0株/m2，大约是常规栽培方法植株密度的2~2.5倍。在此温室环境下的草莓采收试验结果表明，在48 m×6 m的高密度种植草莓温室环境下，采收成功率和工作效率分别为54.9%和102.5 m/h。经过改进算法，夜间和日间采收成攻率分别为58.6%和62.4%。
Hayashi分析了草莓采收失败的案例，主要是由于成熟草莓受未成熟草莓或茎叶的折叠而导致图像识别失败。采收成功率与疏花疏果的方式有关，在自然生长条件下草莓成串生长很容易发生重叠，从而影响视觉系统识别果梗位置。考虑到不同种类草莓种植模式均有采收机器人研发案例，之后的草莓采收机器人研发侧重于从算法层面提升采收机器人识别成熟草莓的成功率，如基于深度神经网络的图像处理算法大大提升了果蔬在复杂环境下的识别成功率，并且其性能有超越传统果蔬识别系统的能力，能在成熟草莓被遮挡的情况下识别成熟草莓。在多功能方面，坪田将吾等通过RGBD相机与近红外光谱仪在采收机器人上的结合，在采收过程中可以判断草莓的糖度信息，在采收后可以根据糖度信息直接进行分级。
上述第四代草莓采收机器人系统搭配可移动高密度苗床的整体化采收方案，自2014年由Shibuya精机株式会社销售，售价约合30万元人民币。高种植密度可以实现用地节约、高产高效生产，1000 m2温室可以种植8000株草莓。此外，公司也优化了采收后的处理，使机械手可以精准地将草莓放置于托盘穴位中，并且可以自动更换托盘。然而，该系统不足之处在于机器人笨重、价格昂贵，自发售后销量低迷。因其设计理念是一个机器人负责整个高密度温室大棚的草莓采收，所以单个机器人需要有足够的承重能力用于储放采摘后的草莓，这就造成了单个设备笨重，以至于移动速度只有0.19 m/s。传统采收机器人体积大并需要有足够承载能力的自走系统，造成了部分采收机器人在系统设计之初就无法避免装备成本高的问题。同时，笨重的机器不利于在温室内移动。工业机械臂的使用在一些采收机器人中占据了相当高比例的成本。
近年来Huang等提出了一种新的草莓采收机器人作业模式——分布式协同作业机器人体系（图1）。该系统仿照大田农业机器人的工作模式，多个采收机器人同时在一个温室里开展工作。因单个机器人不需面对整个温室的草莓开展工作，所以单个机器人具有更小的体积，并且在采收一定的草莓后将采收的草莓集中放置于垄头的大托盘中。该系统的实现需要厘米级温室内部定位系统同时为多个机器人提供实时位置信息，还处于初期研发阶段。已研发的基于声波信号的系统可以提供1.58°的方向角测量精度，其无线模块可以提供约5 cm的定位精度。
图1 分布式协同作业机器人体系概念图 Fig.1 Conceptual diagram of distributed collaborative robot system
文章来源：智慧农业期刊
3、群智咨询：预计2024年全球机器人出货规模约4700万台
据群智咨询数据显示，长期考虑人口老龄化趋势及AI推动普及，全球机器人总体需求呈现持续增长趋势，预计2024年全球机器人出货规模约4700万台，未来5年维持20%以上复合增长率。
同时预计2029年其营收规模近1280亿美元。另外2023年全球消费类机器人占市场出货约81%，长期占据机器人市场主导地位；工业机器人占市场总体出货约17%。
文章来源：新京报
