软件缺陷的分类方法

我国工业制造在表面缺陷检测与分类智能化领域，长期高度依赖美、欧、日、韩等国外厂商提供的工业智能软件。其导入门槛高、自主可控性低，且存在被限制禁用的风险。国内多家科研院所和大型企业均在大力投入研发该领域的自有产品，但受限于工业制造场景的表面缺陷检测与分类中背景干扰强、关键样本少、判级难度大、时延高的现实情况，在实际生产线上一直无法突破精度和效率指标要求。

该项目围绕表面缺陷智能检测、分类、判级等方面开展了深入研究，在复杂背景条件下缺陷检测、小样本条件下缺陷分类、缺陷严重性智能判定、模型轻量化等方面取得了创新性成果，突破了现有技术瓶颈，在多家制造业龙头、标杆企业落地示范应用。

技术说明

产品表面缺陷检测与分类的智能化是实现“智能制造”的重要组成部分，尤其是面板等泛半导体行业的产品制造工艺复杂繁琐，快速准确地定位缺陷、判定缺陷严重性等级并进行高效处置是提高产品国际竞争力的必要条件。近年来，随着智能制造理论与技术的不断发展，基于深度学习的机器视觉技术越来越多地应用到面板、集成电路等制造行业，用于替代人工进行表面缺陷检测与分类，但由于工业生产场景的复杂性和特殊性，基于深度学习的表面缺陷检测与分类技术在实际的工业生产场景中面临着不同于其它人工智能应用领域的问题和挑战：

1、复杂缺陷难检出：工业产品缺陷检测对象种类繁多且差异性大，被检测对象通常具有复杂的纹理和背景，导致细微缺陷难以检测、不同缺陷混淆和相互干扰等问题，极大影响缺陷的检测效果。

2、关键缺陷难识别：训练缺陷智能检测模型需要大量标注数据，但实际生产中关键的严重缺陷往往发生率较低、关键样本量少，导致模型难以准确识别这类关键缺陷。

3、缺陷严重程度难判定：同一类型的缺陷发生在关键区域和非关键区域对产品质量影响程度不同，不同产品设计的关键区域布局差异巨大，目前还没有识别关键区域的有效方法，缺陷严重程度难判定。

4、智能模型时延高：智能模型的参数量大、计算复杂度高，导致模型实际运行所需时间和计算资源无法满足生产线实时性和经济性要求。为解决上述问题，数之联牵头组成科技攻关团队，开展了一系列技术攻关，相关成果目前在面板等制造企业已实现规模化落地应用，国内市场占有率排名第一。

其主要关键核心技术：

针对基于深度学习的表面缺陷检测与分类技术在实际的工业生产场景中面临的问题和挑战，项目团队在复杂背景条件下缺陷智能检测、小样本条件下表面缺陷智能分类、缺陷严重性等级判定、表面缺陷检测模型轻量化等方面开展了深入研究并取得了创新性成果，突破了现有技术瓶颈。

1、提出了一种复杂背景条件下缺陷智能检测技术，将对称注意力机制引入检测网络，并采用对称数据增强方法，解决了细微、遮挡、易混淆表面缺陷的漏检和误检难题，提升了整体检测准确性。

2、提出了一种图像小样本智能分类建模方法，基于多尺度特征构造多级标签传播网络，并基于信息扩散理论，解决训练样本不足情况下的模型构建难题，有效提升了不均衡样本的分类准确性。

3、提出了一种缺陷严重性智能判级技术，将缺陷严重性的空间分布特性与注意力分布相融合，并采用自适应层次聚类思想，解决缺陷等级智能化判定难题，极大提升了缺陷处置效率。

4、提出了一种针对工业制造中表面缺陷检测模型的轻量化技术，结合知识蒸馏和通道剪枝，采用知识与模型联合驱动的方式，解决缺陷检测时延高的难题，在保障准确性的前提下，有效提升了检测实时性，同时降低了资源消耗。

该项目成果已成功应用于京东方、天马微电子、华星光电、惠科、奥特斯等龙头企业，能有效提升缺陷检测效率和准确率、节约检测人力成本，经济社会效益显著。该项目成果已累计实现销售收入1.5亿元，成功导入25家大型工厂，国内市场占有率排名第一，已在新型显示领域建立了竞争优势，预计未来3-5年将为客户节约成本约25亿元。将来在芯片、新能源等行业也有巨大的市场空间。

依托该项目技术成功研发的缺陷智能检测与分类云边端一体化平台，突破了国外厂商的技术垄断，实现了缺陷检测工业软件的自主可控和规模化应用。同时，极大推动了国内制造企业智能化进程，有效提升了其国际竞争力，为制造强国战略、安可工程实施做出了重大贡献。

★专利申请号/公开号：CN113920117B

开发团队

·带队负责人姓名：孙崇敬

孙崇敬，资深算法专家，电子科技大学博士。负责系统产品的开发和应用落地实施，在复杂背景条件下缺陷智能检测、表面缺陷小样本智能分类、缺陷严重性等级判定三个方向上都有重要贡献。

团队其他重要成员姓名：彭向楠， 方育柯。

·隶属机构：数之联

成都数之联科技股份有限公司是一家以计算机视觉技术、多维数据分析挖掘技术和自然语言处理技术为核心的大数据与人工智能产品及解决方案服务商。公司聚焦“智能制造、智慧城市”两大领域，依托“一体化云原生数智服务平台”，为政府、企业和国防单位提供数据治理、数据可视化分析、数据挖掘等面向平台和场景的数智化技术服务，助力客户实现降本、增效、提质。

相关评价

“武汉天马自动识别分类系统（ADC）项目，已完成多个站点模型的上线运行。”

——武汉天马微电子有限公司

厦门天马微电子有限公司用户评价：“该项目通过算法模型，实现覆盖四个厂97个站点的AOI设备拍照机检出图片的自动缺陷定位，缺陷分类，缺陷等级判定及其他功能。通过系统在企业的应用，提升了缺陷覆盖率，折合人员替代率 80%以上，即节约人力成本80%；正式生产环境的生产站点中，保证了工厂产能满产的需求。”

——厦门天马微电子有限公司

贡维放4403软件缺陷缺陷类型影响什么?
平底闵18134191970 ______ 软件缺陷缺陷类型(Type)FFunction:影响了重要的特性、用户界面、产品接口、硬件结构接口和全局数据结构

贡维放4403软件缺陷有哪些表现 -
平底闵18134191970 ______ 常见的软件缺陷有以下四种: 第一,栈溢出.就是在栈中申请一段内存,一般是数组或字符串,在对这段内存做操作的时候,错误的写操作可能导致栈中也特殊意义的地址被用户的输入内容所控制.最早发现是一些字符串操作的函数中,比如...

贡维放4403软件缺陷分析方法有哪些 -
平底闵18134191970 ______ 已经修改的错误重复出现; 无法清晰的描述当前版本的缺陷状态; 对测试中发现的问题,主要依靠记忆得方式来记录;能记录的数量有限,并且经 常遗忘; 采用了记录单或问题表单的方式来记录缺陷,但只是简单的记录了错误内容,没 有分析和流程跟踪能力; 研发经验教训得不到继承,重复同样的错误; 缺陷跟踪管理系统可以规范项目中开发、测试、缺陷处理的流程.

贡维放4403软件测试缺陷的管理原则是什么意思 -
平底闵18134191970 ______ 软件测试缺陷的管理原则是分类管理,追踪管理,归零原则.具体说来,按功能缺陷,性能缺陷,可靠性缺陷等分类管理,按缺陷重要成为严重,重要,一般等,缺陷需要和测试用例建立追踪关系,缺陷需归零.

贡维放4403缺陷管理软件是怎么回事?
平底闵18134191970 ______ 你好,很高兴为您解答. 缺陷管理软件缺陷编辑缺陷管理处理方法通常大家发现软件缺陷时会对软件缺陷进行分类,可分类的方式只有一种,就是严重级别,难道没有其它的分法吗

贡维放4403软件错误导致软件缺陷有哪些呢?
平底闵18134191970 ______ 我一本正经地胡说一下吧. 软件错误导致软件缺陷(softwaredefect),如设计缺陷,代码缺陷等,可用静态测试,如走查,静态检查,测试床(军事软件用的技术)等,软件的缺陷导致一个或多个软件故障(softwarefault),故障有内部故障,外部故障,也就是我们所说的bug,软件故障导致了软件在功能操作等方面的失效(softwarefailure)

贡维放4403软件缺陷的表现形式有什么?
平底闵18134191970 ______ 软件缺陷类别编辑缺陷的表现形式不仅体现在功能的失效方面,还体现在其他方面

贡维放4403LBS软件有分类吗?以什么为标准啊? -
平底闵18134191970 ______ 有啊,第一种以社会关系、以位置签到为中心的类型,还有一类是以地理位置为中心的信息平台,这类有赛赛seesay为代表. 赛赛seesay是一款方便实用又趣味时尚的基于智能手机LBS位置定位+生活信息+社区交互服务的免费智能手机下载软件,是互联网新模式SOLOMO领域中本地化、个性化、实效化、及时动态化完美融合的3G移动手机软件下载产品.巧妙的搭建了商家和消费者的信息桥梁.