[发明专利]支持混合模型融合的Model Ensemble方法

说明书

本发明涉及一种支持混合模型融合的Model Ensemble方法，两个模型的输出均包括实例框和类别分布，分别对两个实例框和两个类别分布进行加权融合，对加权融合后的输出去重获得唯一的模型融合输出。当两个模型中有一个分类模型时，将该分类模型的输出改造成检测模型输出，用“检测模型的实例框+分类模型的类别分布”来构造一个虚拟的检测模型输出。本方法不限于分类模型融合，可以融合不同AI模型。

技术领域

本发明涉及缺陷检测领域，具体涉及一种支持混合模型融合的Model Ensemble方法。

背景技术

随着人工智能技术的愈发成熟，AI 在智能制造领域的作用也越来越明显。在工业制造领域，机器视觉（CV）被广泛应用于缺陷检测等技术场景中。

工业界的缺陷检测领域的特点主要有以下三个：

1) 数据样本少，很多场景数据样本是缺失的，通常需要专业人员重新设计打光成像方案去采集图片；

2）各缺陷样本比例不均衡；

3）对漏误检要求高，很多客户要求接近 0 漏检。

针对不同的困难有不同的方法。但比较通用和有效的方案是模型融合（ME）。现有的 ME 方法大多是比较简单的 Committee 机制，如投票(voting), 平均(averaging), 堆叠(Stacking)，非交叉堆叠(Blending)。但此模型通用性比较差，一般只在分类中有效，而且不同的加权参数需要手动设置，效果难以保证。

发明内容

本发明的目的在于提供一种支持混合模型融合的Model Ensemble方法，本方法可以融合不同模型。

为实现上述目的，本发明提供如下技术方案：

一种支持混合模型融合的Model Ensemble方法，其特征在于：两个模型的输出均包括实例框和类别分布，分别对两个实例框和两个类别分布进行加权融合，对加权融合后的输出去重获得唯一的模型融合输出。

进一步地，对两个模型的每一对实例框求IoU，如果两个实例框的 IoU 等于高于阈值，则对实例框和/或类别分布进行加权融合。

进一步地，实例框融合具体为：假定两个模型的输出实例框为和，融合策略；给定的权重是，的权重是1-c, 那么。

进一步地，对两个模型的每一对实例框和求IoU，如果此 IoU 低于阈值T则返回空值；如果IoU 等于高于阈值T，则对和做加权融合。

进一步地，类别分布融合具体为：每个实例框都对应一个类别分别，假定两个模型的输出类别分布为：和，其中 j 是类别下标，是背景类别的置信度，是前景类别的置信度，融合策略；

给定的权重，的权重是, 则。

进一步地，对两个模型的每一对实例框和求IoU，如果此IoU低于T，则返回空值；如果IoU 等于高于阈值T，则执行加权融合。

进一步地，该方法还包括融合参数优化：需要优化 n+3 个参数，其中1个参数来自实例框融合，n+1 个参数来自类别分布融合，还有一个参数就是 IoU 的阈值T；先取mAP 来作为优化的目标，再采用优化方法进行优化。

进一步地，当两个模型中有一个分类模型时，将该分类模型的输出改造成检测模型输出，用“检测模型的实例框+分类模型的类别分布”来构造一个虚拟的检测模型输出。

进一步地，当需要融合三个以上的模型时，采用上述方法先融合第一个模型和第二个模型，再将前两个模型融合后的模型融合输出与下一个模型采用同样的方法融合，以此类推直至所有模型融合完成。

进一步地，对加权融合后的输出采用NMS去重获得唯一的模型融合输出。