[发明专利]难样本挖掘方法、装置、设备以及存储介质

权利要求书

1.一种难样本挖掘方法，包括：

获取目标垂类票据图像集；

将所述目标垂类票据图像集中的目标垂类票据图像输入至结构化信息提取模型，得到所述目标垂类票据图像的字段检测框；

将所述目标垂类票据图像和所述字段检测框输入至垂类挖掘模型，得到所述目标垂类票据图像对应的得分，其中，得分用于表征字段检测框与字段真实框之间的差异；

基于得分从所述目标垂类票据图像集中选取难样本票据图像。

2.根据权利要求1所述的方法，其中，所述将所述目标垂类票据图像和所述字段检测框输入至垂类挖掘模型，得到所述目标垂类票据图像对应的得分，包括：

将所述目标垂类票据图像和所述字段检测框经过自编码器，得到所述字段检测框学习的特征与所述字段检测框之间的损失，作为第一得分；

将所述目标垂类票据图像和所述字段检测框经过去噪自编码器，得到所述字段检测框学习的特征与字段真实框之间的损失，作为第二得分。

3.根据权利要求1所述的方法，其中，所述基于得分从所述目标垂类票据图像集中选取难样本票据图像，包括：

将得分大于预设得分阈值的目标垂类票据图像确定为所述难样本票据图像。

4.根据权利要求2所述的方法，其中，所述将所述目标垂类票据图像和所述字段检测框输入至垂类挖掘模型，得到所述目标垂类票据图像对应的得分，包括：

将所述第一得分大于第一预设得分阈值的目标垂类图像确定为所述难样本票据图像；或者

将所述第二得分大于第二预设得分阈值的目标垂类图像确定为所述难样本票据图像。

5.根据权利要求1所述的方法，其中，所述基于得分从所述目标垂类票据图像集中选取难样本票据图像，包括：

基于得分对所述目标垂类票据图像集进行聚类，得到多个簇；

将聚类系数小于预设系数阈值的簇所包含的目标垂类票据图像确定为所述难样本票据图像。

6.根据权利要求1-5中任一项所述的方法，其中，所述获取目标垂类票据图像集，包括：

拉取回流票据图像；

接收输入的目标垂类标识；

基于所述目标垂类标识，将所述回流票据图像输入至预先训练的细粒度分类模型，筛选得到所述目标垂类票据图像。

7.根据权利要求1-6中任一项所述的方法，其中，所述方法还包括：

将所述难样本票据图像输入至预标注模型，得到所述难样本票据图像的字段标注框；

将所述难样本票据图像作为输入，将所述字段标注框作为监督，优化所述结构化信息提取模型。

8.一种难样本挖掘装置，包括：

获取模块，被配置成获取目标垂类票据图像集；

提取模块，被配置成将所述目标垂类票据图像集中的目标垂类票据图像输入至结构化信息提取模型，得到所述目标垂类票据图像的字段检测框；

挖掘模块，被配置成将所述目标垂类票据图像和所述字段检测框输入至垂类挖掘模型，得到所述目标垂类票据图像对应的得分，其中，得分用于表征字段检测框与字段真实框之间的差异；

选取模块，被配置成基于得分从所述目标垂类票据图像集中选取难样本票据图像。

9.根据权利要求8所述的装置，其中，所述挖掘模块进一步被配置成：

将所述目标垂类票据图像和所述字段检测框经过自编码器，得到所述字段检测框学习的特征与所述字段检测框之间的损失，作为第一得分；

将所述目标垂类票据图像和所述字段检测框经过去噪自编码器，得到所述字段检测框学习的特征与字段真实框之间的损失，作为第二得分。

10.根据权利要求8所述的装置，其中，所述选取模块进一步被配置成：

将得分大于预设得分阈值的目标垂类票据图像确定为所述难样本票据图像。