[发明专利]基于自监督域感知网络的零样本训练及相关分类方法

说明书

本发明公开了一种基于自监督域感知网络的零样本训练及相关分类方法，通过自监督学习的方式充分挖掘源域和目标域之间的关系，减少因目标域数据挖掘不充分而导致的域偏差；该方法通过以agent(参考代理)作为桥梁连接所有类别建立联合的嵌入空间，学习域感知的视觉特征，具备更强的知识迁移和泛化能力；该方法基于端到端的神经网络，速度快，精度高，达到了目前最好的零样本识别结果。

技术领域

本发明涉及人工智能与图像分类技术领域，尤其涉及一种基于自监督域感知网络的零样本训练及相关分类方法。

背景技术

随着深度学习技术的发展和海量训练数据的涌现，有监督目标识别已经取得突破性进展。然而，标注和收集图片数据十分耗费人力和时力，一些少见的类别，例如濒危动物，其图像资料是难以获得、极其珍贵的。在细粒度图像识别中，不同类别的细微差别依赖于专家知识来鉴别。现有的物体识别算法无法应对这一系列数据稀缺的场景。

零样本学习是一类专门用于识别未见类别物体的算法，适用于少样本甚至零样本的目标识别。大多数零样本学习方法借助针对每一种类别描述的语义信息(如属性向量、词嵌入向量和文本描述等)实现从已见类别到未见类别间的知识迁移，通过构建视觉语义的跨模态联合嵌入空间将零样本识别转化为最近邻搜索问题。

作为一类更加符合实际场景的方法，通用型零样本学习旨在同时识别源域中的已见类别和目标域中的未见类别。然而，传统的零样本识别受限于知识迁移能力的不足，无法充分挖掘目标域的数据分布，容易在源域数据上过拟合。这导致了偏向源域的强偏置问题，即训练时未见过的类别很有可能被识别为训练时已经见过的类别中的一种。

发明内容

本发明的目的是提供一种基于自监督域感知网络的零样本训练及相关分类方法，可以有效地减少通用型零样本识别中的域偏差问题，最终实现针对所有类别的更精确的综合判断。

本发明的目的是通过以下技术方案实现的：

一种基于自监督域感知网络的零样本训练方法，包括：

对于输入图像以及各类别的属性向量，通过视觉提取模块与语义嵌入模块对应地提取视觉增强特征与语义嵌入特征；通过深度网络计算视觉增强特征与语义嵌入特征的相似度，并与已知的输入图像和各类别对应关系，建立视觉语义对齐损失函数；所述输入图像包含了源域图像与目标域图像；

利用编码了源域图像与目标域图像共享的视觉信息的多属性分类器的权重参数作为参考代理，并基于参考代理来重构源域图像与目标域图像的视觉增强特征；基于不同域图像的重构特征间的相似性，小于相同域图像的重构特征和其视觉增强特征之间的相似性的自监督信息，建立自监督学习的跨域三元组损失函数；

基于视觉语义对齐损失函数与自监督学习的跨域三元组损失函数训练域感知网络，并反馈给视觉提取模块，使得视觉提取模块提取出域感知的视觉增强特征。

由上述本发明提供的技术方案可以看出，通过自监督学习的方式充分挖掘源域和目标域之间的关系，减少因目标域数据挖掘不充分而导致的域偏差；该方法通过以agent(参考代理)作为桥梁连接所有类别建立联合的嵌入空间，学习域感知的视觉特征，具备更强的知识迁移和泛化能力；该方法基于端到端的神经网络，速度快，精度高，达到了目前最好的零样本识别结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于自监督域感知网络的零样本训练方法的流程图。

具体实施方式