[发明专利]一种基于知识图谱的小样本图片识别方法及系统

说明书

本发明提出一种基于知识图谱的小样本图片识别方法及系统，包括：获取包含训练图片集中所有种类标签的知识图谱，通过图神经网络对知识图谱进行特征提取，得到知识图谱的节点特征，通过求和网络对节点特征和训练图片集的均值特征进行求和处理，得到各组训练图片集的最终训练特征；以与最终测试特征相似度最高的最终训练特征对应种类标签为训练图片集的识别结果，并以训练图片集的类别标签作为训练目标，优化更新卷积神经网络、图神经网络和求和网络，保存当前卷积神经网络、图神经网络和求和网络作为图片识别模型；将待识别图片输入图片识别模型，得到待识别图片的种类作为图片识别结果。

技术领域

本发明涉及机器学习人工智能技术领域，并特别涉及一种基于知识图谱的小样本图片识别方法及系统。

背景技术

关于小样本分类问题已经研究了很多年，大体上可以分为两大类，基于度量学习的方法、基于优化的方法。

度量学习的方法基于度量距离函数，学习一个公共特征空间，在该特征空间中可以区分类别。最具有代表性的就是原型网络，如图1所示，我们有少量带标签的训练样本用不同灰度表示，以及一个测试样本，用白色表示，对于训练样本，每一个类别计算一个原型，也就是用属于同一类的所有样本的特征求平均，得到每个类别的原型，距离测试样本最近的原型的类别就是预测的测试样本的类别，原文中使用欧式距离。其他类似的方法还有匹配网络、关系网络等等。

基于优化的方法设计一种优化器作为元学习器或者学习一个好的初始化。设计一种优化器最为出名的方法就是Meta-LSTM，如图2所示，将每次训练的样本等信息输入一个LSTM，该LSTM的输出作为模型梯度的更新。MAML是学习一个好的初始化最具代表性的方法，思想如图3所示，不同的任务有不同的更新方法，使用多个任务梯度共同的方向作为公共参数的更新方向。

上述几个经典的少样本学习的方法，这些方法有个共同的假设，所有样本都符合独立同分布的假设。但真实场景中，通常会从不同的渠道搜集样本，这样导致属于同一个类的少数几个样本也有可能来自不同的分布(数据偏移问题)，这样直接训练分类器容易导致分类错误，如图4所示。在图4(a)中，一个二分类任务，训练集包含两个样本，一个卡通猫和一个卡通老虎，测试样本为一个卡通猫，都是卡通图片，很容易将测试集分类正确。再看图(b)，训练集是一个卡通猫和一个真实老虎，测试集是一个真实猫，这样更容易将测试集分类错误。

发明内容

本发明致力于解决少样本分类中的数据偏移问题。分类问题吸引了大量研究者的注意，训练一个好的分类器通常需要大量带标签的数据，在现实的应用中，获得带标签数据需要耗费大量人力物力。我们是否可以使用少量样本学习一个好的分类器，这就是少样本学习问题。已经有大量关于小样本学习的研究，但是这些研究通常假设少量训练样本是独立同分布的。事实上，这个条件很难满足，数据偏移在很多场景都存在，比如ImageNet数据集，实际上它的数据通过不同的渠道搜集，这个数据集内部就存在数据偏移，而该数据集通常用来测试小样本学习方法的效果。所以当小样本学习问题中，少量训练样本来自不同的数据分布，这样学习得到的分类器效果不令人满意。本发明致力于避免数据偏移对小样本学习性能的影响。

现有的少样本学习大多没有考虑少量样本中存在数据偏移的情况，但是真实场景中，数据往往存在数据偏移。另外本发明还提出了图原型网络，引入了不受数据偏移的知识图谱来缓解数据偏移的影响。

针对现有技术的不足，本发明提出一种基于知识图谱的小样本图片识别方法，其中包括：

步骤1、获取具有类别标签的多组训练图片集，每组训练图片集具有其对应种类标签，通过该卷积神经网络提取该训练图片集中每一张训练图片的特征，根据训练图片集中图片总数，求和训练图片的特征并求平均，得到每组训练图片集的均值特征；

步骤2、获取包含训练图片集中所有种类标签的知识图谱，通过图神经网络对该知识图谱进行特征提取，得到该知识图谱的节点特征，通过求和网络对该均值特征和该节点特征进行求和处理，得到各组训练图片集的最终训练特征；