[发明专利]基于元学习的少样本图像情感分类方法

说明书

本发明公开了一种基于元学习的少样本图像情感分类方法，首先在源数据集上构建多个与目标数据集中具有情感标签信息的少样本图像类似的元学习任务，然后通过对这些元学习任务学习，得到一个良好的分类模型初始化参数，使得分类模型在面对少样本目标数据集中情感图像时能够取得较好的分类效果。本发明不仅可以大大缓解对标注数据的需要，而且基于元学习的方式也更加符合人类的学习方式(人类学习新任务都是基于已经学过任务去学习的)，可以使神经网络模型更加智能化。

技术领域

本发明属于机器学习(Machine Learning)中的神经网络(Neural Networks，NN)领域，涉及基于深度学习的图像情感分类方法，尤其涉及基于元学习的少样本图像情感分类。

背景技术

一些心理学研究表明，人类的情绪反应会随着不同的视觉刺激而变化，尤其是，图片对于吸引人们的注意力和激励他们采取行动是非常重要的。先前的各种研究表明，对于某些消费者来说，在无法真实地触摸产品的情况下，图片可以导致对更高产品质量的感知，这使得这种视觉暗示显得尤为重要。在电子商务场景中，图片也会对买家意向、信任度、风险降低、转化率和点击率产生影响。在一些慈善募捐活动中，“捐款呼吁材料”中积极和消极情绪的结合会激发观众捐款。

受心理学和艺术理论的启发，各种与视觉内容的情感反应相关的人为设计的图像特征被识别并纳入图像情感分类任务，例如8种不同的像素级别的特征(颜色、纹理、构图等)，并且相关研究也证明了它们对于分析图像情感非常重要。另一方面，随着机器学习(特别是深度学习)的发展，卷积神经网络在图像的语义内容识别方面取得了巨大成功，因此也产生了使用各种深度表示模型来提取层次化的潜在特征的模型，以提高图像的情感预测能力。例如结合卷积神经网络和支持向量机(SupportVectorMachine，SVM)来检测大规模图像数据集上的图像的情感。

然而现有图像情感分类方法都需要大量的有情感标签。而在实际应用中，具有情感标签的图像的数量往往是有限的，因为要获得足够的具有情感标签的图像需要大量的人力物力。因此，从有限资源中学习一个好的模型成为一个亟待解决的挑战。尤其当将从源数据集中学习到的模型转移到一个未知目标数据集(目标数据集仅有少量的图像具有情感标签信息)时候，由于源数据集的数据分布和目标数据集的数据分布可能非常不同，这种情况将会导致目标数据集的图像情感分类效果更加不理想。

发明内容

针对目前用于图像情感的深度学习方法，难以基于有限资源实现学习的问题，本发明目的旨在提供一种基于元学习的图像情感分类方法，能够实现少样本图像情感分类。

本发明主要利用元学习(MetaLearning)构建一套学习方法，此方法可以和任何卷积神经网络(ConvolutionalNeuralNetworks，CNN)结合使用，使其具有少样本(Few-shotLearning，FSL)图像情感分类(ImageEmotionClassification，IEC)的能力。这里的少样本图像分类指的是在仅给出少量的来自新的情感类别图像的情况下(只需要这少量图像的情感类别标签信息)，对剩余的情感类别图像进行情感识别。使用少样本图像情感分类的模型可以大大减少对人工标注数据的需要(人工标注数据需要大量的人力物力资源)。

本发明的思路为利用元学习的方法从一组有情感标签的图像数据集中学习一个先验知识，并且这个先验知识可以很容易地推广到其他未知的图像情感数据集上，而且新的图像情感数据集不再需要耗费大量的人力物力资源去标注大量的图像，只需要对每个类标注少量的图像就能得到较好的分类效果。

基于上述发明思路，本发明提出的基于元学习的少样本图像情感分类方法，所使用的数据集包括用于元学习的元训练阶段的源数据集和用于目标图像情感分类的目标数据集，所述基于元学习的少样本图像情感分类方法包括以下步骤：

S1利用源数据集和目标数据集构建元训练任务和元测试任务