[发明专利]一种基于ResNet-GCN网络的图像情感分类方法

摘要

本发明公开了一种基于ResNet‑GCN网络的图像情感分类方法，包括以下步骤：(1)图像情感分类网络设计：由前部分结构ResNet‑50网络和后部分结构GCN网络组成；(2)图像情感分类框架设计：包含一个图像情感分类网络ResNet‑GCN和一个用于决策融合网络特征的支持向量分类器；(3)对原始图像进行显著主体提取和金字塔切割；(4)训练图像情感分类网络；(5)测试图像情感分类框架；(6)用户图像使用已训练好的图像情感分类框架进行分类，实现图像情感分类。本发明得到的图像情感分类结果符合人类情感标准，判断过程无需人工参与，实现了机器全自动图像情感分类。

主权项

1.一种基于ResNet‑GCN网络的图像情感分类方法，其特征在于，包括如下步骤：(1)图像情感分类网络设计：所述图像情感分类网络由前后两部分结构组成，前部分为残差网络ResNet‑50结构，后部分为全卷积网络GCN结构；所述ResNet‑50结构包含第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第五卷积层组、1个完全连接层和1个Softmax层；所述GCN结构四个GCN结构，分别接在前部分结构ResNet‑50的第二、三、四和五卷积层组之后；每个GCN结构后紧跟一个池化层，其中最后一个池化层连接到前部分的完全连接层的神经元中；所述完全连接层根据图像情感种类，将神经元数量设为图像情感类别数N；所述第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第五卷积层组的输出通道，根据图像情感种类，将其设为图像情感类别数N；(2)图像情感分类框架设计：所述图像情感分类框架包含一个图像情感分类网络和一个支持向量分类器；(3)图像预处理：对原始图像进行显著主体提取、金字塔切割，共得到包含原始图像在内的三种输入图像；(4)训练图像情感分类网络：基于输入的原始图像，有监督地训练图像情感分类网络；(5)测试图像情感分类框架：针对原始图像、显著主体提取、金字塔切割三形式的输入图像，图像情感分类网络学习相应的情感特征，决策融合三种情感特征，训练和测试SVM分类器并输出分类结果；其中，情感特征包含原始图像特征、显著主体图特征和金字塔分割子图特征；(6)对用户图像使用已训练好的图像情感分类框架，实现图像的情感分类。