[发明专利]一种基于图卷积神经网络的图像分类方法及系统

说明书

本发明提供一种基于图卷积神经网络的图像分类方法及系统，具体包括：用爬虫根据图像标签在网络上爬取图像对应一段文本信息；对所述文本信息预处理，得到词语；计算词语与词语之间的PMI值、图像与词语之间的TF‑IDF值；根据所述PMI值和TF‑IDF成图，构成图像与词语作为结点的图结构数据；利用图卷积神经网络对图结构数据进行处理，得到图像分类结果；本发明的有益效果是：在原有的图像数据上，为每张图像添加对应的文本描述信息，利用图卷积神经网络提高图像分类准确率。

技术领域

本发明涉及图像分类领域，尤其涉及一种基于图卷积神经网络的图像分类方法及系统。

背景技术

随着计算机网络的不断发展，人们每天从互联网获得大量的信息，这些信息包含了文本信息、图像信息、音频信息、视频信息等等，如何更好地获取人们感兴趣的信息，就需要对这些信息进行分类。目前针对文本信息的分类技术相对来说比较成熟，但其他三类信息的分类技术却有所欠缺，于是本人提出一种基于图卷积神经网络的图像分类方法。

现有的图像分类方法大都局限于如何更有效地利用图像本身的视觉信息，却忽略了引入外部信息来丰富文本信息的想法，这样导致文本分类准确率不。

发明内容

本发明的目的在于针对上述技术缺陷，提供一种基于图卷积神经网络的图像分类方法及系统，具体包括以下步骤：

S1：获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；

S2：使用爬虫在网络上爬取与每个文本标签对应的一段文本；

S3：用自然语言处理工具对爬取到的文本进行预处理，得到与爬取到的文本相关的不同词语；

S4：计算所有词语间的PMI值，代表词语间的贡献强度；

S5：计算图像与词语间的TF-IDF值，代表图像与词语间的关联强度；

S6：根据得到的PMI值与TF-IDF值成图，得到图结构数据；

S7：利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；

S8：利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量；

S9：利用图卷积神经网络对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。

进一步地，步骤S2中，使用爬虫在网络上爬取与每个文本标签对应的一段文本时，只保留一段相关文本。

进一步地，步骤S3中，所述预处理依次包括：分词处理，除去标点和停用词。

进一步地，步骤S4中，计算PMI值的公式为：

上式中，#W(i,j)表示语料中同时包含词语i与词语j的滑动窗口数目，#W表示滑动窗口的总数，#W(i)表示包含词语i的滑动窗口的数目。

进一步地，步骤S5中，计算TF-IDF值的具体公式为：

TF-IDF＝TF×IDF

上式中，m为某个图像中词语i出现的次数，n为该图像这个所有词语的数目；p为图像总数，q为包含词语i的图像数目。

进一步地，步骤S6中根据得到的PMI值与TF-IDF值成图，具体为：若两个词语间的PMI值大于0则代表两个词语的结点间有一条连边，边的权重即为PMI值；若图像与词语间的TF-IDF值大于0，则代表图像与词语的结点间有一条连边，边的权重即为TF-IDF值。