[发明专利]基于双超图神经网络的场景图像分类方法及系统

说明书

本发明公开了一种基于双超图神经网络的场景图像分类方法及系统，所述方法包括：根据获取的待分类智能视频监控场景图像得到对应的特征矩阵；将特征矩阵输入训练好的场景图像分类模型的多视图超图学习网络中，通过将多视图超图学习网络在多个视图上学习到的超图进行融合，得到超图关联矩阵，每个视图均采用不同的可学习相似度度量函数；将特征矩阵和超图关联矩阵输入训练好的场景图像分类模型的密度感知超图注意力网络中，利用密度感知注意力机制挖掘数据中的密度信息以进行超图表示学习，得到待分类场景图像的类别预测结果。本发明利用双超图神经网络有效地组合多视图超图学习网络和密度感知超图注意力网络，能够实现更高的场景图像分类性能。

技术领域

本发明涉及场景图像分类技术领域，特别是涉及一种基于双超图神经网络的场景图像分类方法、系统、电子设备及存储介质。

背景技术

场景图像分类能够为智能视频监控中收集到的事件、场景数据进行智能地识别和分类，从而提高智能视频监控的效率。然而，当前主流的场景图像分类技术大多倾向于对各个场景图像进行单独处理，忽略了同类场景图像间的共性特征，因此，其所能获得的特征信息较为有限，特别是在标记样本较少的情况下，这大大限制了场景图像分类的性能。

图神经网络由于其能够有效地挖掘和处理数据中的图结构信息而成为了当前研究的热点。图神经网络已经广泛用于文献分类、图像分类、个性化推荐、风险预测等多个研究领域。图神经网络不仅能处理单个样本的特征信息，还考虑样本之间的关联关系，能够获得比单独处理单个样本更多的有用信息。因此，将图神经网络用于智能视频监控中场景图像分类能够有效地突破上述局限。基于图神经网络的场景图像分类方法不仅能够处理单个场景图像样本的特征信息，还能够有效地利用样本间的关联关系挖掘同类场景图像间的共性特征。因此，相比于传统的方法，基于图神经网络的场景图像分类方法能够获得更多的有用的信息，特别是在标记样本较为有限的情况下，能够有效提高场景图像分类的性能。

基于这一思想，目前相继出现了部分相关方法的研究。其中大多数方法主要基于人工构建的图结构，例如k最近邻图。然而，人工构建的k最近邻图主要基于固定的单一的相似度度量函数，例如欧氏距离，这并不适合准确度量所有样本之间的相似性。并且，人工构建的图主要基于样本原始特征空间，而原始特征空间通常具有冗余的信息。因此，人工构建的图无法准确反映样本间的关联关系。此外人工构建的图对于下游的基于图神经网络的场景图像分类网络是次优的，并不适合该网络，从而限制了下游基于图神经网络的场景图像分类模型的性能。虽然已经出现了少部分可学习的图建模方法，但这些方法依然采用单一的相似度度量函数来衡量样本间的相似关系，这对于样本间相似性的度量依旧不够准确。因此，如何全面、准确地对场景图像进度图建模仍是一个具有挑战的问题。

另外，现有的基于图神经网络的场景图像分类方法大多仅关注数据间的成对关联。但在实际应用中，样本之间的关联并不止成对关系，往往是更为复杂的单对多或者多对多的多元关联关系。只探索样本两两之间的成对关系并将其建模为图，会丢失数据之间的高阶语义关联，尤其是对于图像数据集等复杂数据。除此之外，现有的基于图的场景图像分类方法仅利用表层的图结构信息，对图数据中隐含的信息缺乏深入挖掘利用。

发明内容

为了解决上述现有技术的不足，本发明提供了一种基于双超图神经网络的场景图像分类方法、系统、电子设备及存储介质，所述双超图神经网络包括多视图超图学习网络和密度感知超图注意力网络，能够同时利用场景图像的特征信息和相互之间的关联关系，能够获得比单独处理单个场景图像更多的有用信息。双超图神经网络通过有效地组合多视图超图学习网络和密度感知超图注意力网络，能够实现更高的场景图像分类性能。

本发明的第一个目的在于提供一种基于双超图神经网络的场景图像分类方法。

本发明的第二个目的在于提供一种基于双超图神经网络的场景图像分类系统。

本发明的第三个目的在于提供一种电子设备。

本发明的第四个目的在于提供一种存储介质。