[发明专利]基于双超图神经网络的场景图像分类方法及系统

权利要求书

1.一种基于双超图神经网络的场景图像分类方法，其特征在于，所述方法包括：

获取待分类场景图像；根据待分类场景图像，得到场景图像对应的特征矩阵；所述待分类场景图像至少为一张，且均为智能视频监控场景图像；

将所述特征矩阵输入训练好的双超图神经网络的多视图超图学习网络中，通过将多视图超图学习网络在多个视图上学习到的超图进行融合，得到超图关联矩阵；所述多视图超图学习网络中的每个视图均采用不同的可学习相似度度量函数；

将所述特征矩阵和超图关联矩阵输入训练好的双超图神经网络的密度感知超图注意力网络中，利用密度感知注意力机制挖掘数据中的密度信息以进行超图表示学习，得到待分类场景图像的类别预测结果；所述密度感知注意力机制用于将超图中顶点/超边的密度信息融合到顶点/超边密度注意力中。

2.根据权利要求1所述的场景图像分类方法，其特征在于，所述将所述特征矩阵输入训练好的双超图神经网络的多视图超图学习网络中，通过将多视图超图学习网络在多个视图上学习到的超图进行融合，得到超图关联矩阵，包括：

利用多视图融合模块对多视图超图学习网络中的每个视图上学习到的超图进行融合，得到第一超图关联矩阵；所述超图中的每个节点代表一个场景图像，超图中的超边表示场景图像之间的高阶关联关系；

根据所述特征矩阵，计算场景图像间的相似度；根据所述相似度构造超边，得到原始超图关联矩阵；

将所述第一超图关联矩阵和原始超图关联矩阵进行合并，得到超图关联矩阵。

3.根据权利要求2所述的场景图像分类方法，其特征在于，在多视图超图学习网络中的任意一个视图上学习到的超图，包括：

利用低维嵌入模块，将所述特征矩阵从原始特征空间映射到低维嵌入空间；

利用相似度学习模块，在低维嵌入空间中通过相似度度量函数学习场景图像间的相似度；

利用超边构建模块基于所学习到的相似度进行超边构建，得到该视图上学习到的超图结构。

4.根据权利要求3所述的场景图像分类方法，其特征在于，所述在低维嵌入空间中通过相似度度量函数学习场景图像间的相似度，包括：

通过相似度度量函数，计算场景图像间的相似度，得到相似度矩阵；

对所述相似度矩阵进行稀疏采样，过滤掉低于第一预设阈值的相似度。

5.根据权利要求1～4任一项所述的场景图像分类方法，其特征在于，所述方法还包括：

根据所述特征矩阵和超图关联矩阵，利用超图信息传播机制获得顶点特征矩阵和超边特征矩阵。

6.根据权利要求5所述的场景图像分类方法，其特征在于，所述将所述特征矩阵和超图关联矩阵输入训练好的双超图神经网络的密度感知超图注意力网络中，利用密度感知注意力机制挖掘数据中的密度信息以进行超图表示学习，得到待分类场景图像的类别预测结果，包括：

将所述顶点特征矩阵和超边特征矩阵输入密度感知超图注意力网络中的第一密度感知超图注意力层中，利用密度感知注意力机制得到该层的特征嵌入；

将第一密度感知超图注意力层得到的所述特征嵌入输入密度感知超图注意力网络中的第二密度感知超图注意力层中，根据第二密度感知超图注意力层的输出，预测类别结果。