[发明专利]基于选择聚集规范化图卷积网络的行为识别方法及系统

说明书

本发明提供了基于选择聚集规范化图卷积网络的行为识别方法及系统，包括：获取待识别用户的连续多帧行为骨架图；将连续多帧行为骨架图输入若干个依次连接的选择聚集规范化图卷积网络，逐层获得行为深度特征，行为深度特征依次经过全局平均池化层和全连接层后，得到待识别用户的行为类别；其中，每个选择聚集规范化图卷积网络均包括分解路径、联合路径和非局部路径，所述分解路径、联合路径和非局部路径同时捕获的输入特征的时空依赖特征，经相加操作后，经过多尺度时间卷积网络，得到所述行为深度特征。有效提高了行为识别的准确度。

技术领域

本发明属于行为识别技术领域，尤其涉及基于选择聚集规范化图卷积网络的行为识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在现有的行为识别方法中，基于距离的分组方式不能有效的表达骨架的空间几何关系，多分组图卷积的方法引入了过多的根节点自环；基于滑动窗的3D时空联合图卷积，构造复杂；而分步时空图卷积的方法损失了部分重要的关节时空特征；图卷积建模长距离的空间特征会受到近距离的节点特征的影响。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供基于选择聚集规范化图卷积网络的行为识别方法及系统，有效提高了行为识别的准确度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供基于选择聚集规范化图卷积网络的行为识别方法，其包括：

获取待识别用户的连续多帧行为骨架图；

将连续多帧行为骨架图输入若干个依次连接的选择聚集规范化图卷积网络，逐层获得行为深度特征，行为深度特征依次经过全局平均池化层和全连接层后，得到待识别用户的行为类别；

其中，每个选择聚集规范化图卷积网络均包括分解路径、联合路径和非局部路径，所述分解路径、联合路径和非局部路径同时捕获的输入特征的时空依赖特征，经相加操作后，经过多尺度时间卷积网络，得到所述行为深度特征。

进一步的，所述分解路径包括依次连接的基于邻居图选择聚集规范化的低级聚合层、逐点空间卷积高级聚合层和两个多尺度时间卷积网络。

进一步的，所述基于邻居图选择聚集规范化的低级聚合层的具体操作包括：

对于输入骨架图，根据邻居节点和根节点的距离和位置关系对邻居节点标号，实现邻居图的选择聚合规范化，将输入骨架图分解为若干个骨架子图的邻接矩阵；

基于各骨架子图的邻接矩阵，进行同标号节点的平均池化，得到输出特征。

进一步的，所述联合路径包括依次连接的基于邻居图选择聚集规范化的低级聚合层、时空联合卷积高级聚合层和两个多尺度时间卷积网络。

进一步的，所述非局部路径包括依次连接的基于非局部邻接矩阵的低级聚合层、逐点空间卷积高级聚合层和两个多尺度时间卷积网络。

进一步的，所述基于非局部邻接矩阵的低级聚合层的具体操作包括：

基于输入特征，计算节点间的相似性矩阵；

基于节点间的相似性矩阵，计算非局部邻接矩阵；

基于非局部邻接矩阵，计算输出特征。

进一步的，所述多尺度时间卷积网络采用多个并列设置的卷积块对输入特征进行操作，并对多个卷积块的输出进行通道连接后进行相加操作，得到输出特征。

本发明的第二个方面提供基于选择聚集规范化图卷积网络的行为识别系统，其包括：

数据获取模块，其被配置为：获取待识别用户的连续多帧行为骨架图；