[发明专利]一种神经网络模型、动作识别方法、装置及存储介质

说明书

本发明提供了一种神经网络模型、动作识别方法、装置及存储介质，神经网络模型包括多个卷积模块、输出模块、多个注意力子模块和分类模块，多个卷积模块和输出模块依次连接，且每个卷积模块的输出端分别连接至一个注意力子模块的输入端，每个注意力子模块的输入端还分别与输出模块的输出端连接，注意力子模块的输出端与分类模块的输入端连接；注意力子模块，用于获取各个卷积模块输出的局部特征向量和输出模块输出的全局特征向量，分别计算各个局部特征向量和全局特征向量之间的兼容性分数，根据各个局部特征向量和对应的兼容性分数生成新特征向量；分类模块，根据新特征向量确定当前人体动作。本发明的技术方案能够提高人体动作的识别精度。

技术领域

本发明涉及神经网络技术领域，具体而言，涉及一种神经网络模型、动作识别方法、装置及存储介质。

背景技术

近年来，随着移动技术的发展，基于可穿戴设备的人体动作识别(Human ActivityRecognition，HAR)成为了人工智能和模式识别领域的新研究点，被广泛地应用在运动活动检测、智能家居和健康支持等领域。

目前，常采用支持向量机、主成分分析和随机森林等机器学习方法来进行识别，通过手动提取特征，将提取的特征输入到决策表、K近邻(KNN)、决策树和朴素贝叶斯、多层感知(MLP)和逻辑回归等分类器识别人体动作。但是，人工提取特征工作量大、标注困难，且上述分类器在识别类似动作方法准确度较低。

发明内容

本发明解决的问题是如何提高人体动作的识别精度。

为解决上述问题，本发明提供一种神经网络模型、动作识别方法、装置及存储介质。

第一方面，本发明提供了一种神经网络模型，包括多个卷积模块、输出模块、多个注意力子模块和分类模块，多个所述卷积模块和所述输出模块依次连接，且每个所述卷积模块的输出端分别连接至一个所述注意力子模块的输入端，每个所述注意力子模块的输入端还分别与所述输出模块的输出端连接，所述注意力子模块的输出端与所述分类模块的输入端连接；

多个所述卷积模块，用于根据获取的传感器数据逐层进行特征提取，各个所述卷积模块分别输出一个局部特征向量，其中，所述传感器数据由布设在人体上多个位置的传感器检测获得；

所述输出模块，用于对最后一个所述卷积模块的输出数据进行处理，输出全局特征向量；

所述注意力子模块，用于获取各个所述卷积模块输出的所述局部特征向量和所述输出模块输出的所述全局特征向量，分别计算各个所述局部特征向量和所述全局特征向量之间的兼容性分数，根据各个所述局部特征向量和对应的所述兼容性分数生成新特征向量；

所述分类模块，根据所述新特征向量确定当前人体动作。

可选地，所述卷积模块包括一个或多个卷积层、池化层和展平层，各个所述卷积层依次连接，且最后一个所述卷积层的输出端分别连接至所述池化层的输入端和所述展平层的输入端，所述池化层的输出端连接至另一个所述卷积模块的输入端或所述输出模块的输入端，所述展平层的输出端连接至一个所述注意力子模块的输入端；

所述卷积层，用于对输入数据进行特征提取，获得所述特征矩阵；

所述池化层，用于对所述特征矩阵进行降维，获得降维后的特征矩阵，并将所述降维后的特征矩阵传输至相连的下一个所述卷积模块或所述输出模块；

所述展平层，用于将所述特征矩阵展平成所述局部特征向量。

可选地，所述注意力子模块具体用于：

将各个所述局部特征向量分别和所述全局特征向量进行拼接，获得多个拼接向量；

根据预设的权重向量和所述拼接向量分别确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数。

可选地，所述注意力子模块具体用于：