[发明专利]一种实时手语智能识别方法、装置及系统

权利要求书

1.一种实时手语智能识别方法，其特征在于，包括：

获取动态骨架数据，所述动态骨架数据包括手语关节数据和手语骨骼数据；

对所述手语关节数据和手语骨骼数据进行数据融合，形成融合后的动态骨架数据，即手语关节-骨骼数据；

将所述手语关节-骨骼数据分成训练数据和测试数据；

获取时空注意力的图卷积神经网络模型，并利用所述训练数据训练所述时空注意力的图卷积神经网络模型，获得训练好的时空注意力的图卷积神经网络模型；

将所述测试数据输入至训练好的时空注意力的图卷积神经网络模型，输出手语分类的结果，完成实时手语智能识别；

所述时空注意力的图卷积神经网络模型包括顺次相连的归一化层、时空图卷积块层、全局平均池化层和softmax层；所述时空图卷积块层包括顺次设置的9个时空图卷积块；设定空间图卷积层有L个输出通道和个K个输入通道，则空间图卷积运算公式为：

其中，表示第L个输出通道的特征向量；表示K个输入通道的特征向量；M表示对一个手语所有节点数的划分方式；表示在第m子图上的第K行、第L列卷积核；

是一个N×N的邻接矩阵，表示第m子图上的数据节点之间的连接矩阵，r表示利用r阶切比雪夫多项式估计计算捕捉数据节点之间的邻接关系；

Q_m表示一个N×N的自适应权重矩阵，其全部元素初始化为1；

SA_m是一个N×N的空间相关性矩阵，用于确定在空间维度上两个顶点之间是否存在连接以及连接的强度，其表达式为：

其中，W_θ和分别表示嵌入函数θ(·)和φ(·)的参数；

TA_m是一个N×N的时间相关性矩阵，其元素代表了不同时间段上的节点i和j之间的连接的强弱，其表达式为：

其中，和W_ψ分别表示嵌入函数和ψ(·)的参数；

STA_m是一个N×N的时空相关性矩阵，用于确定时空中两个节点之间的相关性，其表达式为：

其中，W_θ和分别表示嵌入函数θ(·)和φ(·)的参数，和W_ψ分别表示嵌入函数和ψ(·)的参数，X_in表示空间图卷积输入的特征向量，表示对X_in转置后的数据。

2.根据权利要求1所述的一种实时手语智能识别方法，其特征在于，所述手语关节数据的获取方法包括：

利用openpose环境对手语视频数据进行人体关节点2D坐标估计，得到原始关节点坐标数据；

从所述原始关节点坐标数据中筛选出与手语本身的特征直接相关的关节点坐标数据，形成手语关节数据。

3.根据权利要求1或2所述的一种实时手语智能识别方法，其特征在于，所述手语骨骼数据的获取方法包括：

对所述手语关节数据进行向量坐标变换处理，形成手语骨骼数据，每个手语骨骼数据均由源关节和目标关节组成的2维向量表示，每个手语骨骼数据均包含源关节和目标关节之间的长度和方向信息。

4.根据权利要求1所述的一种实时手语智能识别方法，其特征在于：所述手语关节-骨骼数据的计算公式为：

其中，代表将手语关节数据和手语骨骼数据在第一维度上连接在一起，χ_joints、χ_bones、χ_joints-bonts分别表示手语关节数据、手语骨骼数据以及手语关节-骨骼数据。

5.根据权利要求1所述的一种实时手语智能识别方法，其特征在于：所述时空图卷积块包括顺次相连的空间图卷积层、归一化层、ReLU层、时间图卷积层，上一层的输出即为下一层的输入；各每个时空卷积块上均搭建有残差连接。