[发明专利]一种人体活动识别方法、装置、设备及可读存储介质

说明书

本申请涉及一种人体活动识别方法、装置、设备及可读存储介质，涉及智能感知技术领域，包括对目标动作的原始骨骼关节特征进行特征提取，得到骨骼关节特征；对目标动作的原始加速度特征进行特征提取，得到加速度特征；对所述骨骼关节特征和所述加速度特征进行融合处理，得到多模态融合特征；基于所述多模态融合特征进行识别，得到目标动作对应的识别结果。本申请通过融合骨骼关节数据和加速度数据实现了人体活动的多模态识别，以解决单模态识别效果差的问题，进而有效提升人体活动识别的准确度。

技术领域

本申请涉及智能感知技术领域，特别涉及一种人体活动识别方法、装置、设备及可读存储介质。

背景技术

人体活动识别是智能感知技术领域中比较经典的问题，即利用各种感知方法来获取与活动有关的信息。相关技术中，往往通过单一的模态进行人体活动的识别，以致人体活动的识别效果差，进而造成识别准确度低的问题。由此可见，如何提高人体活动的识别准确度是当前亟需解决的问题。

发明内容

本申请提供一种人体活动识别方法、装置、设备及可读存储介质，以解决相关技术中由于通过单一模态进行人体活动识别而导致的识别准确度低的问题。

第一方面，提供了一种人体活动识别方法，包括以下步骤：

对目标动作的原始骨骼关节特征进行特征提取，得到骨骼关节特征；

对目标动作的原始加速度特征进行特征提取，得到加速度特征；

对所述骨骼关节特征和所述加速度特征进行融合处理，得到多模态融合特征；

基于所述多模态融合特征进行识别，得到目标动作对应的识别结果。

一些实施例中，所述对目标动作的原始骨骼关节特征进行特征提取，得到骨骼关节特征，包括：

基于预设时空骨骼模型中的通道压缩激励块对所述原始骨骼关节特征进行通道维度上的压缩、激励和加权处理，得到第一特征；

基于预设时空骨骼模型中的时间压缩激励块对所述第一特征进行时间维度上的压缩、激励和加权处理，得到第二特征；

基于所述第二特征和所述原始骨骼关节特征得到骨骼关节特征。

一些实施例中，所述基于预设时空骨骼模型中的通道压缩激励块对所述原始骨骼关节特征进行通道维度上的压缩、激励和加权处理，得到第一特征，包括：

所述通道压缩激励块在长度维度和宽度维度上对所述原始骨骼关节特征进行压缩和激励处理，得到第一激活后特征；

所述通道压缩激励块在时间维度、长度维度和宽度维度上对所述原始骨骼关节特征进行压缩和激励处理，得到第二激活后特征；

对所述第一激活后特征和所述第二激活后特征进行组合，得到组合后特征；

对所述组合后特征和所述原始骨骼关节特征进行加权，得到第一特征。

一些实施例中，所述对目标动作的原始加速度特征进行特征提取，得到加速度特征，包括：

基于Transformer模型对目标动作的原始加速度特征进行特征提取，得到加速度特征。

一些实施例中，所述对所述骨骼关节特征和所述加速度特征进行融合处理，得到多模态融合特征，包括：

对所述骨骼关节特征进行卷积和平均池化处理，得到新的键向量和新的查询向量，并基于所述骨骼关节特征及其对应的学习参数矩阵得到新的值向量；

基于所述新的键向量和所述新的值向量分别对所述Transformer模型中的键向量和值向量进行更新，得到第一Transformer模型；