[发明专利]一种基于自注意力机制的神经网络模型的训练方法

说明书

本发明公开了一种基于自注意力机制的神经网络模型的训练方法，包括：获取训练集，训练集包括雷达回波信号，雷达回波信号为通过人体的关节点反射后接收到的信号；将训练集输入到基于自注意力机制的神经网络模型中，其中，神经网络模型包括姿态编码器和姿态解码器；通过姿态编码器处理训练集，得到携带多个姿态特征的编码信号；姿态解码器将编码信号与关节点查询信号进行运算，运算后的结果经姿态解码器进行处理后，输出关节点坐标判别结果；将判别结果与训练集输入到神经网络模型的损失函数中，输出损失结果；根据损失结果更新神经网络模型的参数。本发明同时还公开了一种基于自注意力机制的穿墙雷达人体姿态重构方法及系统。

技术领域

本发明涉及神经网络模型领域，尤其涉及一种基于自注意力机制的神经网络模型的训练方法、人体姿态重构方法及系统。

背景技术

人体姿态重构是计算机视觉领域研究的关键问题之一，旨在从图像中估计人体的若干关节点，由这些关节点组成完整的人体骨架结构，并最终形成人体姿态，是实现人体感知的重要问题。但是人类的视觉系统和光学系统无法直接观测到墙后的人体目标，使得有墙壁等障碍物遮挡时的人体姿态几乎无法重构出来。穿墙雷达能够穿透墙体等障碍物并反射人体信号，若能使用穿墙雷达对墙后人体进行姿态重构，将对生命探测、行为识别等领域产生重大影响。但由于穿墙雷达的成像分辨率相较于光学系统更低，直接从雷达信号中成像并进行姿态重构较为困难，且需要大量人工处理阶段，需耗费大量时间和精力。近年来深度学习技术在模式识别与信号处理领域飞速发展，许多研究人员开始研究基于深度学习技术的穿墙雷达人体姿态重构方法。

目前为穿墙雷达设计的无论是非深度学习还是基于深度学习的人体姿态重构方法都存在一些缺陷，将其归纳总结如下：(1)传统的穿墙雷达人体姿态重构方法直接从雷达成像信号中人工分辨目标姿态，分辨准确率低且耗费时间精力；(2)基于卷积神经网络的穿墙雷达人体姿态重构方法相较于传统方法具有更高的重构准确率和速度，但仍需引入成像算法，无法实现端到端的识别；(3)目前仍然缺少合适的穿墙雷达人体姿态重构方法，既能兼顾准确率和速度，又能实现端到端的处理。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于自注意力机制的神经网络模型的训练方法，人体姿态重构方法及系统，以期至少部分地解决上述提及的技术问题中的至少之一。

根据本发明公开的一个方面，提供了一种基于自注意力机制的神经网络模型的训练方法，包括：获取训练集，训练集包括雷达回波信号，雷达回波信号为通过人体的关节点反射后接收到的信号；将训练集输入到基于自注意力机制的神经网络模型中，其中，神经网络模型包括姿态编码器和姿态解码器；通过姿态编码器处理所述训练集，得到携带多个姿态特征的编码信号；姿态解码器将所述编码信号与关节点查询信号进行运算，运算后的结果经姿态解码器进行处理后，输出关节点坐标判别结果；将判别结果与训练集输入到所述神经网络模型的损失函数中，输出损失结果；根据损失结果更新所述神经网络模型的参数。

根据本发明公开的实施例，其中，在上述训练方法中，获取训练集包括：预先选定人体的多个关节点；利用光学成像系统捕捉墙后人体的关节点信息；计算关节点信息生成关节点坐标信息；利用穿墙雷达发出探测信号，探测墙后人体在预设姿态下的关节点信息；利用穿墙雷达采集所述雷达回波信号；

根据本发明公开的实施例，为所述雷达回波信号添加标签包括：将用于估计人体三维姿态的关节点坐标信息与雷达回波信号通过时间标记进行同步对齐。

根据本发明公开的实施例，在上述训练方法中，损失函数采用L2损失函数作为神经网络模型的总损失函数，总损失函数如式(1)所示：

其中y、分别表示原始标记和神经网络模型重构的关节点坐标，N是训练集的样本总数。

根据本发明公开的实施例，神经网络模型的总损失函数采用Adam算法进行梯度更新。