[发明专利]一种人体意图识别方法、系统以及存储介质

权利要求书

1.一种人体意图识别方法，其特征在于，所述方法包括：

实时采集当前人体的特征信号；

基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标；

识别所述多源数据特征以及眼睛选定的注视点坐标，生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本；其中，

所述识别所述多源数据特征以及眼睛选定的注视点坐标，生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本，包括：

将所述多源数据特征进行稠密编码，生成编码后的多源数据特征；

将所述编码后的多源数据特征输入至预先训练的Bert网络模型中，生成所述多源数据特征对应的语音信息；

利用集束搜索算法的n-gram语言模型将所述多源数据特征对应的语音信息进行文本合成，生成所述多源数据特征对应的语音文本；

对所述眼睛选定的注视点坐标进行编码，生成所述注视点坐标对应的场景图像描述文本；其中，

所述对所述眼睛选定的注视点坐标进行编码，生成所述注视点坐标对应的场景图像描述文本，包括：

根据所述眼睛选定的注视点坐标生成眼睛选定的场景图像；

利用ResNet101的Fast R-CNN算法对所述场景图像依次进行图像分割、目标检测以及坐标信息识别，生成编码信息；

基于所述编码信息进行编码建模，生成所述注视点坐标对应的场景图像描述文本；

针对所述语音文本以及场景图像描述文本进行实体抽取，生成所述语音文本以及场景图像描述文本对应的实体片段；

采用共指消解算法处理所述实体片段，生成目标对象；

基于所述语音文本、场景图像描述文本以及目标对象，生成人体意图识别结果；其中，

所述基于所述语音文本、场景图像描述文本以及目标对象，生成人体意图识别结果，包括：

针对所述语音文本、场景图像描述文本以及目标对象进行文本语义分析，生成文本的编码；

将所述文本的编码和预先定义的元组进行关联，生成可执行的实例化元组；

根据所述实例化元组生成语义分析结果和表征结果；

将所述语义分析结果和表征结果确定为人体意图识别结果。

2.根据权利要求1所述的方法，其特征在于，所述生成人体意图识别结果之后，还包括：

将所述人体意图识别结果进行显示并发送至外接设备，控制所述外接设备执行功能。

3.根据权利要求1或2所述的方法，其特征在于，所述特征信号包括音频信号、唇部图像信号、面部肌电信号和眼睛图像信号；

所述基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标，包括：

分别将所述音频信号、唇部图像信号、面部肌电信号进行数据预处理，生成所述当前人体对应的多源数据特征；

对所述眼睛图像信号进行注视点坐标提取，生成所述当前人体对应的眼睛选定的注视点坐标。

4.根据权利要求3所述的方法，其特征在于，所述分别将所述音频信号、唇部图像信号、面部肌电信号进行数据预处理，生成所述当前人体对应的多源数据特征，包括：

对所述音频信号进行分帧和加窗处理，生成音频信号数据特征；

提取所述面部肌电信号的梅尔倒谱系数，生成面部肌电信号数据特征；

将所述唇部 图像信号进行灰度图转化，并使用滤波器进行滤波，生成唇部 图像信号数据特征；

将所述音频信号数据特征、面部肌电信号数据特征以及唇部 图像信号数据特征确定为所述当前人体对应的多源数据特征。

5.根据权利要求3所述的方法，其特征在于，所述对所述眼睛图像信号进行注视点坐标提取，生成所述当前人体对应的眼睛选定的注视点坐标，包括：

将所述眼睛图像信号输入预先训练的注视点映射模型中，生成所述当前人体对应的眼睛选定的注视点坐标。