[发明专利]一种人体意图识别方法、系统以及存储介质

说明书

本发明公开了一种人体意图识别方法，所述方法包括：实时采集当前人体的特征信号；基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标；识别所述多源数据特征以及眼睛选定的注视点坐标，生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本；针对所述语音文本以及场景图像描述文本进行实体抽取，生成所述语音文本以及场景图像描述文本对应的实体片段；采用共指消解算法处理所述实体片段，生成目标对象；基于所述语音文本、场景图像描述文本以及目标对象，生成人体意图识别结果。因此，采用本申请实施例，通过针对特定场景的口眼协同交互信息处理后得到识别结果，从而提升了机器识别人体意图的准确率。

技术领域

本发明涉及人工智能技术领域，特别涉及一种人体意图识别方法、系统以及存储介质。

背景技术

近年来，随着新型穿戴式传感技术手段和人工智能技术的快速发展，涌现出大批学者和研究机构基于眼、口等生理交互媒介开展的语音和眼动等人机自然交互研究。事实上，人与人之间的交互是一个口眼协同并用的过程，多元媒介信息的互补特性使人与人之间的语义表达更加高效畅通。

在现有技术中，人与操作设备(如头戴显示设备、计算机、手机等生活用设备)之间的交互主要是通过手工操作的交互方式。例如，人与头戴显示设备进行交互时，可以利用物理按键进行提高音量、播放或暂停等操作；人与计算机进行交互时，需要手工操作键盘或特定标识进行播放或打开等操作。由于这种交互方式智能性低，浪费时间，从而降低了人机交互的效率。

因此，如何建立人机之间的共识，提高机器对人体意图的识别效率，是学术界亟待突破的难题。

发明内容

本申请实施例提供了一种人体意图识别方法、系统以及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种人体意图识别方法，所述方法包括：

实时采集当前人体的特征信号；

基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标；

识别所述多源数据特征以及眼睛选定的注视点坐标，生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本；

针对所述语音文本以及场景图像描述文本进行实体抽取，生成所述语音文本以及场景图像描述文本对应的实体片段；

采用共指消解算法处理所述实体片段，生成目标对象；

基于所述语音文本、场景图像描述文本以及目标对象，生成人体意图识别结果。

可选的，所述生成人体意图识别结果之后，还包括：

将所述人体意图识别结果进行显示并发送至外接设备，控制所述外接设备执行功能。

可选的，所述特征信号包括音频信号、唇部图像信号、面部肌电信号和眼睛图像信号；

所述基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标，包括：

分别将所述音频信号、唇部图像信号、面部肌电信号进行数据预处理，生成所述当前人体对应的多源数据特征；

对所述眼睛图像信号进行注视点坐标提取，生成所述当前人体对应的眼睛选定的注视点坐标。

可选的，所述分别将所述音频信号、唇部图像信号、面部肌电信号进行数据预处理，生成所述当前人体对应的多源数据特征，包括：

对所述音频信号进行分帧和加窗处理，生成音频信号数据特征；