[发明专利]人机交互方法及系统

说明书

本申请实施例提供一种人机交互方法及系统。人机交互方法包括：在人机交互界面上，显示至少一个待选对象；对用户的脸部区域进行图像采集，以获得人脸图像帧；根据所述人脸图像帧，识别所述用户的头部动作为对象选择动作；基于所述对象选择动作，标记所述至少一个待选对象中的第一对象为选中状态。采用本申请实施例提供的技术方案可基于用户的头部动作实现人机交互，且对硬件要求较低，算法难度较低，整体实现成本较低，普适性较强。

技术领域

本申请涉及人机交互技术领域，尤其涉及一种人机交互方法及系统。

背景技术

随着智能化信息技术的发展，新的交互方式层出不穷，特别是出现了多种非接触式的交互方式，例如基于语音控制的交互方式、基于体感控制的交互方式。

在基于体感控制的非接触式人机交互方案中，眼控识别是重要方向之一，其原理是通过捕捉用户的眼球运动作为图形化界面的输入方式，实现人机交互。现有眼控识别对采集图像的分辨率要求较高，因此需要采用分辨率高的摄像机或摄像头，或者需要红外光源等，实现成本较高，而且为保证眼控的使用效果，使用眼控方法需要事先用户配合进行校准，使用过程中需尽量限制头部的运动，故其算法也较为复杂，对设备性能要求较高，在一般设备上无法实施，普适性较差。

发明内容

本申请的多个方面提供一种人机交互方法及系统，用以提供一种普适性较强的人机交互方案，降低人机交互的成本和实现难度，适用于各种设备。

本申请实施例提供一种人机交互方法，包括：

在人机交互界面上，显示至少一个待选对象；

对用户的脸部区域进行图像采集，以获得人脸图像帧；

根据所述人脸图像帧，识别所述用户的头部动作为对象选择动作；

基于所述对象选择动作，标记所述至少一个待选对象中的第一对象为选中状态。

在一可选实施方式中，所述对象选择动作为头部转动动作；

所述第一对象的选中状态的标记步骤，包括：

根据所述头部转动动作的转动方向，确定所述用户的面部朝向；

根据面部朝向与待选对象之间的相对位置关系，确定所述至少一个待选对象中对应于所述面部朝向的对象，作为所述第一对象；

标记所述第一对象为选中状态。

在一可选实施方式中，在标记所述第一对象为选中状态后，所述方法还包括：

继续对所述用户的脸部区域进行图像采集，以获得新的人脸图像帧；

根据所述新的人脸图像帧，识别所述用户的头部动作为选择确认动作或选择取消动作；

基于所述选择确认动作或选择取消动作，确认或取消所述第一对象的选中状态。

在一可选实施方式中，所述选择确认动作的识别步骤，包括：

根据选定特征点在所述新的人脸图像帧中的坐标，计算所述选定特征点的水平方向坐标变化幅度和垂直方向坐标变化幅度；

若所述选定特征点的垂直方向坐标变化幅度与所述选定特征点的水平方向坐标变化幅度满足第一比例关系，且所述垂直方向坐标变化幅度大于垂直方向坐标变化幅度阈值，确定所述用户的头部动作为点头动作，所述点头动作为所述选择确认动作；

所述选择取消动作的识别步骤，包括：

根据选定特征点在所述新的人脸图像帧中的坐标，计算所述选定特征点的水平方向坐标变化幅度和垂直方向坐标变化幅度；