[发明专利]基于手势交互的业务办理方法、装置及自助服务设备

权利要求书

1.一种基于手势交互的业务办理方法，其特征在于，所述方法包括：

响应针对请求办理业务客户的服务模式切换指令，触发自助服务设备进入手势交互服务模式，输出业务办理询问手势；

获取所述客户基于所述业务办理询问手势输入的办理业务答复手势；

基于所述办理业务答复手势，查询预先构建的业务知识库，输出针对所述客户请求办理业务的业务办理引导手势，以指导所述客户通过手势交互方式办理业务。

2.根据权利要求1所述的方法，其特征在于，所述响应针对请求办理业务客户的服务模式切换指令，包括：

获取请求办理业务客户的身份识别信息，确定所述身份识别信息满足手势交互条件，响应针对自助服务设备的手势交互服务模式的服务模式切换指令；或者，

检测到针对自助服务设备的手势交互服务模式预先配置的唤醒动作，响应针对所述手势交互服务模式的服务模式切换指令。

3.根据权利要求2所述的方法，其特征在于，所述获取请求办理业务客户的身份识别信息，确定所述身份识别信息满足手势交互条件，包括：

获取请求办理业务客户的人脸图像；

对所述人脸图像进行人脸识别，依据业务系统所存储的客户标注信息，确定所述客户被标注为语言障碍者或使用手势交互方式办理业务。

4.根据权利要求2所述的方法，其特征在于，所述获取请求办理业务客户的身份识别信息，确定所述身份识别信息满足手势交互条件，包括：

获取自助服务设备的业务办理区域的视频数据；

对所述视频数据进行分析，确定有客户进入所述业务办理区域，输出特定语音语句；

获取所述客户针对所述特定语音语句的反应视频数据；

对所述反应视频数据进行音频和身体动作识别，确定满足手势交互条件。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述输出业务办理询问手势，包括：

获取所述客户在业务系统上的历史交互信息；

对所述历史交互信息进行分析，获得所述客户请求办理的预测业务，以及对所述预测业务的预测操作；

构建针对所述预测业务的业务询问信息，以及针对所述预测操作的操作询问信息；

将所述业务询问信息转换为业务询问手势后输出；

将所述操作询问信息转换为操作询问手势后输出。

6.根据权利要求5所述的方法，其特征在于，所述获取所述客户基于所述业务办理询问手势输入的办理业务答复手势，包括：

获取所述客户基于所述业务询问手势输入的业务答复手势，以及基于所述操作询问手势输入的操作答复手势；

所述基于所述办理业务答复手势，查询预先构建的业务知识库，输出针对所述客户请求办理业务的业务办理引导手势，包括：

分别对所述业务答复手势和所述操作答复手势进行语义识别，将识别到的语义信息进行合并处理，得到办理业务答复信息；

查询预先构建的业务知识库，得到与所述办理业务答复信息相匹配的业务办理引导信息；

将所述业务办理引导信息转换为业务办理引导手势输出。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述输出业务办理询问手势，包括：

获取业务系统预先配置的特定语音语句，将所述特定语音语句转换为业务办理询问手势后输出；或者，

调取针对所述手势交互服务模式预先配置的业务办理询问手势，输出所述业务办理询问手势。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述业务知识库的构建方法包括：

接收业务客户端发送的特定业务手势；所述特定业务手势是客户针对特定业务输入的；

基于手势数据库或手势转换模型，获取业务系统所支持的各业务对应的业务手势；

将接收到的所述特定业务手势以及所获取的所述各业务对应的业务手势，与对应业务的业务标识进行关联，构建业务知识库；

其中，所述业务知识库中的所述特定业务手势关联有，输入所述特定业务手势的所述客户的身份标识；且同一所述业务标识关联有至少一个业务手势。