[发明专利]一种机器人及其控制方法、计算机可读存储介质

说明书

本申请公开了一种机器人及其控制方法、计算机可读存储介质，其中，该机器人的控制方法包括：从采集的待检测图像中的获取至少一个人脸信息；从至少一个人脸信息中获取对应的至少一个嘴唇信息；将至少一个嘴唇信息输入至预设深度学习模型，以对至少一个嘴唇信息进行分类，以进一步确定正在说话的说话人脸区域；控制机器人转动至朝向说话人脸区域，并开启语音识别功能。通过上述方式，一方面能够在多人同时交互时，准确定位正在说话的用户，另一方面能够避免噪声对机器人的干扰，提高了用户人机交互体验。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种机器人及其控制方法、计算机可读存储介质。

背景技术

随着人工智能的发展和进步，人机交互越来越得到广泛的应用。现有的机器人可以做到获取用户的语音信息进行处理，并与用户完成对话。其主要是通过声源进行定位，以进一步确定说话人的方向，并转动朝向说话人进行语音对话。

但是，在面对一群人或者有噪声干扰时，机器人并不能准确的判断声源的方向，造成“你对它说话，它却面对别人”的“不礼貌”行为，降低了用户人机交互的体验。

发明内容

为解决上述问题，本申请提供了一种机器人及其控制方法、计算机可读存储介质，一方面能够在多人同时交互时，准确定位正在说话的用户，另一方面能够避免噪声对机器人的干扰，提高了用户人机交互体验。

本申请采用的一个技术方案是：提供一种机器人的控制方法，该方法包括：从采集的待检测图像中的获取至少一个人脸信息；从至少一个人脸信息中获取对应的至少一个嘴唇信息；将至少一个嘴唇信息输入至预设深度学习模型，以对至少一个嘴唇信息进行分类，以进一步确定正在说话的说话人脸区域；控制机器人转动至朝向说话人脸区域，并开启语音识别功能。

其中，人脸信息包括人脸框坐标、人脸特征点坐标、嘴唇框坐标、嘴唇特征点坐标、人脸ID中的至少一个，人脸ID用于表示对应人脸信息的身份。

其中，从至少一个人脸信息中获取对应的至少一个嘴唇信息，包括：根据至少一个人脸信息中的目标人脸信息确定对应的目标人脸区域；获取目标人脸区域的特征点信息；判断目标人脸信息和/或特征点信息是否满足设定约束条件；若满足，则确定目标人脸区域中的嘴唇信息。

其中，确定目标人脸区域中的嘴唇信息，包括：根据目标人脸信息确定人脸ID；其中，人脸ID用于表示对应人脸信息的身份；根据目标人脸区域中的特征点信息确定嘴唇特征向量；将嘴唇特征向量对应人脸ID进行存储。

其中，将至少一个嘴唇信息输入至预设深度学习模型，以对至少一个嘴唇信息进行分类，以进一步确定正在说话的说话人脸区域，包括：在对应人脸ID存储的嘴唇特征向量的数量满足设定数量要求时，将对应人脸ID存储的多个嘴唇特征向量输入至预设深度学习模型，以对多个嘴唇特征向量进行分类，以进一步确定目标人脸区域是否为正在说话的说话人脸区域。

其中，根据目标人脸区域中的特征点信息确定嘴唇特征向量，包括：根据目标人脸区域中的特征点信息，确定嘴唇框坐标；根据嘴唇框坐标获取嘴唇图像；对嘴唇图像进行编码，以得到嘴唇特征向量。

其中，控制机器人转动至朝向说话人脸区域，并开启语音识别功能，包括：获取说话人脸区域的人脸框坐标；获取机器人的当前朝向与人脸框坐标之间的偏转角；根据偏转角控制机器人转动至朝向说话人脸区域；开启语音识别功能。

本申请采用的另一个技术方案是：提供一种机器人，该机器人包括相互连接的处理器和存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现如上述的方法。

本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上述的方法。