[发明专利]人机交互控制方法、系统、智能机器人及存储介质在审

专利信息
申请号: 202010056302.6 申请日: 2020-01-18
公开(公告)号: CN111341350A 公开(公告)日: 2020-06-26
发明(设计)人: 王华洋;黄华;周院平;孙信中;矫人全 申请(专利权)人: 南京奥拓电子科技有限公司
主分类号: G10L25/87 分类号: G10L25/87;G10L25/03;G10L25/18;G10L25/21;G10L25/24;G10L25/30;G10L15/22;G10L15/25;G06K9/00
代理公司: 暂无信息 代理人: 暂无信息
地址: 210039 江*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 人机交互 控制 方法 系统 智能 机器人 存储 介质
【权利要求书】:

1.一种人机交互控制方法,其特征在于,包括:

获取音频信号;

判断获取的音频信号中是否有语音;

当判断获取的音频信号中含有语音时,获取预设方向的多帧现场图像;

对获取的现场图像进行人脸检测,判断是否存在人脸;

当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓;

判断多帧嘴唇轮廓是否符合预设的嘴唇变化状态,如果结果为是,则确定现场图像中的人脸所属用户具有交互意图。

2.根据权利要求1所述的人机交互控制方法,其特征在于,所述获取音频信号的步骤,具体为,获取预设方向上的音频信号。

3.根据权利要求1所述的人机交互控制方法,其特征在于,在所述当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓的步骤之前,还包括;

对检测出的人脸进行人脸质量评估,当检测出的人脸满足预设人脸质量要求时,才能判断为现场图像中存在人脸。

4.根据权利要求3所述的人机交互控制方法,其特征在于,在所述当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓的步骤之前,还包括;

计算人脸角度,当人脸角度属于预设人脸角度范围阈值内时,才能判断为现场图像中存在人脸。

5.根据权利要求1所述的人机交互控制方法,其特征在于,所述方法还包括:对获取的音频信号进行响应。

6.一种人机交互控制系统,其特征在于,包括:

音频拾取单元,用于获取音频信号;

语音判别单元,用于判断获取的音频信号中是否有语音;

图像获取单元,用于当判断获取的音频信号中含有语音时,获取预设方向的多帧现场图像;

人脸检测单元,用于对获取的现场图像进行人脸检测,判断是否存在人脸;

嘴唇检测单元,用于当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓;

交互意图判定单元,用于判断多帧嘴唇轮廓是否符合预设的嘴唇变化状态,如果结果为是,则确定现场图像中的人脸所属用户具有交互意图。

7.根据权利要求6所述的人机交互控制系统,其特征在于,所述人脸检测单元,还用于计算人脸与智能机器人的正前方之间的偏差角度,当人脸的偏差角度位于偏差角度范围内时,才能判断为现场图像中存在人脸。

8.根据权利要求6所述的人机交互控制系统,其特征在于,所述图像获取单元,还用于实时拍摄现场图像,并进行缓存;当语音判别单元判断获取的音频信号中含有语音时,所述图像获取单元,从缓存的数据中,读取预设方向的多帧现场图像。

9.一种智能机器人,其特征在于,包含权利要求6-8任一项所述的人机交互控制系统。

10.一种机器可读存储介质,其上存储有计算机程序,其中所述计算机程序在由处理器执行时实现权利要求1-5任一项所述的人机交互控制方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京奥拓电子科技有限公司,未经南京奥拓电子科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010056302.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top