[发明专利]人机交互控制方法、系统、智能机器人及存储介质在审
申请号: | 202010056302.6 | 申请日: | 2020-01-18 |
公开(公告)号: | CN111341350A | 公开(公告)日: | 2020-06-26 |
发明(设计)人: | 王华洋;黄华;周院平;孙信中;矫人全 | 申请(专利权)人: | 南京奥拓电子科技有限公司 |
主分类号: | G10L25/87 | 分类号: | G10L25/87;G10L25/03;G10L25/18;G10L25/21;G10L25/24;G10L25/30;G10L15/22;G10L15/25;G06K9/00 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 210039 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人机交互 控制 方法 系统 智能 机器人 存储 介质 | ||
1.一种人机交互控制方法,其特征在于,包括:
获取音频信号;
判断获取的音频信号中是否有语音;
当判断获取的音频信号中含有语音时,获取预设方向的多帧现场图像;
对获取的现场图像进行人脸检测,判断是否存在人脸;
当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓;
判断多帧嘴唇轮廓是否符合预设的嘴唇变化状态,如果结果为是,则确定现场图像中的人脸所属用户具有交互意图。
2.根据权利要求1所述的人机交互控制方法,其特征在于,所述获取音频信号的步骤,具体为,获取预设方向上的音频信号。
3.根据权利要求1所述的人机交互控制方法,其特征在于,在所述当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓的步骤之前,还包括;
对检测出的人脸进行人脸质量评估,当检测出的人脸满足预设人脸质量要求时,才能判断为现场图像中存在人脸。
4.根据权利要求3所述的人机交互控制方法,其特征在于,在所述当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓的步骤之前,还包括;
计算人脸角度,当人脸角度属于预设人脸角度范围阈值内时,才能判断为现场图像中存在人脸。
5.根据权利要求1所述的人机交互控制方法,其特征在于,所述方法还包括:对获取的音频信号进行响应。
6.一种人机交互控制系统,其特征在于,包括:
音频拾取单元,用于获取音频信号;
语音判别单元,用于判断获取的音频信号中是否有语音;
图像获取单元,用于当判断获取的音频信号中含有语音时,获取预设方向的多帧现场图像;
人脸检测单元,用于对获取的现场图像进行人脸检测,判断是否存在人脸;
嘴唇检测单元,用于当判断现场图像中存在人脸时,对多帧现场图像进行嘴唇检测,得到多帧嘴唇轮廓;
交互意图判定单元,用于判断多帧嘴唇轮廓是否符合预设的嘴唇变化状态,如果结果为是,则确定现场图像中的人脸所属用户具有交互意图。
7.根据权利要求6所述的人机交互控制系统,其特征在于,所述人脸检测单元,还用于计算人脸与智能机器人的正前方之间的偏差角度,当人脸的偏差角度位于偏差角度范围内时,才能判断为现场图像中存在人脸。
8.根据权利要求6所述的人机交互控制系统,其特征在于,所述图像获取单元,还用于实时拍摄现场图像,并进行缓存;当语音判别单元判断获取的音频信号中含有语音时,所述图像获取单元,从缓存的数据中,读取预设方向的多帧现场图像。
9.一种智能机器人,其特征在于,包含权利要求6-8任一项所述的人机交互控制系统。
10.一种机器可读存储介质,其上存储有计算机程序,其中所述计算机程序在由处理器执行时实现权利要求1-5任一项所述的人机交互控制方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京奥拓电子科技有限公司,未经南京奥拓电子科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010056302.6/1.html,转载请声明来源钻瓜专利网。