[发明专利]一种基于视线追踪的语音控制方法、汽车及可读存储介质在审
申请号: | 202110833688.1 | 申请日: | 2021-07-22 |
公开(公告)号: | CN113561988A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 覃永进;陈长健;崔硕;杨建;冯俊 | 申请(专利权)人: | 上汽通用五菱汽车股份有限公司 |
主分类号: | B60W50/08 | 分类号: | B60W50/08;B60R16/037;G06F3/01;G06K9/00 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 薛福玲 |
地址: | 545007 广西壮*** | 国省代码: | 广西;45 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 视线 追踪 语音 控制 方法 汽车 可读 存储 介质 | ||
1.一种基于视线追踪的语音控制方法,其特征在于,所述基于视线追踪的语音控制方法包括以下步骤:
获取汽车内人员的人脸图像信息,并通过人脸识别功能识别所述人脸图像信息中的眼部信息;
监测所述眼部信息,并根据所述眼部信息动态追踪所述汽车内人员的视线位置;
当所述视线位置落入预设控制区域时,获取所述汽车内人员的语音信息,并根据所述语音信息确定对应的控制指令;
根据所述控制指令控制所述汽车中对应的控制器,以通过所述控制器控制所述汽车对应的部件执行控制操作。
2.根据权利要求1所述的基于视线追踪的语音控制方法,其特征在于,所述获取汽车内人员的人脸图像信息,之前包括:
预先获取用于人脸识别的人脸识别数据,并根据所述人脸识别数据建立对应的人脸识别模型。
3.根据权利要求1所述的基于视线追踪的语音控制方法,其特征在于,所述获取汽车内人员的人脸图像信息,并通过人脸识别功能识别所述人脸图像信息中的眼部信息,包括:
监测所述汽车的启动状态;
当监测到所述汽车启动时,通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息,得到所述汽车内人员对应的3D头部姿态模型;
根据所述3D头部姿态模型获取所述汽车内人员的眼部信息。
4.根据权利要求3所述的基于视线追踪的语音控制方法,其特征在于,所述当监测到所述汽车启动时,通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息,得到所述汽车内人员对应的3D头部姿态模型,包括:
通过所述汽车内的第一摄像头获取第一人脸图像信息,并通过所述汽车内的第二摄像头获取第二人脸图像信息;
通过AI视觉应用程序对所述第一人脸图像信息和所述第二人脸图像信息进行处理,分别提取所述第一人脸图像信息和所述第二人脸图像信息中的图像特征;
根据提取的人脸特征建立所述汽车内人员对应的3D头部姿态模型。
5.根据权利要求4所述的基于视线追踪的语音控制方法,其特征在于,所述监测所述眼部信息,并根据所述眼部信息动态追踪所述汽车内人员的视线位置,包括:
根据所述3D头部姿态模型的头部朝向以及所述眼部信息,确定所述汽车内人员的眼部视线朝向;
根据所述眼部视线朝向追踪所述汽车内人员的视线位置。
6.根据权利要求5所述的基于视线追踪的语音控制方法,其特征在于,所述根据所述眼部朝向追踪所述汽车内人员的视线位置,之后还包括:
获取所述预设控制区域对应的区域信息;
根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域。
7.根据权利要求6所述的基于视线追踪的语音控制方法,其特征在于,所述当所述视线位置落入预设控制区域时,获取所述汽车内人员的语音信息,并根据所述语音信息确定对应的控制指令,包括:
当所述视线位置落入所述预设控制区域时,获取所述汽车内人员的语音信息;
对所述语音信息进行解析,提取所述语音信息中的操控信息;
将所述操控信息发送至服务器,以通过所述服务器解析并获取所述操控信息对应的控制指令。
8.根据权利要求7所述的基于视线追踪的语音控制方法,其特征在于,所述根据所述控制指令控制所述汽车中对应的控制器,以通过所述控制器控制所述汽车对应的部件执行控制操作,包括:
将所述控制指令转换为对应的车辆控制信号,并将所述车辆控制信号发送至所述汽车中对应的控制器;
通过所述控制器控制所述汽车对应的部件执行控制操作。
9.一种汽车,其特征在于,包括:处理器以及存储器,所述存储器存储有基于视线追踪的语音控制程序,所述基于视线追踪的语音控制程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的基于视线追踪的语音控制方法。
10.一种可读存储介质,其特征在于,所述可读存储介质存储有基于视线追踪的语音控制程序,所述基于视线追踪的语音控制程序被处理器执行时用于实现如权利要求1-8中任意一项所述的基于视线追踪的语音控制方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上汽通用五菱汽车股份有限公司,未经上汽通用五菱汽车股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110833688.1/1.html,转载请声明来源钻瓜专利网。