[发明专利]一种数字人互动方法、装置及显示设备在审
| 申请号: | 202310613052.5 | 申请日: | 2023-05-26 |
| 公开(公告)号: | CN116597055A | 公开(公告)日: | 2023-08-15 |
| 发明(设计)人: | 危平安 | 申请(专利权)人: | 重庆长安汽车股份有限公司 |
| 主分类号: | G06T13/40 | 分类号: | G06T13/40;G06T13/20;G06V40/16;G06V40/20 |
| 代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 由东媛 |
| 地址: | 400023 *** | 国省代码: | 重庆;50 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数字 互动 方法 装置 显示 设备 | ||
1.一种数字人互动方法,其特征在于,所述方法,包括:
获取目标对象针对目标数字人的目标触发信息;
根据所述目标触发信息,确定所述目标对象对应的目标意图及从预设互动方式集中确定出所述目标数字人对应的目标互动方式;
根据所述目标互动方式和所述目标意图,确定所述目标数字人对应的目标渲染信息;
利用所述目标渲染信息对所述目标数字人进行渲染,得到渲染后的所述目标数字人;
展示渲染后的所述目标数字人。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标互动方式和所述目标意图,确定所述目标数字人对应的目标渲染信息,包括:
在所述目标互动方式为第一互动方式时,从第一关联关系中确定出所述目标意图对应的所述目标渲染信息,所述第一关联关系中存储有多组意图与渲染信息之间的对应关系;
在所述目标渲染信息包括目标文本文件时,将所述目标文本文件转换为目标音频文件;
所述利用所述目标渲染信息对所述目标数字人进行渲染,得到渲染后的所述目标数字人,包括:
利用所述目标音频文件对所述目标数字人进行渲染,得到渲染后的所述目标数字人。
3.根据权利要求2所述的方法,其特征在于,在得到所述目标音频文件后,所述方法,还包括:
从第二关联关系中确定出所述目标音频文件对应的第一面部表情和第一肢体动作,所述第二关联关系中存储有多组音频文件、面部表情及肢体动作之间的对应关系;
所述利用所述目标音频文件对所述目标数字人进行渲染,得到渲染后的所述目标数字人,包括:
利用所述目标音频文件、所述第一面部表情及所述第一肢体动作对所述目标数字人进行渲染,得到渲染后的所述目标数字人。
4.根据权利要求3所述的方法,其特征在于,所述音频文件对应的所述面部表情通过如下方式确定:
确定第一历史对象集及所述音频文件,所述音频文件包括多个音频帧;
针对所述第一历史对象集中的每个第一历史对象,确定所述第一历史对象在每个所述音频帧下所对应的初始面部特征;
针对每个所述音频帧,根据所有所述第一历史对象在所述音频帧下所对应的所述初始面部特征,确定所述音频帧对应的目标面部特征;
根据所有所述音频帧对应的所述目标面部特征,确定所述音频文件对应的所述面部表情。
5.根据权利要求3所述的方法,其特征在于,所述音频文件对应的所述肢体动作通过如下方式确定:
确定第二历史对象集及所述音频文件,所述音频文件包括多个音频帧;
针对所述第二历史对象集中的每个第二历史对象,确定所述第二历史对象在每个所述音频帧下所对应的初始肢体特征;
针对每个所述音频帧,根据所有所述第二历史对象在所述音频帧下所对应的所述初始肢体特征,确定所述音频帧对应的目标肢体特征;
根据所有所述音频帧对应的所述目标肢体特征,确定所述音频文件对应的所述肢体动作。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标互动方式和所述目标意图,确定所述目标数字人对应的目标渲染信息,包括:
在所述目标互动方式为第二互动方式时,对所述目标意图进行语义识别,得到语义识别结果;
从所述语义识别结果中提取出目标关键词;
根据所述目标关键词对目标引擎执行搜索操作,以得到所述目标关键词对应的目标搜索结果;
将所述目标搜索结果确定为所述目标数字人对应的目标渲染信息。
7.根据权利要求1所述的方法,其特征在于,根据所述目标触发信息,确定所述目标对象对应的目标意图,包括:
在所述目标触发信息为第二面部表情时,对所述第二面部表情进行识别,得到第一识别结果;
根据所述第一识别结果,确定所述目标对象对应的目标意图;或,
在所述目标触发信息为第二肢体动作时,对所述第二肢体动作进行识别,得到第二识别结果;
根据所述第二识别结果,确定所述目标对象对应的目标意图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆长安汽车股份有限公司,未经重庆长安汽车股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310613052.5/1.html,转载请声明来源钻瓜专利网。





