[发明专利]基于虚拟现实的交流方法、交互方法、装置、设备及介质在审
申请号: | 202310355269.0 | 申请日: | 2023-03-28 |
公开(公告)号: | CN116501165A | 公开(公告)日: | 2023-07-28 |
发明(设计)人: | 王志国;谭文亮 | 申请(专利权)人: | 深圳市酷开网络科技股份有限公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06F3/16;G06T13/20;G06T13/40;G06F40/58;G10L15/26 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 姚章国 |
地址: | 518000 广东省深圳市南山区粤海街道高*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 虚拟现实 交流 方法 交互 装置 设备 介质 | ||
1.一种基于虚拟现实的交流方法,其特征在于,所述交流方法应用于服务端,所述服务端用于连接至少两个虚拟现实设备,所述交流方法包括:
获取任一的虚拟现实设备发送的文本信息,以及其他的虚拟现实设备发送的目标语言信息;
根据所述文本信息和所述目标语言信息,生成交互模板信息;
将所述交互模板信息发送至交互设备,所述交互设备用于在接收到所述交互模板信息后,根据所述交互模板信息生成反馈结果,并将所述反馈结果发送给所述服务端;
接收所述交互设备发送的反馈结果,将所述反馈结果发送给所述其他的虚拟现实设备,所述其他的虚拟现实设备用于根据所述反馈结果构建虚拟影音。
2.一种基于虚拟现实的交流方法,其特征在于,所述交流方法应用于虚拟现实设备,所述虚拟现实设备连接服务端,所述交流方法包括:
获取使用者的说话语音,将所述说话语音转化成文本信息,将所述文本信息发送给所述服务端;
获取所述使用者的翻译设置,根据所述翻译设置生成目标语言信息,将所述目标语言信息发送给所述服务端;
接收所述服务端发送的反馈结果,根据所述反馈结果构建虚拟影像;
将所述反馈结果转化为目标语音,根据所述目标语音和所述虚拟影像,生成虚拟影音。
3.根据权利要求2所述的交流方法,其特征在于,所述根据所述反馈结果构建虚拟影像,包括:
对所述反馈结果进行分词,得到分词结果序列,根据所述分词结果序列,确定每个分词对应的唇语动画和面部表情;
获取所述使用者设定的虚拟人物,按照分词的顺序,使用每个分词对应的所述唇语动画和面部表情调整所述虚拟人物进行动作,得到虚拟影像。
4.根据权利要求3所述的交流方法,其特征在于,所述将所述反馈结果转化为目标语音,包括:
根据所述分词结果序列,生成目标语音;
所述根据所述目标语音和所述虚拟影像,生成虚拟影音,包括:
根据所述分词结果序列,将所述目标语音与所述虚拟影像进行对齐,得到虚拟影音。
5.一种交互方法,其特征在于,所述交互方法应用于交互设备,所述交互设备连接服务端,所述交互方法包括:
获取所述服务端发送的交互模板信息,提取所述交互模板信息中的文本信息和目标语言信息,将所述文本信息转换为所述目标语言信息对应的目标文本;
基于所述目标文本生成反馈结果,将所述反馈结果发送给所述服务端。
6.一种基于虚拟现实的交流装置,其特征在于,所述交流装置应用于服务端,所述服务端用于连接至少两个虚拟现实设备,所述交流装置包括:
信息获取模块,用于获取任一的虚拟现实设备发送的文本信息,以及其他的虚拟现实设备发送的目标语言信息;
模版生成模块,用于根据所述文本信息和所述目标语言信息,生成交互模板信息;
结果生成模块,用于将所述交互模板信息发送至交互设备,所述交互设备用于在接收到所述交互模板信息后,根据所述交互模板信息生成反馈结果,并将所述反馈结果发送给所述服务端;
结果发送模块,用于接收所述交互设备发送的反馈结果,将所述反馈结果发送给所述其他的虚拟现实设备,所述其他的虚拟现实设备用于根据所述反馈结果构建虚拟影音。
7.一种基于虚拟现实的交流装置,其特征在于,所述交流装置应用于虚拟现实设备,所述虚拟现实设备连接服务端,所述交流装置包括:
第一发送模块,用于获取使用者的说话语音,将所述说话语音转化成文本信息,将所述文本信息发送给所述服务端;
第二发送模块,用于获取所述使用者的翻译设置,根据所述翻译设置生成目标语言信息,将所述目标语言信息发送给所述服务端;
第一处理模块,用于接收所述服务端发送的反馈结果,根据所述反馈结果构建虚拟影像;
第二处理模块,用于将所述反馈结果转化为目标语音,根据所述目标语音和所述虚拟影像,生成虚拟影音。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市酷开网络科技股份有限公司,未经深圳市酷开网络科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310355269.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种图书馆借阅查询台
- 下一篇:头枕总成和座椅