[发明专利]一种虚拟视频处理的方法、装置及存储介质有效
申请号: | 201911251646.6 | 申请日: | 2019-12-09 |
公开(公告)号: | CN111050187B | 公开(公告)日: | 2020-12-15 |
发明(设计)人: | 朱绍明 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | H04N21/2187 | 分类号: | H04N21/2187;H04N21/233;H04N21/234;H04N21/2343;H04N21/235;H04N21/2662;H04N21/435;H04N21/439;H04N21/44;H04N21/4402;H04N21/472;G06T13/20;G06T13/40 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 蔡艾莹 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 虚拟 视频 处理 方法 装置 存储 介质 | ||
1.一种虚拟视频处理的方法,其特征在于,所述方法包括:
接收终端发送的第一会话请求,所述第一会话请求携带虚拟对象在虚拟视频播放时待播放的语音对应的目标文本;
根据所述第一会话请求获取所述目标文本对应的音频数据和脸部表情特征;
对所述音频数据和脸部表情特征进行渲染,得到视频素材集合,所述视频素材集合包括多个脸部特征图片;
根据所述多个脸部特征图片和背景图片,得到视频数据,所述视频数据包括多张由脸部特征图片和背景图片合成的视频帧;
向所述终端发送目标视频,所述目标视频根据所述视频数据与所述音频数据得到;
所述向终端发送目标视频之前,所述方法还包括:
若确定生成待发送给所述终端的视频数据发生延迟,则将状态切换为空闲状态;发生延迟的视频数据包括所述第一会话请求对应的视频数据;
获取过渡视频,所述过渡视频用于发生延迟的延迟时长内所述终端在播放所述目标视频之前的时间内播放;所述过渡视频根据上一次会话中向终端发送的视频选择,或者对上一个会话的文本内容进行情感分析并根据所述情感分析结果确定所述过渡视频;
向所述终端发送所述过渡视频。
2.根据权利要求1所述的方法,其特征在于,所述向所述终端发送目标视频,包括:
若生成待发送给所述终端的视频数据未发生延迟,则将状态切换为忙碌状态;
在获取到所述视频数据后,将所述音频数据和所述视频数据合成为目标视频;
向所述终端发送所述目标视频。
3.根据权利要求1所述的方法,其特征在于,所述过渡视频的播放时长大于或等于所述延迟时长;
所述过渡视频包括第一视频帧和第二视频帧,所述第一视频帧是指所述过渡视频中播放时间最早的视频帧,所述第二视频帧是指所述过渡视频中播放时间最晚的视频帧;所述第一视频帧与所述第二视频帧相似。
4.根据权利要求3所述的方法,其特征在于,所述获取过渡视频,向所述终端发送所述过渡视频,包括:
获取目标视频帧,所述目标视频帧是指与所述终端历史会话中向所述终端发送的最后一个视频帧;
将所述目标视频帧和静音音频数据作为所述过渡视频;
在所述延迟时长内向所述终端重复发送所述过渡视频,直至存在待发送给所述终端的视频数据。
5.根据权利要求3述的方法,其特征在于,所述获取过渡视频,向所述终端发送所述过渡视频,包括:
获取历史文本,所述历史文本是指所述终端发送的历史会话请求中的文本,所述历史文本是指所述虚拟对象在虚拟视频播放时播放的语音对应的目标文本;
对所述历史文本进行情感分析,根据情感分析的结果确定所述过渡视频,所述过渡视频的情感特征与所述情感分析的结果匹配。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述对所述音频数据和脸部表情特征进行渲染,得到视频素材集合,根据所述多个脸部特征图片和背景图片,得到视频数据,包括:
获取预设的多个通用背景图片;
从所述多个通用背景图片中确定目标背景图片,所述目标背景图片与脸部表情特征匹配;
分别将各目标背景图片与匹配的面部表情特征进行合成,以得到多个合成图片,每个合成图片对应所述虚拟对象在一个时刻的肢体动作;
将所述多个合成图片作为所述视频数据。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一会话请求获取所述目标文本对应的音频数据和脸部表情特征,包括:
获取所述目标文本对应的音频时长,所述音频时长是指所述目标文本转换为目标音频后所述目标音频的播放时长;
所述从所述多个通用背景图片中确定目标背景图片,包括:
从所述多个通用背景图片中,确定与脸部表情特征匹配的多个候选背景图片;
根据所述音频时长和每个候选背景图片的播放时长,从所述多个候选背景图片中确定所述目标背景图片。
8.根据权利要求1所述的方法,其特征在于,所述目标视频数据保存在区块链节点上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911251646.6/1.html,转载请声明来源钻瓜专利网。