[发明专利]视频生成方法、装置、电子设备以及存储介质在审
申请号: | 202111559969.9 | 申请日: | 2021-12-20 |
公开(公告)号: | CN114254157A | 公开(公告)日: | 2022-03-29 |
发明(设计)人: | 牛国超;张蕊莉;张稳龙;杜军朝;王鸿冰 | 申请(专利权)人: | 易谷网络科技股份有限公司 |
主分类号: | G06F16/783 | 分类号: | G06F16/783;G06F40/289;G06T11/60 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 李彩玲 |
地址: | 201803 上海市嘉定区江*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 生成 方法 装置 电子设备 以及 存储 介质 | ||
1.一种视频生成方法,其特征在于,包括:
获取用户的输入信息,并确定所述输入信息对应的待输出信息;
对所述待输出信息进行分词处理,得到所述待输出信息的分词结果,并基于预设的口型数据库,确定所述分词结果中各分词短语分别对应的口型图像帧;
对于任一分词短语,获取所述分词短语对应的人脸图像帧,并将所述分词短语对应的口型图像帧与所述人脸图像帧进行图像融合,得到所述分词短语的融合图像帧;
对所述分词结果中各分词短语分别对应的融合图像帧进行渲染,生成所述输入信息对应的待输出视频。
2.根据权利要求1所述的方法,其特征在于,若所述输入信息包括文本输入信息;
相应的,所述确定所述输入信息对应的待输出信息,包括:
获取预设的信息交互数据库,并基于所述信息交互数据库确定所述文本输入信息对应的待输出信息。
3.根据权利要求2所述的方法,其特征在于,若所述输入信息包括语音输入信息;
相应的,在获取预设的信息交互数据库之前,还包括:
将所述语音输入信息进行数据转换,得到所述语音输入信息对应的文本输入信息。
4.根据权利要求1所述的方法,其特征在于,所述基于预设的口型数据库,确定所述分词结果中各分词短语分别对应的口型图像帧,包括:
对于任一分词短语,在所述口型数据库中读取所述分词短语对应的口型图像帧。
5.根据权利要求4所述的方法,其特征在于,所述基于预设的口型数据库,确定所述分词结果中各分词短语分别对应的口型图像帧,还包括:
若在所述口型数据库中读取不到所述分词短语对应的口型图像帧,则确定所述分词短语的分词替代短语,并在所述口型数据库中读取所述分词替代短语对应的口型图像帧。
6.根据权利要求1所述的方法,其特征在于,所述获取所述分词短语对应的人脸图像帧,包括:
确定所述分词短语对应的词情绪,并在预设的人脸数据库中确定与所述词情绪对应的人脸图像帧。
7.根据权利要求1所述的方法,其特征在于,所述对所述分词结果中各分词短语分别对应的融合图像帧进行渲染,生成所述输入信息对应的待输出视频,包括:
获取所述分词结果中各分词短语分别对应的时间序列,基于各所述时间序列对各所述分词短语对应的融合图像帧进行渲染,生成所述输入信息对应的待输出视频。
8.一种视频生成装置,其特征在于,包括:
待输出信息确定模块,用于获取用户的输入信息,并确定所述输入信息对应的待输出信息;
口型图像帧确定模块,用于对所述待输出信息进行分词处理,得到所述待输出信息的分词结果,并基于预设的口型数据库,确定所述分词结果中各分词短语分别对应的口型图像帧;
融合图像帧确定模块,用于对于任一分词短语,获取所述分词短语对应的人脸图像帧,并将所述分词短语对应的口型图像帧与所述人脸图像帧进行图像融合,得到所述分词短语的融合图像帧;
待输出视频生成模块,用于对所述分词结果中各分词短语分别对应的融合图像帧进行渲染,生成所述输入信息对应的待输出视频。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的视频生成方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的视频生成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于易谷网络科技股份有限公司,未经易谷网络科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111559969.9/1.html,转载请声明来源钻瓜专利网。