[发明专利]视频处理方法和装置、用于视频处理的装置有效
申请号: | 201710737846.7 | 申请日: | 2017-08-24 |
公开(公告)号: | CN109429077B | 公开(公告)日: | 2021-10-15 |
发明(设计)人: | 张杰;卜海亮;靳一笑;邢真臻;蒋品;冯新强 | 申请(专利权)人: | 北京搜狗科技发展有限公司 |
主分类号: | H04N21/233 | 分类号: | H04N21/233;H04N21/234;H04N21/235;H04N21/435;H04N21/439;H04N21/44;G06K9/00;G06K9/32 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100084 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理 方法 装置 用于 | ||
1.一种视频处理方法,其特征在于,包括:
对视频对应的音频流进行语音识别,以得到对应的文本信息;
从预置物品库中获取与所述文本信息相匹配的目标物品;
将所述目标物品对应的目标信息添加在所述音频流对应的视频帧中,以在接收到视频客户端发送的播放请求或下载请求之后,向所述视频客户端提供添加有目标信息的所述视频;所述视频包括:离线视频或者实时播放视频;
所述将所述目标物品对应的目标信息添加在所述音频流对应的视频帧中,包括:
将所述视频帧中对应目标位置的第一像素值替换为目标信息对应的第二像素值,以将视频帧中第二物品对应第一图像包括的第一像素值替换为与所述第二物品同类别的目标物品对应第二图像包括的第二像素值;和/或,
对视频帧中对应字幕位置的文本信息进行修改,以将对应字幕位置的文本信息修改为文本格式的目标信息;
在对视频帧中对应字幕位置的文本信息进行修改的情况下,所述方法还包括:依据所述目标信息,对所述音频流进行修改,以得到与所述目标信息相匹配的修改后的音频流。
2.根据权利要求1所述的方法,其特征在于,所述从预置物品库中获取与所述文本信息相匹配的目标物品,包括:
判断所述文本信息是否包括与所述预置物品库中第一物品或者第一物品的同类物品对应的特征信息相匹配的信息,若是,则将所述第一物品作为与所述文本信息相匹配的目标物品。
3.根据权利要求1所述的方法,其特征在于,所述将所述目标物品对应的目标信息添加在所述音频流对应的视频帧中,包括:
从所述音频流对应的视频帧中选择适于添加所述目标信息的目标视频帧;
确定所述目标视频帧中用于添加目标信息的目标位置;
在所述目标视频帧中的所述目标位置添加所述目标信息。
4.根据权利要求3所述的方法,其特征在于,所述从所述音频流对应的视频帧中选择适于添加所述目标信息的目标视频帧,包括:
获取所述文本信息中与所述目标物品的特征信息相匹配的信息作为目标文本信息;
提取所述音频流中与所述目标文本信息对应的部分作为目标音频;
将所述目标音频对应的视频帧作为所述目标视频帧。
5.根据权利要求3所述的方法,其特征在于,所述确定所述目标视频帧中用于添加所述目标信息的目标位置,包括:
确定所述目标视频帧的已有物品与所述目标物品之间的符合度;从所述目标视频帧的已有物品中获取符合度符合预置条件的物品的位置,作为目标位置;和/或,
识别出所述目标视频帧中适合于添加所述目标信息的预置图像目标区域,将所述预置图像目标区域作为所述目标位置。
6.根据权利要求3所述的方法,其特征在于,所述目标位置为字幕相关位置;
所述在所述目标视频帧中的所述目标位置添加所述目标信息包括:
依据所述目标信息对所述目标视频帧中包括的字幕进行修改,以在所述目标视频帧包括的字幕中添加所述目标信息;和/或,
将所述目标信息作为所述目标视频帧中字幕的附加信息添加在所述字幕周围,以在所述视频帧中添加所述目标信息。
7.根据权利要求1所述的方法,其特征在于,所述将所述目标物品对应的目标信息添加在所述音频流对应的视频帧中,还包括:
将所述目标信息作为所述音频流对应的视频帧中对应目标位置的附加信息添加入所述视频帧。
8.根据权利要求1所述的方法,其特征在于,所述对所述音频流进行修改,包括:
获取所述音频流对应的语音特征;
利用所述语音特征,对所述目标信息进行语音合成,以得到目标音频;
采用所述目标音频替换所述音频流中与所述目标物品相匹配的音频,替换后的音频流作为修改后的音频流。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对修改后的音频流与修改前的音频流进行时间轴对齐。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狗科技发展有限公司,未经北京搜狗科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710737846.7/1.html,转载请声明来源钻瓜专利网。