[发明专利]一种处理方法、装置、终端设备及介质在审
| 申请号: | 202210365435.0 | 申请日: | 2022-04-07 |
| 公开(公告)号: | CN114697761A | 公开(公告)日: | 2022-07-01 |
| 发明(设计)人: | 袁野;王宇飞;文珑银 | 申请(专利权)人: | 脸萌有限公司 |
| 主分类号: | H04N21/84 | 分类号: | H04N21/84;H04N21/488;H04N21/435;H04N21/44;H04N21/845;H04N21/8547 |
| 代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 刘欣 |
| 地址: | 开曼*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 处理 方法 装置 终端设备 介质 | ||
1.一种处理方法,其特征在于,所述方法包括:
获取目标视频和所述目标视频对应的视频描述信息;
确定所述目标视频的主体物体信息;
确定所述视频描述信息的关键帧类别;
将所述目标视频、所述视频描述信息、所述主体物体信息和所述关键帧类别输入至处理模型,得到所述目标视频中与所述视频描述信息对应的图片的时间戳。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标视频、所述视频描述信息、所述主体物体信息和所述关键帧类别输入至处理模型,得到所述目标视频中与所述视频描述信息对应的图片的时间戳,包括:
将所述目标视频输入至所述处理模型内的第一信息提取模块,得到对应的图像信息和第一文本信息;
将所述视频描述信息输入至所述处理模型内的第二信息提取模块,得到对应的第二文本信息;
将所述主体物体信息、所述图像信息、所述第一文本信息、所述第二文本信息和所述关键帧类别输入至所述处理模型内的检索模块,得到所述目标视频中与所述视频描述信息对应的图片的时间戳。
3.根据权利要求2所述的方法,其特征在于,所述将所述目标视频输入至所述处理模型内的第一信息提取模块,得到对应的图像信息和第一文本信息,包括:
将所述目标视频输入至所述处理模型内的第一信息提取模块后,通过稀疏抽帧得到所述目标视频的第一目标对象;
对所述第一目标对象进行图像信息提取,得到对应的图像信息;
提取所述目标视频的字幕信息;
对所述字幕信息进行文本信息提取,得到对应的第一文本信息。
4.根据权利要求2所述的方法,其特征在于,所述将所述主体物体信息、所述图像信息、所述第一文本信息、所述第二文本信息和所述关键帧类别输入至所述处理模型内的检索模块,得到所述目标视频中与所述视频描述信息对应的图片的时间戳,包括:
将所述主体物体信息、所述图像信息、所述第一文本信息、所述第二文本信息和所述关键帧类别输入至所述处理模型内的检索模块,得到多个候选时间戳和对应的匹配度;
根据所述候选时间戳的匹配度确定所述目标视频中与所述视频描述信息对应的图片的时间戳。
5.根据权利要求1所述的方法,其特征在于,所述确定所述目标视频的主体物体信息,包括:
对所述目标视频进行稀疏抽帧处理,得到第二目标对象;
确定所述第二目标对象对应的主体物体信息。
6.根据权利要求5所述的方法,其特征在于,所述第二目标对象包括画面帧和/或视频片段。
7.根据权利要求1所述的方法,其特征在于,所述确定所述视频描述信息的关键帧类别,包括:
将所述视频描述信息输入至关键帧类别预测模型,得到对应的关键帧类别。
8.一种处理装置,其特征在于,包括:
获取模块,用于获取目标视频和所述目标视频对应的视频描述信息;
第一确定模块,用于确定所述目标视频的主体物体信息;
第二确定模块,用于确定所述视频描述信息的关键帧类别;
输入模块,用于将所述目标视频、所述视频描述信息、所述主体物体信息和所述关键帧类别输入至处理模型,得到所述目标视频中与所述视频描述信息对应的图片的时间戳。
9.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于脸萌有限公司,未经脸萌有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210365435.0/1.html,转载请声明来源钻瓜专利网。





