[发明专利]视频类型确定方法、装置、设备以及存储介质在审
申请号: | 202210226169.3 | 申请日: | 2022-03-09 |
公开(公告)号: | CN114581833A | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 刘刚 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/764;G06V10/82;G06V10/26;G06V10/56;G06K9/62 |
代理公司: | 北京市立方律师事务所 11330 | 代理人: | 张筱宁 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 类型 确定 方法 装置 设备 以及 存储 介质 | ||
1.一种视频类型确定方法,其特征在于,所述方法包括:
确定待预测视频的各视频帧的初始图像特征;
将各所述初始图像特征输入视频类型预测模型,得到所述待预测视频的目标类型;
其中,所述视频类型预测模型是基于以下方式训练得到的:
确定训练样本集,所述训练样本集包括至少一个样本视频;
确定每一所述样本视频的各样本视频帧,确定每一所述样本视频帧的初始图像样本特征和图像分割样本特征,基于所述初始图像样本特征和所述图像分割样本特征确定该样本视频帧的目标图像样本特征;
从每一所述样本视频的各样本视频帧中确定至少一个第一视频帧,基于各所述第一视频帧的目标图像样本特征,确定该样本视频对应的第一视频样本特征,所述第一视频样本特征表征了每一所述第一视频帧的图像类型属于至少一个预设图像类型的概率;
将每一所述样本视频对应的各目标图像样本特征和第一视频样本特征输入初始模型,得到每一所述样本视频的预测类型;
基于各所述样本视频的实际类型和预测类型确定总训练损失,基于所述总训练损失和所述训练样本集对所述初始模型进行迭代训练,直至所述总训练损失符合训练结束条件时停止训练,并将停止训练时的模型确定为所述视频类型预测模型。
2.根据权利要求1所述的方法,其特征在于,对于每一所述样本视频帧,确定该样本视频帧的初始图像样本特征,包括:
确定该样本视频帧对应于各颜色通道的颜色特征;
该样本视频帧对应于每一所述颜色通道的颜色特征替换为该样本视频帧对应于除该颜色通道外的其他任一颜色通道的颜色特征,得到该样本视频帧的初始图像样本特征。
3.根据权利要求1所述的方法,其特征在于,对于每一所述样本视频帧,确定该样本视频帧的图像分割样本特征,包括:
对该样本视频帧进行图像分割处理,得到图像分割结果;
将所述图像分割结果中对应于背景元素的各像素点的特征值替换为第一值,基于各所述第一值和所述图像分割结果中对应于非背景元素的各像素点的特征值,确定该样本视频帧的图像分割样本特征。
4.根据权利要求3所述的方法,其特征在于,对于每一所述样本视频帧,所述基于各所述第一值和所述图像分割结果中对应于非背景元素的各像素点的特征值,确定该样本视频帧的图像分割样本特征,包括:
将所述图像分割结果中对应于非背景元素的各像素点的特征值替换为第二值;
基于各所述第一值和各所述第二值该样本视频帧的图像分割样本特征。
5.根据权利要求1所述的方法,其特征在于,对于每一所述样本视频帧,所述基于所述初始图像样本特征和所述图像分割样本特征确定该样本视频帧的目标图像样本特征,包括以下至少一项:
对于该样本视频帧的每一像素点,将所述初始图像样本特征中对应于该像素点的颜色特征与所述图像分割样本特征中对应于该像素点的特征值相乘,得到该像素点对应的目标样本特征,基于该样本视频帧的各像素点对应的目标样本特征,确定该样本视频帧的目标图像样本特征;
将所述初始图像样本特征和所述图像分割样本特征进行拼接得到第一拼接特征,将所述第一拼接特征确定为该样本视频帧的目标图像样本特征。
6.根据权利要求5所述的方法,其特征在于,每一所述样本视频帧的目标图像样本特征是通过将该样本视频帧的初始图像样本特征和图像分割样本特征进行拼接后得到的,所述将每一所述样本视频对应的各目标图像样本特征和第一视频样本特征输入初始模型,得到每一所述样本视频的预测类型,包括:
基于预训练的卷积网络对每一所述样本视频帧的目标图像样本特征进行处理,得到每一所述样本视频帧对应的融合样本特征;
将每一所述样本视频对应的各融合样本特征和第一视频样本特征输入初始模型,得到每一所述样本视频的预测类型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210226169.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:分类模型训练方法、装置、设备以及存储介质
- 下一篇:一种高速真空泵