[发明专利]一种视频分类的方法、视频分类模型训练的方法及装置有效

专利信息
申请号: 201910838607.X 申请日: 2019-06-13
公开(公告)号: CN110516113B 公开(公告)日: 2020-11-17
发明(设计)人: 姜文浩;李弼;刘威 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06F16/75 分类号: G06F16/75;G06K9/00
代理公司: 深圳市深佳知识产权代理事务所(普通合伙) 44285 代理人: 吴磊
地址: 518057 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 视频 分类 方法 模型 训练 装置
【权利要求书】:

1.一种视频分类的方法,其特征在于,包括:

从待分类视频中获取目标视频帧所对应的L个前瞻视频帧,其中,所述待分类视频包括T个视频帧,所述L个前瞻视频帧表示包括所述目标视频帧以及与所述目标视频帧相邻的后(L-1)个视频帧在内的L个视频帧,所述T为大于1的整数,所述L为大于或等于1,且小于所述T的整数;

通过卷积神经网络CNN获取所述L个前瞻视频帧所对应的L个前瞻视频帧特征,其中,每个前瞻视频帧对应一个前瞻视频帧特征;

通过视频分类模型中的跳帧器获取所述L个前瞻视频帧所对应的计划跳帧向量,其中,所述计划跳帧向量包括每个前瞻视频帧对应的分值元素,所述分值元素用于表示所述前瞻视频帧的选择情况,所述分值元素包括第一分值以及第二分值,所述第一分值表示所述前瞻视频帧属于待分类视频帧,所述第二分值表示所述前瞻视频帧属于待跳过视频帧;

根据所述计划跳帧向量选择所述待分类视频所对应的待分类视频帧,其中,所述待分类视频帧所对应的分值元素为第一分值;

根据所述待分类视频帧,通过所述视频分类模型中的分类器确定所述待分类视频的分类结果;

所述通过视频分类模型中的跳帧器获取所述L个前瞻视频帧所对应的计划跳帧向量,包括:

通过视频分类模型中的跳帧器获取所述L个前瞻视频帧特征所对应的计划跳帧向量。

2.根据权利要求1所述的方法,其特征在于,所述通过视频分类模型中的跳帧器获取所述L个前瞻视频帧特征所对应的计划跳帧向量,包括:

通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第一估计向量,其中,所述第一估计向量包括L个第一元素,所述第一元素用于表示前瞻视频帧属于边界帧的概率;

通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第二估计向量,其中,所述第二估计向量包括L个第二元素,所述第二元素用于表示前瞻视频帧在所述待分类视频中的重要程度;

根据所述第一估计向量以及所述第二估计向量,确定所述计划跳帧向量。

3.根据权利要求2所述的方法,其特征在于,所述通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第一估计向量,包括:

获取所述跳帧器的第一跳帧器参数以及第二跳帧器参数;

根据所述L个前瞻视频帧特征中的前瞻视频帧特征、所述第一跳帧器参数以及第二跳帧器参数,计算得到所述前瞻视频帧特征所对应的第一元素;

根据L个所述前瞻视频帧特征所对应的第一元素,生成所述第一估计向量。

4.根据权利要求2所述的方法,其特征在于,所述通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第二估计向量,包括:

根据所述L个前瞻视频帧特征获取L个注意力值,其中,每个注意力值对应一个前瞻视频帧特征;

获取目标隐状态,其中,所述目标隐状态表示输入至所述分类器的最后一个视频帧所对应的隐状态;

根据注意力值以及所述目标隐状态,计算得到所述前瞻视频帧特征所对应的第二元素;

根据L个所述前瞻视频帧特征所对应的第二元素,生成所述第二估计向量。

5.一种视频分类模型训练的方法,其特征在于,包括:

获取待训练视频集合,其中,所述待训练视频集合包括至少一个待训练视频;

通过待训练跳帧器获取待训练视频所对应的跳帧预测结果,其中,所述跳帧预测结果表示所述待训练视频中输入至待训练分类器的视频帧,所述跳帧预测结果用于确定所述待训练视频中跳过的视频帧数量;

通过所述待训练分类器获取所述待训练视频所对应的分类预测结果;

根据所述跳帧预测结果以及所述分类预测结果,采用目标损失函数训练得到所述待训练跳帧器的模型参数以及所述待训练分类器模型参数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于训练所述待训练分类器,所述第二损失函数用于训练所述待训练跳帧器;

根据所述待训练跳帧器模型参数以及所述待训练分类器模型参数,生成视频分类模型,其中,所述视频分类模型包括跳帧器以及分类器。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910838607.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top