[发明专利]视频分类方法及装置、存储介质、电子装置在审
申请号: | 202210361945.0 | 申请日: | 2022-04-07 |
公开(公告)号: | CN114639062A | 公开(公告)日: | 2022-06-17 |
发明(设计)人: | 彭垚;王强;林亦宁 | 申请(专利权)人: | 上海闪马智能科技有限公司;杭州闪马智擎科技有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06N3/04;G06N3/08 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 赵静 |
地址: | 200210 上海市浦东新区自*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 分类 方法 装置 存储 介质 电子 | ||
1.一种视频分类方法,其特征在于,包括:
从目标视频的N帧图像中确定每帧图像中包括的对象之间的位置关系,确定N组位置关系,其中,所述N是大于1的自然数;
确定所述N帧图像之间的时序关系;
按照所述N帧图像之间的时序关系和所述N组位置关系确定目标序列;
将所述目标序列输入预先训练好的目标神经网络模型中,得到所述目标视频的分类结果,其中,所述分类结果用于表示所述目标视频中是否包括异常事件。
2.根据权利要求1所述的方法,其特征在于,从目标视频的N帧图像中确定每帧图像中包括的对象之间的位置关系,确定N组位置关系,包括:
针对所述N帧图像中的每帧图像,均执行以下操作,确定N组位置关系:
识别所述图像中包括的目标对象,其中,所述目标对象为所述图像中包括的目标类型的对象,所述目标对象的数量为多个,所述目标类型的数量为一个或多个;
确定所述目标对象中包括的每个目标对象在所述图像中的坐标信息;
按照每个所述目标对象的坐标信息,连接所述目标对象中包括的任意两个目标对象,确定所述图像中包括的每个所述目标对象之间的位置关系,得到一组位置关系。
3.根据权利要求2所述的方法,其特征在于,按照每个所述目标对象的坐标信息,连接所述目标对象中包括的任意两个目标对象,确定所述图像中包括的每个所述目标对象之间的位置关系,得到一组位置关系,包括:
从每个所述目标对象的坐标信息中,确定所述每个所述目标对象的相邻对象;
利用边线连接每个所述目标对象和所述相邻对象;
在所述边线上标注每个所述目标对象和所述相邻对象之间的距离,以确定所述图像中包括的每个所述目标对象之间的位置关系,得到一组位置关系。
4.根据权利要求1所述的方法,其特征在于,确定所述N帧图像之间的时序关系,包括:
按照所述N帧图像的拍摄时间确定所述N帧图像之间的时序关系。
5.根据权利要求1所述的方法,其特征在于,按照所述N帧图像之间的时序关系和所述N组位置关系确定目标序列,包括:
按照所述N帧图像之间的时序关系排列所述N组位置关系,确定所述目标序列。
6.根据权利要求1所述的方法,其特征在于,将所述目标序列输入预先训练好的目标神经网络模型中,得到所述目标视频的分类结果,包括:
将所述目标序列输入所述目标神经网络模型中的K个卷积层,得到输出的目标图像的特征,其中,所述K是大于或等于1的自然数;
将所述目标图像的特征输入到所述目标神经网络中的M个全连接层中,得到所述目标视频的分类结果,其中,所述M是大于或等于1的自然数。
7.一种视频分类装置,其特征在于,包括:
第一确定模块,用于从目标视频的N帧图像中确定每帧图像中包括的对象之间的位置关系,确定N组位置关系,其中,所述N是大于1的自然数;
第二确定模块,用于确定所述N帧图像之间的时序关系;
第三确定模块,用于按照所述N帧图像之间的时序关系和所述N组位置关系确定目标序列;
第一输入模块,用于将所述目标序列输入预先训练好的目标神经网络模型中,得到所述目标视频的分类结果,其中,所述分类结果用于表示所述目标视频中是否包括异常事件。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块,包括:
第一确定单元,用于针对所述N帧图像中的每帧图像,均执行以下操作,确定N组位置关系:
第一识别单元,用于识别所述图像中包括的目标对象,其中,所述目标对象为所述图像中包括的目标类型的对象,所述目标对象的数量为多个,所述目标类型的数量为一个或多个;
第二确定单元,用于确定所述目标对象中包括的每个目标对象在所述图像中的坐标信息;
第三确定单元,用于按照每个所述目标对象的坐标信息,连接所述目标对象中包括的任意两个目标对象,确定所述图像中包括的每个所述目标对象之间的位置关系,得到一组位置关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海闪马智能科技有限公司;杭州闪马智擎科技有限公司,未经上海闪马智能科技有限公司;杭州闪马智擎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210361945.0/1.html,转载请声明来源钻瓜专利网。