[发明专利]一种视频处理方法、装置、计算机设备和可读存储介质在审
| 申请号: | 202111325596.9 | 申请日: | 2021-11-10 |
| 公开(公告)号: | CN113963302A | 公开(公告)日: | 2022-01-21 |
| 发明(设计)人: | 耿焕;邓积杰;林星;白兴安;徐扬 | 申请(专利权)人: | 北京微播易科技股份有限公司 |
| 主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/44;G06V40/20;G06V10/764;G06V10/774;G06K9/62 |
| 代理公司: | 北京瀚群律师事务所 11581 | 代理人: | 王姗姗 |
| 地址: | 100081 北京市海淀区紫*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 视频 处理 方法 装置 计算机 设备 可读 存储 介质 | ||
1.一种视频处理方法,其特征在于,所述方法包括:
获取待分类视频的至少一个关键帧图像对应的关键帧特征;
通过预先训练的视频分类模型对所述至少一个关键帧图像对应的关键帧特征进行处理,得到所述待分类视频的分类结果,其中,所述预先训练的视频分类模型是基于多头视觉注意力模块构建的。
2.如权利要求1所述的视频处理方法,其特征在于,在所述通过预先训练的视频分类模型对所述关键帧图像进行处理之前,还包括:
获取基于多头视觉注意力模块构建的初始视频分类模型;
对所述初始视频分类模型进行训练,得到所述预先训练的视频分类模型。
3.如权利要求2所述的视频处理方法,其特征在于,所述对所述初始视频分类模型进行训练,包括:
获取预设训练视频集和与所述训练视频集中每个训练视频对应的训练标签;
分别获取所述训练视频集中每个训练视频的至少一个训练关键帧图像对应的训练关键帧特征;
对于任一训练关键帧特征,分别通过所述多头视觉注意力模块中每个头的视觉注意力模块对该训练关键帧特征进行处理,得到每个头的视觉注意力模块对应的第一特征;
根据预设矩阵对该训练关键帧特征对应的所有第一特征进行连接处理,得到对应的第二特征;
根据该训练关键帧特征和第二特征,获取对应的第三特征;
对于任一训练视频,根据该训练视频对应的所有第三特征的平均值,获取该训练视频的训练分类;
根据每个训练视频的训练分类和训练标签对所述初始视频分类模型进行训练,得到所述预先训练的视频分类模型。
4.如权利要求3所述的视频处理方法,其特征在于,所述根据每个训练视频的训练分类和训练标签对所述初始视频分类模型进行训练,包括:
根据所述训练视频集中每个训练视频的训练分类和训练标签判断所述初始视频分类模型的分类准确率是否大于预设阈值;
若所述初始视频分类模型的分类准确率大于所述预设阈值,则将分类准确率大于预设阈值的初始视频分类模型作为所述预先训练的视频分类模型;
若所述初始视频分类模型的分类准确率不大于所述预设阈值,则根据所述训练视频集中每个训练视频的训练分类和训练标签更新所述初始视频分类模型后,再次执行分别通过所述多头视觉注意力模块中每个视觉注意力模块对该训练关键帧图像对应的训练关键帧特征进行处理步骤。
5.如权利要求3或4所述的视频处理方法,其特征在于,对于任一个头的视觉注意力模块,分别通过所述多头视觉注意力模块中每个头的视觉注意力模块对该训练关键帧特征进行处理,包括:
根据该视觉注意力模块预设的第一卷积核和该训练关键帧获取第一矩阵;
根据该视觉注意力模块预设的第一矩阵调整模型对所述第一矩阵进行变换,得到第二矩阵;
根据该视觉注意力模块预设的第二卷积核和该训练关键帧获取第三矩阵;
根据该视觉注意力模块预设的第二矩阵调整模型对所述第三矩阵进行变换,得到第四矩阵;
根据该视觉注意力模块预设的逻辑回归模型对该第四矩阵进行逻辑回归后转置,得到第五矩阵;
根据第二矩阵和第五矩阵之积获取该视觉注意力模块对应的第一特征。
6.如权利要求3或4所述的视频处理方法,其特征在于,所述根据预设矩阵对该训练关键帧特征对应的所有第一特征进行连接处理,包括:
对该训练关键帧特征对应的所有第一特征进行连接处理,得到连接矩阵;
根据所述预设矩阵与所述连接矩阵之积获取对应的第二特征。
7.如权利要求3或4所述的视频处理方法,其特征在于,所述根据该训练关键帧特征和第二特征,获取对应的第三特征,包括:
根据该训练关键帧特征和第二特征之和,获取对应的第三特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京微播易科技股份有限公司,未经北京微播易科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111325596.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种垃圾焚烧用输送装置
- 下一篇:一种发动机盘类零件加工测量用悬臂翻转装置





