[发明专利]一种视频编解码方法及系统在审
| 申请号： | 202110483437.5 | 申请日： | 2021-04-30 |
| 公开（公告）号： | CN113099228A | 公开（公告）日： | 2021-07-09 |
| 发明（设计）人： | 郭克华;申长春;奎晓燕;刘斌;王凌风;刘超 | 申请（专利权）人： | 中南大学;手拉手信息技术有限公司 |
| 主分类号： | H04N19/172 | 分类号： | H04N19/172;H04N19/42;H04N19/44;G06N3/04;G06N3/08 |
| 代理公司： | 长沙正奇专利事务所有限责任公司 43113 | 代理人： | 王娟;马强 |
| 地址： | 410083 湖南*** | 国省代码： | 湖南;43 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 视频 解码 方法 系统 | ||
1.一种视频编解码方法，其特征在于，包括以下步骤：
S1、分别提取视频帧序列的3D特征和2D特征；
S2、对所述3D特征进行处理，获得关键特征；将所述关键特征与所述2D特征按时间序列叠加，构建融合特征；
S3、在时刻
S4、将新的融合特征输入到长短期记忆网络中，得到关于所述视频帧序列的描述句子。
2.根据权利要求1所述的视频编解码方法，其特征在于，步骤S1中，利用3D卷积神经网络提取所述视频帧序列的3D特征。
3.根据权利要求1所述的视频编解码方法，其特征在于，步骤S1中，利用2D卷积神经网络提取所述视频帧序列的2D特征。
4.根据权利要求3所述的视频编解码方法，其特征在于，所述2D卷积神经网络采用经过ImageNet预训练的Inception v3网络作为骨干网络。
5.根据权利要求1所述的视频编解码方法，其特征在于，所述视频帧序列获取方法为：从整段视频中采样固定数量的帧，构成所述视频帧序列。
6.根据权利要求1所述的视频编解码方法，其特征在于，步骤S2中，利用由多组N个柯西分布构成的行为滤波器与3D特征进行矩阵乘法运算，得到关键特征。
7.一种视频编解码系统，其特征在于，包括：
第一提取单元，用于提取视频帧序列的3D特征；
第二提取单元，用于提取视频帧序列的2D特征；
第三提取单元，用于提取所述3D特征的关键信息；
第一融合单元，用于将所述关键特征与所述2D特征按时间序列叠加，构建融合特征；
第二融合单元，用于在时刻
长短期记忆网络，用于在输入新的融合特征后，输出关于所述视频帧序列的描述句子。
8.根据权利要求7所述的系统，其特征在于，所述第一提取单元为3D卷积神经网络。
9.根据权利要求7所述的系统，其特征在于，第二提取单元为2D卷积神经网络。
10.根据权利要求7所述的系统，其特征在于，所述第三提取单元具体执行如下操作：利用由多组N个柯西分布构成的行为滤波器与3D特征进行矩阵乘法运算，得到关键特征。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中南大学;手拉手信息技术有限公司，未经中南大学;手拉手信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110483437.5/1.html，转载请声明来源钻瓜专利网。
