[发明专利]一种基于深度学习的端到端视频字幕生成方法在审
申请号: | 202310020696.3 | 申请日: | 2023-01-06 |
公开(公告)号: | CN116132756A | 公开(公告)日: | 2023-05-16 |
发明(设计)人: | 冉玉婷;周明亮;房斌;魏雪凯;蒲华燕;罗均;向涛 | 申请(专利权)人: | 重庆大学 |
主分类号: | H04N21/81 | 分类号: | H04N21/81;G06F16/783;G06N3/08;G06N3/0499;H04N21/84;H04N21/845 |
代理公司: | 北京慕达星云知识产权代理事务所(特殊普通合伙) 11465 | 代理人: | 李冉 |
地址: | 400030 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 端视 字幕 生成 方法 | ||
1.一种基于深度学习的端到端视频字幕生成方法,其特征在于,包括如下步骤:
S1、采用视觉编码器和文本编码器分别提取视觉网格特征和全局文本特征;
S2、将视觉网格特征送入局部视觉编码器得到精细的局部视觉特征;
S3、将局部视觉编码器中产生的中间特征输入到桥梁模块产生全局视觉特征;
S4、将全局视觉特征与全局文本特征一起输入到注意力机制的多模态编码器进行融合,产生多模态特征;
S5、将多模态特征输入到解码器中的预融合模块与已经生成的单词进行初步融合,生成预融合特征;
S6、将局部视觉特征输入到解码器中的交叉注意力模块与预融合特征相结合,逐字生成描述。
2.如权利要求1所述的一种基于深度学习的端到端视频字幕生成方法,其特征在于,所述S2包括:
S21、利用窗口注意力或滑动窗口注意力机制计算视觉网格特征的全局注意力关系,得到关注了不同区域的视觉特征;
S22、将关注了不同区域的视觉特征采用layernorm进行归一化,得到中间特征
S23、中间特征经过前馈神经网络层和归一化层,生成细化的局部视觉特征;经过N次的重复编码,最终局部视觉特征被表示为
3.如权利要求2所述的一种基于深度学习的端到端视频字幕生成方法,其特征在于,所述S3包括:
S31、利用平均池化对局部视觉编码器中产生的中间特征进行计算,再经过线性层并采用RELU函数进行激活,得到全局视觉特征
4.如权利要求3所述的一种基于深度学习的端到端视频字幕生成方法,其特征在于,所述S4包括:
S41、将全局视觉特征与全局文本特征分别输入到两个独立的transformer模块中,基于自注意力机制,得到进行自注意力后的全局视觉特征与全局文本特征
S42、将自注意力后的全局视觉特征与自注意力后的全局文本特征分别做交叉注意力,生成初步的多模态表征
S43、将初步的多模态表征经过前馈神经网络和层归一化,生成最终的多模态特征经过N次的重复编码,多模态特征被表示为
5.如权利要求4所述的一种基于深度学习的端到端视频字幕生成方法,其特征在于,所述S5包括:
S51、将多模态特征与已经生成的单词进行初步融合,得到拼接后的初步特征;
将初步特征经过线性层并采用RELU函数进行激活,根据层归一化,生成预融合特征
6.如权利要求2所述的一种基于深度学习的端到端视频字幕生成方法,其特征在于,
通过如下公式计算全局注意力关系:
(S)W-MSA=Merge(w1,w2,...,wk)
上式中,其中(S)W表示常规/移位窗口划分策略,MSA代表多头注意力机制,Merge(·)表示常规/移位窗口划分策略的反向操作,k为窗口数,wk表示第k个窗口的多头注意力结果,和分别为第i个窗口的查询Q、键值K和值项V;
通过如下公式将关注了不同区域的视觉特征经过层归一化得到中间特征
上式中,LN表示归一化,表示第l-1块的输出局部视觉特征,它是第l块的输入,和是可学习的参数;
通过如下公式计算局部视觉特征
上式中,表示第l块的输出局部视觉特征,FFN为前馈神经网络层,经过N次的重复编码,最终局部视觉特征被表示为
7.如权利要求4所述的一种基于深度学习的端到端视频字幕生成方法,其特征在于,通过如下公式计算自注意力后的全局视觉特征
上式中,表示全局视觉特征,为可学习参数矩阵,LN表示归一化;
通过如下公式计算初步的多模态表征
上式中,为可学习的参数;
通过如下公式计算最终的多模态特征
上式中,表示初步的多模态表征,表示多模态特征表示,FFN为前馈神经网络层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学,未经重庆大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310020696.3/1.html,转载请声明来源钻瓜专利网。