[发明专利]基于实例分割辅助信息的多模态海洋场景视频描述算法在审
| 申请号： | 202310727600.7 | 申请日： | 2023-06-19 |
| 公开（公告）号： | CN116778382A | 公开（公告）日： | 2023-09-19 |
| 发明（设计）人： | 赵萌;陈薪宇;张蒙恩 | 申请（专利权）人： | 天津理工大学 |
| 主分类号： | G06V20/40 | 分类号： | G06V20/40;G06V10/40;G06V10/80;G06V10/82;G06F16/783;G06F16/74;G06N3/0455;G06N3/084;G06N3/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 300384 *** | 国省代码： | 天津;12 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明提出了一种基于实例分割辅助信息的多模态海洋场景视频描述算法，该方法首先使用特征提取器对视频文本两个模态数据进行特征提取，将两个模态的特征送入多模态交互编码器进行融合、交互、和对齐后得到多模态全局信息特征，同时使用实例分割网络将视频中的前景主体信息和背景信息分割，制作辅助信息字典，对其进行特征提取得到辅助信息特征，多模态全局信息特征和辅助信息特征对比学习后送入语言解码器进行解码，生成描述语句。通过提取海洋视频的多模态全局语义信息和辅助语义信息，加强网络对于视频的理解和认知，增强视频文本之间的关联，促使生成的描述语句涵盖海洋场景视频中的全部内容，并且描述具有高质量、高流畅度的特性。 | ||
| 搜索关键词： | 基于 实例 分割 辅助 信息 多模态 海洋 场景 视频 描述 算法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津理工大学，未经天津理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310727600.7/，转载请声明来源钻瓜专利网。
