[发明专利]一种语言描述引导的视频时序定位方法有效
申请号: | 202010040451.3 | 申请日: | 2020-01-15 |
公开(公告)号: | CN111274438B | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 李冠彬;吴捷;林倞 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F16/73 | 分类号: | G06F16/73;G06N3/0464;G06N3/048;G06N3/08;G06V10/80;G06V20/40;G06V10/82 |
代理公司: | 广州容大知识产权代理事务所(普通合伙) 44326 | 代理人: | 刘新年 |
地址: | 510275 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种语言描述引导的视频时序定位方法,包括如下步骤:步骤S1,提取跨模态特征的多模态特征编码网络,以用于学习视频和自然语言的跨模态信息,获得所输入的语言和视觉模态的多模态融合表征;步骤S2,采用层次化的树状结构策略,对跨模态信息进行层次化分解;步骤S3,采用渐进强化学习机制,通过两个任务导向的奖励来提供正确的学分分配,鼓励树状结构中的不同策略的相互促进,本发明通过基于树结构的渐进强化学习框架来模拟人类由粗到精的决策过程,可以有效地分解复杂的动作策略,在增加搜索空间的同时减少搜索步骤的数量,以更合理的方式获得更令人印象深刻的结果。 | ||
搜索关键词: | 一种 语言 描述 引导 视频 时序 定位 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010040451.3/,转载请声明来源钻瓜专利网。