[发明专利]基于动态路由的跨模态注意力筛选网络的跨模态匹配方法

摘要

本发明公开了基于动态路由的跨模态注意力筛选网络的跨模态匹配方法。该任务在局部对齐方面已取得显著的进展。它们通常对每幅图像检测置信度排名前36位的显著区域进行建模。但这些区域通常包含不相关的冗余区域，可能会给建模过程引入噪声干扰模型推理。根据我们对该任务中最广泛使用数据集的统计，区域数量远大于单词数量。因此，我们提出一种具有动态路由的跨模态注意力筛选网络，为每个输入图像自动配置适当数量的区域。该网络具有区域数量决策的能力，能够根据不同的数据动态学习不同的激活区域，从而减少冗余计算。此外，设计了跨模态筛选模块，通过过滤无关信息保留有意义的交互特征，抑制无意义对齐的干扰，同时自适应调整全局和局部依赖。