[发明专利]一种三通路残差注意力图像描述方法

摘要

本发明涉及数据处理技术领域，具体涉及一种三通路残差注意力图像描述方法，包括提取输入图片的网络特征；构建三个残差注意力路径；通过在三个残差注意力路径之间添加跳过连接来生成注意力分数；在编码器中引入相对位置的残差注意力模块将相对位置分数与注意力分数结合，得到更新编码器；在解码器中引入带有层归一化查询向量的残差注意力模块，得到更新解码器；基于三个残差注意力路径、更新编码器和更新解码器构建并训练注意力机制模型；将网格特征输入训练后的注意力机制模型进行融合后输出，得到图像文字描述，解决了现有的注意力机制模型不同层的注意力分数之间的联系不够强的问题。