[发明专利]一种三通路残差注意力图像描述方法

说明书

本发明涉及数据处理技术领域，具体涉及一种三通路残差注意力图像描述方法，包括提取输入图片的网络特征；构建三个残差注意力路径；通过在三个残差注意力路径之间添加跳过连接来生成注意力分数；在编码器中引入相对位置的残差注意力模块将相对位置分数与注意力分数结合，得到更新编码器；在解码器中引入带有层归一化查询向量的残差注意力模块，得到更新解码器；基于三个残差注意力路径、更新编码器和更新解码器构建并训练注意力机制模型；将网格特征输入训练后的注意力机制模型进行融合后输出，得到图像文字描述，解决了现有的注意力机制模型不同层的注意力分数之间的联系不够强的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种三通路残差注意力图像描述方法。

背景技术

注意力机制和网格特征被广泛用于图像描述等视觉语言任务中，注意力分数是注意机制成功的关键因素。

然而，由于Transformer(注意力机制模型)是一个层次结构，不同层的注意力分数之间的联系不够强，会导致图像的网格特征进入Transformer模型时，会导致几何位置信息发生丢失。

发明内容

本发明的目的在于提供一种三通路残差注意力图像描述方法，旨在解决现有的注意力机制模型不同层的注意力分数之间的联系不够强的问题。

为实现上述目的，本发明提供了一种三通路残差注意力图像描述方法，包括以下步骤：

提取输入图片的网络特征；

构建三个残差注意力路径；

通过在三个所述残差注意力路径之间添加跳过连接来生成注意力分数；

在编码器中引入相对位置的残差注意力模块将相对位置分数与所述注意力分数结合，得到更新编码器；

在解码器中引入带有层归一化查询向量的残差注意力模块，得到更新解码器；

基于三个所述残差注意力路径、所述更新编码器和所述更新解码器构建并训练注意力机制模型；

将所述网格特征输入训练后的所述注意力机制模型进行融合后输出，得到图像文字描述。

其中，所述提取输入图片的网络特征的具体方式为：

设定网格提取参数；

利用视觉特征基于所述网特提取参数提取输入图片的网格特征。

其中，所述基于三个所述残差注意力路径、所述更新编码器和所述更新解码器构建并训练注意力机制模型的具体方式为：

基于三个所述残差注意力路径、所述更新编码器和所述更新解码器构建网络模型；

获取图像字幕基准数据集；

删除所述图像字幕基准数据集中所有句子的标点符号，并将所述图像字幕基准数据集中的所有单词转换为小写，得到训练数据集；

使用所述训练数据集对所述网络模型进行训练、验证和测试，得到注意力机制模型。

其中，所述使用所述训练数据集对所述网络模型进行训练、验证和测试，得到注意力机制模型的具体方式为：

计算所述训练数据集的注意力，得到计算值；

基于所述计算值对所述训练数据集进行图像标注，得到标注数据集；

使用所述标注数据集对所述网络模型进行训练、验证和测试，得到注意力机制模型。

其中，所述将所述网格特征输入训练后的所述注意力机制模型进行融合后输出，得到图像文字描述的具体方式为：

将所述网格特征展平，得到展平特征；