[发明专利]一种三通路残差注意力图像描述方法

权利要求书

1.一种三通路残差注意力图像描述方法，其特征在于，包括以下步骤：

提取输入图片的网络特征；

构建三个残差注意力路径；

通过在三个所述残差注意力路径之间添加跳过连接来生成注意力分数；

在编码器中引入相对位置的残差注意力模块将相对位置分数与所述注意力分数结合，得到更新编码器；

在解码器中引入带有层归一化查询向量的残差注意力模块，得到更新解码器；

基于三个所述残差注意力路径、所述更新编码器和所述更新解码器构建并训练注意力机制模型；

将所述网格特征输入训练后的所述注意力机制模型进行融合后输出，得到图像文字描述。

2.如权利要求1所述的三通路残差注意力图像描述方法，其特征在于，

所述提取输入图片的网络特征的具体方式为：

设定网格提取参数；

利用视觉特征基于所述网特提取参数提取输入图片的网格特征。

3.如权利要求2所述的三通路残差注意力图像描述方法，其特征在于，

所述基于三个所述残差注意力路径、所述更新编码器和所述更新解码器构建并训练注意力机制模型的具体方式为：

基于三个所述残差注意力路径、所述更新编码器和所述更新解码器构建网络模型；

获取图像字幕基准数据集；

删除所述图像字幕基准数据集中所有句子的标点符号，并将所述图像字幕基准数据集中的所有单词转换为小写，得到训练数据集；

使用所述训练数据集对所述网络模型进行训练、验证和测试，得到注意力机制模型。

4.如权利要求3所述的三通路残差注意力图像描述方法，其特征在于，

所述使用所述训练数据集对所述网络模型进行训练、验证和测试，得到注意力机制模型的具体方式为：

计算所述训练数据集的注意力，得到计算值；

基于所述计算值对所述训练数据集进行图像标注，得到标注数据集；

使用所述标注数据集对所述网络模型进行训练、验证和测试，得到注意力机制模型。

5.如权利要求4所述的三通路残差注意力图像描述方法，其特征在于，

所述将所述网格特征输入训练后的所述注意力机制模型进行融合后输出，得到图像文字描述的具体方式为：

将所述网格特征展平，得到展平特征；

将所述展平特征馈入训练后的所述注意力机制模型进行融合后输出，得到图像文字描述。