[发明专利]一种基于注意力机制的图像描述方法、系统及装置

说明书

本发明公开了一种基于注意力机制的图像描述方法、系统及装置，该方法包括：基于编码器模块对图像特征进行处理，得到编码信息；基于解码器模块获取序列向量信息并对编码信息进行解码，得到单词概率分布；重复编码解码步骤直至达到预设次数，输出图像描述。该系统包括：编码器模块、解码器模块和循环模块。该装置包括存储器以及用于执行上述基于注意力机制的图像描述方法的处理器。通过使用本发明，能够充分挖掘出图像中对象之间隐藏的内在语义联系和空间位置关系，生成全面准确的图像描述。本发明作为一种基于注意力机制的图像描述方法、系统及装置，可广泛应用于图像描述生成检测。

技术领域

本发明涉及图像描述生成领域，尤其涉及一种基于注意力机制的图像描述方法、系统及装置。

背景技术

图像描述生成技术在人工智能领域是一项具有挑战性的任务，越来越受到人们的关注。图像描述生成技术的产生为计算机从图像中快速获取信息带来了新的发展和应用前景。图像描述生成技术与图像语义分析、图像标注和图像高级语义提取等技术紧密相关。图像描述生成技术是计算机自动为图像生成一个完整、通顺的描述语句。大数据背景下的图像描述生成技术在商业领域有着广泛的应用。如购物软件中用户输入关键字快速地搜索出符合要求的商品；用户在搜索引擎中进行的图片搜索；视频中多事物目标的识别、医学图像专业的自动语义标注以及自动驾驶中目标物体的识别、图像检索、智能盲人引导、人机交互等。但是目前常用的图像描述生成方法存在对图像隐含的语义信息挖掘不充分，对图像的特征利用不充分，生成的描述不够准确全面的问题。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于注意力机制的图像描述方法、系统及装置，深度挖掘图像中物体之间的语义关系，生成更灵活、更准确的文本描述。

本发明所采用的第一技术方案是：一种基于注意力机制的图像描述方法，包括以下步骤：

获取输入图像的图像特征X并对图像特征X进行线性变换，得到向量集Q、K₁和V₁；

对向量集K₁和V₁中分别插入语义关联向量S_k、S_v，得到向量集K₂和V₂；

将向量集Q、K₂和V₂输入自注意力模块S，得到特征信息S(X)；

将特征表示S(X)经过前向传播和残差连接正则化，得到编码信息

获取前一时间步的序列向量信息Y并经过掩码自注意力模块处理得到问询向量Yq；

将编码信息经过线性变换得到向量集K₂和V₂；

将问询向量Yq、向量集K₂和V₂输入交叉注意力模块得到解码结果C并进一步残差连接和正则化更新解码结果C；

将C经过Sigmoid算子和前向传播，得到单词概率分布

以编码信息作为新的图像特征、单词概率分布作为新的序列向量表示并返回步骤S1直至循环次数达到四次，输出图像描述。

进一步，所述对图像特征X进行线性变换，得到向量集Q、K₁和V₁具体为：

基于预设大小的权重矩阵W_q、W_k和W_v与图像特征X进行点成，得到对应表示特征的向量集Q、K₁和V₁。

进一步，所述自注意力模块S由基本的缩放矩阵点积操作组成，所述将向量集Q、K₂和V₂输入自注意力模块S，得到特征信息S(X)这一步骤，公式表示为：