[发明专利]用于图像标注的空间注意力模型

摘要

所公开的技术提出了一种新颖的空间注意力模型，其使用解码器长短期记忆(LSTM)的当前隐藏状态信息来引导注意力并提取空间图像特征用于图像标注(image captioning)。所公开的技术还提出了一种用于图像标注的新颖的自适应注意力模型，其混合来自卷积神经网络(CNN)的视觉信息和来自LSTM的语言信息。在每个时间步长处，与语言模型相比，自适应注意力模型自动决定依赖图像的程度，以发出下一个字幕单词。所公开的技术进一步将新的辅助哨兵门添加到LSTM架构并产生哨兵LSTM(Sn‑LSTM)。哨兵门在每个时间步长处产生视觉哨兵，这是从LSTM的内存得到的长期和短期视觉和语言信息的附加表示。