[发明专利]一种基于稀疏神经网络的图像检索文本方法

说明书

本发明公开了一种基于稀疏神经网络的图像检索文本方法，构建两个独立的稀疏神经网络模型，然后分别把图像和文本的底层特征输入到稀疏神经网络模型中，将两个稀疏神经网络模型的输出作为图像和文本的语义理解，并将其视为图像和文本的语义空间，在此语义空间中进行图像检索文本操作，并根据检索结果排序，检索出与查询图像最匹配的文本。本发明将图像和文本投影到二者共同的语义空间，充分利用了二者的语义信息，并将稀疏编码的思想引入传统的反向传播神经网络，稀疏的限制强制网络去学习有用的信息，所以能提高检索准确度。

技术领域

本发明涉及一种基于稀疏神经网络的图像检索文本方法。

背景技术

传统的信息检索是单模态数据之间的检索，然而，随着大数据时代的到来，多模态数据增长迅速，单模态检索已无法满足人们的需要。因而，跨媒体检索(如图像检索文本)应运而生，并且正在成为信息检索的新趋势。

图像检索文本最大的挑战就是二者之间的异构鸿沟。最通用的解决方法为子空间学习方法，典型相关分析(CCA)使用相关系数作为测量标准，在保持图像和文本的相关性达最大的前提下，将图像和文本投影到一个同维子空间，从而实现图像和文本在同一空间检索的任务，类似的方法还有，偏最小二乘(PLS)和双线性差值(BLM)等，他们都属于无监督的方法；进一步的加入语义信息的有监督子空间学习方法，三视图典型相关分析(Three-ViewCCA)同时优化图像和文本之间的子空间和二者的投影与语义之间的相关性，使之达到最大，此外还有，联合特征选择和子空间学习方法(JFSSL)，广义多视图分析(GMA)等。

近年，深度学习技术在多个领域取得突破性进展，也在跨媒体检索中得到了广泛应用，深度典型相关分析(Deep Canonical Correlation Analysis)使用深度神经网络学习一个复杂的非线性投影，使得投影后的图像和文本之间的数据相关性最大；端到端的典型相关分析(End-to-end CCA)使用两路神经网络同时优化图像和文本之间的相关性，最终使得二者之间的相关性最大。

然而，上述方法均具有以下缺点：

一方面，这些方法假设图像和文本之间可以学习到一个有效的同构子空间，但对于许多真实应用，可能一幅图像上并非所有内容都与其文本描述有关，这些不相关的内容就会影响二者之间建立的同构子空间的有效性，甚至无法找到一个同构子空间；另一方面，子空间学习方法主要努力在于找到图像和文本之间的相关性，语义信息在其中起到的作用不大。

而语义信息非常有利于检索方法学习到有用的划分信息，因此，如何更好地利用语义信息，将图像和文本投影到语义空间，是目前研究的一个重点和难点。

发明内容

本发明为了解决上述问题，提出了一种基于稀疏神经网络的图像检索文本方法，本发明模仿人类视觉机制，将图像和文本的底层特征输入神经网络，网络输出为二者的语义理解，方法跨越了图像和文本底层特征与高层语义之间的语义鸿沟。

本发明为了解决现有技术中不相关的内容就会影响二者之间建立的同构子空间的有效性，通过构建两个独立的神经网络，将图像和文本投影到二者共同的语义空间，充分利用了二者的语义信息，并将稀疏编码的思想引入传统的反向传播神经网络，稀疏的限制强制网络去学习有用的信息，所以能提高检索准确度。

为了实现上述目的，本发明采用如下技术方案：

一种基于稀疏神经网络的图像检索文本方法，构建两个独立的稀疏神经网络模型，然后分别把图像和文本的底层特征输入到稀疏神经网络模型中，将两个稀疏神经网络模型的输出作为图像和文本的语义理解，并将其视为图像和文本的语义空间，在此语义空间中进行图像检索文本操作，并根据检索结果排序，检索出与查询图像最匹配的文本。

进一步的，对两个独立的稀疏神经网络模型进行训练。

进一步的，与查询图像最匹配的文本为语义空间内距离图像距离最近的检索文本。