[发明专利]一种基于图像检索的字幕匹配方法和系统

说明书

本发明公开了一种基于图像检索的字幕匹配方法和系统，其通过获取待匹配图像、样本图像以及样本图像所对应的字幕内容，使用采集的样本图像作为ELM自编码网络训练的数据，对待匹配图像及各个样本图像分别使用ELM自编码网络训练得到哈希函数，并使用该哈希函数进行图像二进制编码转换，得到待匹配图像及各个样本图像的二进制编码序列并计算出计算图像之间的汉明距离，根据该汉明距离通过K近邻法进行相似图像检索，得到与待匹配图像最相似样本图像，最后将所述的最相似样本图像所对应的字幕内容赋予所述的待匹配图像；提高图像相似检索的精确度，同时使用二进制编码保证了检索的效率，达到快速精准图像字幕匹配的效果。

技术领域

本发明涉及图像处理技术领域，特别是一种基于图像检索的字幕匹配方法及其应用该方法的系统。

背景技术

为特定图像匹配合适的影视字幕的最关键点就在于图像检索的效率和准确度，影视字幕的数据资源是非常庞大的，用户很难在浩如烟海的数据中找到真正感兴趣的信息。因此，如何对海量的图像进行快速有效的分析和检索成了一个非常具有挑战性的任务。

传统的基于内容的图像检索技术往往都是通过提取图像的底层特征进行穷举比对，但因其比较过程的时间复杂度是线性的，无法在大规模网络图像数据上进行扩展和应用，并且由于图像的底层视觉特征动辄成千上万维，许多图像检索应用还会遇到维数灾难的问题，如何对如此庞大的原始数据进行存储也是一个巨大瓶颈。

近年来，研究者们对图像的快速检索技术进行了详细研究。其中，基于哈希编码的图像搜索方法取得了巨大成功。该类算法通过将图像表示成低维的二进制编码向量来完成近似近邻搜索。利用二进制编码进行图像的近似近邻搜索是极其快速的，因为：1)图像的编码向量是高度压缩的，可以将其全部载入内存之中；2)编码之间的汉明(Hamming)距离通过按位的异或操作便可得到，因此该计算过程是非常高效的(如今，一台普通的台式机在几毫秒之内就可以完成数百万汉明距离的计算)。

目前，传统的图像哈希编码算法主要分为非数据依赖和数据依赖两种方案。其中一种非常著名的非数据依赖哈希算法便是局部敏感哈希(Locality Sensitive Hashing,LSH)，但是其投影向量的随机性导致其编码效率并不高，它往往需要构建具有很长编码长度的多个哈希表才能获得较为理想的效果。近年来，研究者们将研究重点转移到数据依赖的哈希算法上来，试图通过机器学习的方法代替随机投影来寻找更好的数据依赖哈希函数，如基于深度学习网络的限制玻尔兹曼机(Restricted Boltzmann Machines,RBMs)和基于谱图分割的谱哈希(Spectral Hashing,SH)算法等。RBMs算法通过神经网络模型逐层对图像的原始特征进行降维和学习，并最终得到一个紧致的二进制编码。SH算法则通过构建拉普拉斯特征图并利用主成分分析(PCA)方法提取其特征向量对原始图像进行哈希编码。

但是上述方法都是基于单一的图像底层视觉特征信息进行哈希编码，无法全面地表达图像丰富的内容信息。后续的研究，如多特征哈希算法(Multiple Feature Hashing,MFH)和多源信息合成哈希算法(Composite Hashing with Multiple InformationSources,CHMIS)等，又在多种特征信息的融合等方面对数据依赖哈希算法进行了相关的拓展。虽然上述哈希算法是针对问题的不同角度提出，都具有各自的一些特点和优越性，但它们往往只在某些特定的设置条件或者数据库上有效，范围扩展性较差，无法应用于图像的自动字幕匹配。

发明内容

本发明为解决上述问题，提供了一种基于图像检索的字幕匹配方法和系统，在保证图像检索效率的前提下，达到快速精准图像字幕匹配的效果。

为实现上述目的，本发明采用的技术方案为：

一种基于图像检索的字幕匹配方法，其特征在于，包括以下步骤：