[发明专利]一种基于分层卷积神经网络的图像检索方法

说明书

本发明公开的基于分层卷积神经网络的图像检索方法，主要解决现有全天空极光图像检索中准确率较低的问题。其实现步骤为：①采用自适应极化栅栏法确定全天空极光图像的局部关键点；②提取全天空极光图像的局部SIFT特征并构建视觉字典；③对卷积神经网络进行预训练和微调并构建极化区域池化层；④提取全天空极光图像的区域CNN特征和全局CNN特征；⑤对所有特征进行二值化处理并构建分层特征；⑥构建倒排索引表并分开保存全局CNN特征；⑦提取查询图像的分层特征并计算其与数据库图像的相似度，输出检索结果。本发明使用分层特征实现了局部关键点之间的匹配，解决了现有图像检索方法中虚警率较高的问题，具有检索准确率高的优点，适用于实时图像检索。

技术领域

本发明属于图像处理技术领域，涉及深度学习算法和图像检索技术，可用于大规模极光图像的精确检索。

背景技术

极光是太阳风携带的高能带电粒子沿着地磁力线沉降，与地球大气层粒子相互碰撞所产生的高纬度自然发光现象，是唯一能够用肉眼观测到的反映日地空间作用过程的地球物理现象。因此，建立高效的图像检索系统，完成大规模极光图像中有效数据的筛选和关键数据的分析，可以帮助人类获取日地空间活动的大量信息。

由于极光对日地空间具有显著的研究价值，近年来人类已经通过多种手段对其进行了探测。其中，地基光学成像探测是各国极地科学考察活动的重要项目。2003年11月，中国北极黄河站安装了一套三波段极光全天空成像系统，率先在国际上实现了对极光的多波段、高时空分辨率的全天空观测。全天空极光图像纹理信息丰富，其形态和亮度的变化对应着重要的日地空间耦合过程。然而，由于云雾干扰和天气影响，数据中存在很多没有信息的无效图像。同时，反映磁暴等日地空间事件的关键图像往往淹没在庞大的数据库中。因此，如何筛选出有效数据并完成关键数据的分析已经成为极光研究者们亟需解决的问题。

早期的全天空极光图像检索研究只是建立在肉眼观察的基础上，采用手工标记的方法进行筛选。随着计算机科学的发展，图像处理和模式识别技术正成为极光检索研究的新手段。例如，Sivic等人在文献“J.Sivic and A.Zisserman,Video google:A textretrieval approach to object matching in videos,in Proc.IEEEInt.Conf.Comput.Vis.,2003,pp.1470–1477.”中提出的词袋模型法(Bag of Words,BoW)，该方法将局部特征进行聚类生成语义字典，利用倒排索引实现图像检索；Jeguo等人在文献“H.Jegou,M.Douze,and C.Schmid,Hamming embedding and weak geometricconsistency for large scale image search,in Proc.Eur.Conf.Comput.Vis.,2008,pp.304-317.”中提出的汉明嵌入法(Hamming Embedding,HE)，该方法将局部特征之间的汉明距离存入索引表，提高了图像检索的精度；Jeguo等人在文献“H.Jegou,M.Douze,C.Schmid,and P.Perez,Aggregating local descriptors into a compact imagerepresentation,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2010,pp.3304-3311.”中提出的局部特征聚合向量法(Vector of Locally Aggregated Descriptors,VLAD)，该方法将局部特征聚合并降维生成全局特征，提高了图像检索的效率；Yang等人在文献“X.Yang,X.Gao,Q.Tian,Polar embedding for aurora image retrieval,IEEETrans.Image Process.24(11)(2015)3332-3344.”中提出的极向嵌入法(PolarEmbedding,PE)，该方法结合极光图像成像特点，利用极化栅格对图像关键点进行不均匀采样，通过提取每个关键点的尺度不变特征(Scale-Invariant Feature Transform,SIFT)和局部二值模式特征(Local Binary Patterns,LBP)，实现了极光图像的实时检索。