[发明专利]一种基于异构特征统一深度神经网络的中国水墨画识别方法

说明书

本发明公开了一种基于异构特征统一深度神经网络的中国水墨画识别方法,步骤包括：特征提取：特征提取模块从水墨画数据中提取多种类型的特征向量，特征向量包括PHOG、BOF、ESH、VGGNet bottleneck特征和ResNet bottleneck特征；异构特征统一：通过特征提取过程的处理，利用多种特征提取方法获得了五种异构图像特征表示，提出了一个基于深度神经网络的无监督特征学习技术的异构特征统一模块，将多种类型特征的异构空间转换为统一的特征表示空间；特征融合：融合网络模块最后一个隐藏层输出一个1024维特征向量，作为水墨画的最终特征表示。本发明可以有效地从异构图像特征集中发现更具区分力的特征表示，并消除冗余和无关的信息、多种特征表示融合起来，从而获得更好的图像分类结果。

技术领域

本发明涉及水墨画识别分类技术，特别是一种基于异构特征统一深度神经网络的中国水墨画识别方法。

背景技术

随着互联网和信息技术的飞速发展，越来越多的艺术品图片出现在网络上，特别是以前被收藏的珍贵画作也通过数字化技术，不断的呈现在网络上供人欣赏、进行交易。其中，中国水墨画作为具有独特的艺术形式和绘画技艺而享誉盛名，而一些绘画名家的作品更是达到了无比高深的艺术境界，受到全世界的瞩目。由此，如何在网络上方便的搜索和分类中国水墨画成了一个竞相研究的热点。

在研究水墨画分类时，如何提高分类准确率还存在着很多问题和困难。1、如何从水墨画中提取有区分力的特征表示；2、如何解决多特征集的异构问题；3、如何选择合适的融合策略学习到最具区分力的特征表示用于分类任务。

发明内容

针对现有技术中存在的问题，本发明提供了一种可以有效地从异构图像特征集中发现更具区分力的特征表示，并消除冗余和无关的信息、多种特征表示融合起来，从而获得更好的图像分类结果的基于异构特征统一深度神经网络的中国水墨画识别方法。

本发明的目的通过以下技术方案实现。

一种基于异构特征统一深度神经网络的中国水墨画识别方法,步骤包括：

1)特征提取：特征提取模块从水墨画数据中提取多种类型的特征向量，所述特征向量包括PHOG、BOF、ESH、VGGNet bottleneck特征和ResNet bottleneck特征；

2)异构特征统一：通过特征提取过程的处理，利用多种特征提取方法获得了五种异构图像特征表示，提出了一个基于深度神经网络的无监督特征学习技术的异构特征统一模块，将多种类型特征的异构空间转换为统一的特征表示空间，通过AutoEncoder结构及其变体来生成抽象的高级特征表示形式；

3)特征融合：融合网络模块是一个四层深度神经网络，所述融合网络模块包含一个输入层和三个隐藏层，作为结果，融合网络模块最后一个隐藏层输出一个1024维特征向量，作为水墨画的最终特征表示。

所述异构特征统一模块由多个分支网络组成，所述多个分支网络对应输入不同类型的特征表示，所述异构特征统一模块的每个分支网络包括两个不同的阶段：预训练阶段和微调阶段。

所述预训练阶段为无监督的预训练阶段，由多个隐藏层组成的分支网络通过输入各种类型异构特征表示，进行分层预训练，所述Autoencoder结构中前一个隐藏层的输出作为下一个隐藏层的输入，通过最小化原始输入数据和重建数据的差值使得重构误差最小化，对于不同类型的特征，对应的分支网络是不同的，即每个分支网络的体系结构，包括隐藏层结构和隐藏层节点的数量是不同的；

所述微调阶段是有监督的微调阶段，预训练阶段中的decoder被替换为一个辅助层，该层被所有分支网络共享，包括监督信息的辅助层用于微调整个分支网络，其中微调阶段的主要思想是挖掘这些多异构特征集之间的内在关联；

最终，原始的异构特征集依次通过预训练阶段和微调阶段的处理，转换为同构特征表示，异构特征统一模块的训练中采用随机梯度下降或小批量随机梯度下降策略。