[发明专利]基于强化学习的声呐图像目标识别方法

说明书

本发明公开了一种基于强化学习的声呐图像目标识别方法，包括：(1)将卷积神经网络的层选择过程建模为马尔科夫决策过程；(2)定义强化学习Agent的状态空间和动作空间；(3)使用强化学习Q‑Learn i ng算法让Agent自动构建出一系列的卷积神经网络；(4)从自动生成的卷积神经网络中选出表现较好的网络模型，调整参数并迁移到目标检测网络中，如摘要附图所示；(5)用声呐图像数据集对整个目标检测网络进行监督式训练，完成声呐图像的目标识别工作，基于强化学习的Q‑Learn i ng算法来自动化卷积神经网络的构建过程，省去了大量手工调参投入，得到性能良好的卷积神经网络，提高声呐图像识别的工作效率。

技术领域

本发明属于数字图像处理的技术领域，尤其涉及一种基于强化学习的声呐图像目标识别方法。

背景技术

声呐图像是由监听船舶主动发出声波，经声波的反射后获得回声信号，再将声学信号转化后的到的。声呐数据经常伴随水深探测及底层探测数据一并获取，从而能够使我们观测海底浅层结构。通过声呐图像，我们不仅可以发现影响石油及天然气等工业运输的障碍物，直观地侦测海底电缆及管道的状态，还能够根据声呐图像中海底独特的地形地貌进行针对性的环境研究，甚至检测地雷分布。因此声呐图像广泛应用于海洋科学、海洋工程、水下目标检测与识别等领域。

在传统的声呐图像研究中，主要是先对声呐图像进行人工特征提取，之后根据提取到的特征划分为不同的类别。如果目标比较简单，特征较为明显，传统的分类方法会非常好，而且算法复杂度也比较低。但是声呐图像在获取过程中由于它的成像机理和复杂的海洋环境，成像后的图像质量通常较差，传统的分类算法不能很好地完成任务。

近年来,作为多层神经网络学习算法的深度学习技术,在机器学习的很多领域中取得了突破性进展。它用类似人脑的层次结构实现了从低级信号到高层语义的提取和映射，之后对数据进行分级特征表达，具有强大的视觉信息处理能力。深度学习技术通过多层非线性网络结构对特征进行学习，网络的每一层都对特征进行提取和组合，在网络的高层会组合低层提取到的特征从而得到数据更加抽象的表示。它将传统机器学习的人工设计或者提取特征环节实现了自动化，用复杂函数逼近和拟合数据的原始分布,从而能够提取到数据集的本质特征。

随着深度学习的不断发展，目前普遍使用基于深度学习的方法进行声呐图像的分类工作。但是构建一个表现性能良好的卷积神经网络并不容易。一个典型的结构由数个卷积层、池化层和全连接层组成。在构建卷积神经网络时，网络设计者必须做出许多设计决策：每种类型层的数量，层之间的顺序，以及每种类型层的超参数，例如，感受野的大小，步长和每个卷积层中感受野的数量。尽管有一些自动或计算机辅助神经网络的设计工作，但卷积神经网络的构建大都是依靠研究者的经验手工调参，效率并不高

发明内容

本发明正是针对现有技术在实际应用中存在的问题，提供一种基于强化学习的声呐图像目标识别方法，包括：(1)将卷积神经网络的层选择过程建模为马尔科夫决策过程；(2)定义强化学习Agent的状态空间和动作空间；(3)使用强化学习Q-Learning算法让Agent自动构建出一系列的卷积神经网络；(4)从自动生成的卷积神经网络中选出表现较好的网络模型，调整参数并迁移到目标检测网络中；(5)用声呐图像数据集对整个目标检测网络进行监督式训练，完成声呐图像的目标识别工作，基于强化学习的Q-Learning算法来自动化卷积神经网络的构建过程，省去了大量手工调参投入，得到性能良好的卷积神经网络，提高声呐图像识别的工作效率。

为了实现上述目的，本发明采取的技术方案是：基于强化学习的声呐图像目标识别方法,包括以下步骤：

S1，将卷积神经网络的层选择过程建模为马尔科夫决策过程：所述卷积神经网络包括特征提取和特征分类两个部分，特征提取处于网络的前端，由卷积层、池化层和残差层构成；特征分类在网络的末尾；强化学习Agent在和环境的不断交互中，通过环境的反馈选择合适的层类型和超参数构成卷积神经网络的特征提取部分，之后连接特征分类部分构成完整的分类卷积神经网络；