[发明专利]一种基于深度学习的异构融合气泡羽流特征提取方法

权利要求书

1.一种基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，包括：

S1、基于水下相机采集到的气泡羽流原始图像和水下传感器采集的流场环境参数，得到气泡羽流光学图像特点，构建气泡羽流光学图像特征提取CNN模型，实现多尺度特征的提取；

S2、通过VGG16网络，构建波浪场中气泡羽流动态形态模型并对其进行训练，为特征融合提供瞬时流场特征标准化描述；

S3、基于所述气泡羽流光学图像特征提取CNN模型与波浪场中气泡羽流动态形态模型之间的关联性和多重对应分析的全连接结构，设置自适应权重调整机制，用于复杂波浪场中气泡羽流动态形态的特征描述；

其中，所述多重对应分析的全连接结构为在经典VGG16网络中增加一个全连接层，将所述流场环境参数作为分量连结到全连接层对应的每一个类别，构成多重对应分析的全连接结构。

2.根据权利要求1所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，所述步骤S1包括：对所述水下相机采集到的气泡羽流原始图像文件，在数据预处理阶段进行感兴趣区域RoI选取和数据标注；根据水下传感器采集流场环境参数，先由编码器完成标准化处理，得到二进制文件，再结合流场环境方程完成权重分配，最后得到流场环境描述文件。

3.根据权利要求2所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，所述步骤S1还包括：对气泡羽流光学图像特征提取CNN模型进行训练，采用Caffe作为深度学习框架，在模型训练时，先将所有的样本图片和标注文本及流场环境描述文件封装成LMDB格式，然后定义CNN网络的结果及相关参数文件，最后利用Caffe进行动态形态分类训练，得到经过图像数据集训练后的CNN模型。

4.根据权利要求2所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，对所述感兴趣区域RoI进行选取的过程为：从包含杂乱背景信息的原始图像文件中，提取气泡密度最高的区域作为所述RoI区域进行剪裁，得到经过剪裁处理后的图像文件，对所述经过剪裁处理后的图像文件进行n个不同尺度的RoI提取，得到多尺度RoI区域。

5.根据权利要求4所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，对得到的所述多尺度RoI区域，运用所述经过图像数据集训练后的CNN模型进行特征提取并进行前向传导计算，最后将所述CNN模型前向传导后得到的特征T(k)进行相加融合，得到整个场景图像的多尺度RoI图像特征描述。

6.根据权利要求5所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，得到所述整个场景图像的多尺度RoI图像特征描述后，采用最近邻差值的方法进行下采样操作。

7.根据权利要求1所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，所述步骤S2包括：采用VGG16为基础网络结构，并增加全连接层融合流场环境，完成对波浪场中气泡羽流动态形态模型的构建和训练。

8.根据权利要求7所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，所述VGG16网络结构的输入层为卷积层，其输入图像为所述步骤S1中提取的多尺度RoI图像，网络中每个卷积层均连结一个ReLU激活函数。

9.根据权利要求8所述的基于深度学习的异构融合气泡羽流特征提取方法，其特征在于，在所述VGG16网络的全连接层最后一层的后面增加一个全连接层，将经过标准化处理后的环境参数作为分量连结到所述增加的全连接层中，用于与VGG16特征提取网络的分类结果连接融合。