[发明专利]一种鱼体语义分割方法

权利要求书

1.一种鱼体语义分割方法，其特征在于，包括以下步骤：

S1、使用双目摄像机在养殖池塘进行水下拍摄得到鱼类图像的数据集；

S2、构建基于MF-Mask R-CNN框架的多任务并行的深度学习模型，并通过数据集对该模型进行训练和测试；

S3、将待分割的鱼体图像输入S2输出的模型中得到鱼体的掩码图像，实现鱼体图像的准确分割。

2.如权利要求1所述的一种鱼体语义分割方法，其特征在于，步骤S1还包括：

将数据集用旋转、裁剪和对比度增强的数据增强方式进行数据增广；

将数据增广后的数据集利用深度学习图像标注软件labelme进行鱼体的手动标注以得到含有鱼体掩码信息的数据集；

将含有鱼体掩码信息的数据集按8：1：1的比例划分为训练集、验证集和测试集。

3.如权利要求2所述的一种鱼体语义分割方法，其特征在于，步骤S2具体包括：

构建基于MF-Mask R-CNN框架的多任务并行的深度学习模型，通过训练集对深度学习模型进行训练，然后通过验证集来验证深度学习模型的精度，最后以测试集作为输入来对深度学习模型的效果进行测试。

4.如权利要求3所述的一种鱼体语义分割方法，其特征在于，所述深度学习模型包括：

特征提取层，采用MF-ResNet101-FPN主干网络，用于提取鱼体图像的特征；其中，MF为Mobile和Former的双向桥接；

区域建议层，为全卷积神经网络，用于寻找鱼体特征区域；

池化层，采用最大池化和平均池化的方式实现鱼体特征图的融合，用于防止模型的过拟合；

多任务分支层，包含鱼体掩码分支、鱼体分类分支和鱼体边界框分支，三个分支结尾连接全卷积网络。

5.如权利要求4所述的一种鱼体语义分割方法，其特征在于，所述双向桥接中Mobile至Former的双桥通信公式为：

其中，A_x→z表示局部特征映射X到全局特征Z的交叉注意力，X表示局部特征，表示第i个head的局部特征，Z表示全局特征，表示第i个head的全局特征，R表示全局特征图，M为自然数，h表示全局划分的数量，d表示维数，W_i^Q表示第i个head的查询投影矩阵，W^O表示多个head投影矩阵的组合，Attn表示标准注意力函数，Q为所查询特征，K表示键，V表示键值，softmax为激活函数，K^T表示键的转置，d_K表示键为K的维数，[]_i＝1:h表示h个元素的拼接。

6.如权利要求5所述的一种鱼体语义分割方法，其特征在于，所述双向桥接中Former至Mobile的双桥通信公式为：

其中，A_Z→X表示全局特征Z到局部特征X的交叉注意力，X表示局部特征，表示第i个局部特征，Z表示全局特征，表示第i个全局特征，R表示全局特征图，M为自然数，h表示全局划分的数量，d表示维数，W_i^K和W_i^V是键和值在Former端的投影矩阵Attn表示标准注意力函数，K表示键，V表示键值，[]_i＝1:h表示h个元素的拼接。