[发明专利]一种移动式面向2D图像的3D河蟹实时检测方法

说明书

本发明公开了一种移动式面向2D图像的3D河蟹实时检测方法，该方法通过安装在自动投饵船下方的CMOS摄像头进行俯拍，随船运动，连续采集能够反映河蟹自然生活状态的水下二维RGB图像，并利用注释工具和增强现实会话数据共同建立具有标注姿态且形状多变的河蟹数据集；受无锚框机制启发，采用高斯中心分布仅从单个RGB图像出发，在编码器‑解码器架构提取特征后，采用形状、检测和回归相辅的多任务联合学习方式预测未知河蟹的2D边界框；再通过完善的姿态估计算法EPnP，将2D预测扩展到3D边界框以估计河蟹的姿态和物理尺寸，从而构建超轻量型单阶3D河蟹检测模型。该方法能够提高自动投饵船的变量投饵效率和投喂效果。

技术领域

本发明涉及机器视觉和模式识别领域，具体为一种基于二维机器视觉的三维检测及大小测量方法。

技术背景

河蟹是我国产量最大的淡水蟹类，具有丰富的营养和药用价值，给渔民带来了巨大的经济收益。但当前河蟹养殖面临变量均匀投饵这一大难题，其饵料利用率和投喂效率相对偏低，这主要是由于河蟹的养殖方式主要依靠渔民养殖经验来粗略地估算饵料投喂量，并未考虑池塘河蟹大小、密度分布和水体环境不同导致的池塘各处所需饵料的巨大差异。但是，在没有人为干预的情况下，很难估算池塘河蟹的大小和密度分布，因为河蟹很敏感，并且在能见度和光照都无法控制的水下环境中自由活动。到目前为止，河蟹生物量估计主要基于人工经验和人工采样，这通常是侵入性的，耗时且费力。因此，迫切需要开发一种非侵入性、快速和具有成本效益的手段。

机器视觉和模式识别技术提供了开发非侵入性、快速、便利的河蟹大小和生物量原位估计方法的可能性，以及科学地分析水下生物生长状况的解决方案。即利用视觉相机来自动获取视频/图像，然后根据模式识别程序自动分析、提取关键信息，实现生物量估计和生物监测。目前的大多数研究都涉及一种2D方法，即采用最常用的RGB相机传感器，根据鱼类/蟹类生物的颜色、几何形状、纹理和其他视觉特征对抓取的2D鱼类/蟹类图像进行分析，从而识别、区分及定位鱼类/蟹类的位置。但基于2D图像的鱼类/蟹类识别无法准确反映鱼类/蟹类的实际大小和形状，而且它们在实际环境中相对于其他目标的相对位置也无法满足鱼类/蟹类定位的要求。

一些昂贵的相机包括热像仪、多光谱相机和高光谱相机可通过温度或不同波长的反射率来识别定位鱼类/蟹类，但是他们依然不能够提供3D信息。通过三角测量技术、激光测距仪、基于LiDAR(光检测和测距)的系统和RGB-D相机，可以从获取的3D数据中提取更加丰富的特征来克服2D成像、特征提取等方面存在的各种困难。尽管在鱼类/蟹类分类和海洋生物监控方面具有不少潜在优势，但这类方法由于其价格高昂、计算复杂和操作速度缓慢(与2D方法相比)的不足以及需要额外硬件的支撑，尚未在移动设备(比如自动投饵船)中得到普及。

发明内容

针对上述现有技术的不足，本发明的目的在于提供一种移动式面向2D图像的3D河蟹实时检测及大小测量方法，该方法采用高斯中心分布仅从单个RGB图像出发，预测未知河蟹的2D边界框，并将预测扩展到3D估计河蟹的姿态和物理尺寸，既具有三维数据检测河蟹大小、位置和方向的优势，又具有二维数据在移动设备上实时计算的实用性。该方法能够搭载在自动投饵船上以估算河蟹的大小、成活率和密度分布为科学确定池塘各处所需饵料提供关键性的决策依据，使饵料能够充分发挥效能，获得最大的经济效益，提高自动投饵船变量投饵效率和效果。此外，还能够对池塘河蟹进行产量预测和产量映射，提高河蟹养殖的生产和管理效率。

本发明的技术方案为一种移动式面向2D图像的3D河蟹实时检测，包括以下步骤：

步骤1，通过安装在自动投饵船下方的CMOS摄像头进行俯拍，随船运动，连续采集能够反应河蟹自然生活状态的水下二维RGB图像。

步骤2，利用新颖的注释工具以3D矩形边界框方式，快速标记采集的真实2D视频帧/图像数据中的河蟹，并与利用增强现实会话数据合成的具有3D边界框、分割和坐标图标签的3D数据，共同建立具有标注姿态且形状多变的河蟹数据集。