[发明专利]鸟类喂食的方法、装置及系统

权利要求书

1.一种鸟类喂食的方法，其特征在于，所述方法包括：

获取摄像设备拍摄的彩色图像和深度图像，其中，所述彩色图像和所述深度图像是对同一鸟类拍摄的图像；

将所述彩色图像输入到模型中，其中，所述模型是通过多组训练数据训练获得的，所述多组训练数据中的每一组训练数据均包括：鸟类的图像以及标识该鸟类出现乞食行为的标识信息；

当鸟类出现乞食行为时，获取所述模型输出的特征信息，其中，所述特征信息包括鸟类嘴部中心的二维坐标；

根据所述深度图像将所述二维坐标转换为三维空间坐标；

根据所述三维空间坐标控制所述机械手移动至鸟类的嘴部中心并给鸟类喂食。

2.根据权利要求1所述的鸟类喂食的方法，其特征在于，所述当鸟类出现乞食行为时，获取所述模型输出的特征信息包括：

所述模型输出的特性信息为特征数据集，所述特征数据集包括标记鸟类嘴部的多个矩形框及对应的置信度得分，其中，所述置信度得分表示输入图像中鸟类出现乞食行为的概率；

获取所述特征数据集中置信度得分最高的矩形框；

获得所述矩形框中心的二维坐标。

3.根据权利要求1所述的鸟类喂食的方法，其特征在于，所述根据所述深度图像将所述二维坐标转换为三维空间坐标包括：

通过所述深度图像将所述二维坐标转换为所述摄像设备坐标系下的坐标；

将所述摄像设备坐标系下的坐标转换为所述机械手坐标系下的三维空间坐标。

4.根据权利要求1所述的鸟类喂食的方法，其特征在于，所述通过所述深度图像将所述二维坐标转换为所述摄像设备坐标系下的坐标包括：

所述二维坐标通过以下公式转换为所述摄像设备坐标系下的坐标：

其中，(u、v)表示所述二维坐标；(x_c、y_c、z_c)表示所述摄像设备坐标系下的坐标；z_c表示(u、v)对应的深度值，该深度值通过所述深度图像获得；A表示摄像设备的内参矩阵；f_u、f_v表示摄像设备的焦距和像素纵横比的融合；u₀、v₀表示摄像设备的光心坐标。

5.根据权利要求1所述的鸟类喂食的方法，其特征在于，所述将所述摄像设备坐标系下的坐标转换为所述机械手坐标系下的三维空间坐标包括：

所述摄像设备坐标系下的坐标通过以下公式转换为所述机械手坐标系下的三维空间坐标：

其中，(x、y、z)表示所述机械手坐标系下的三维空间坐标，(x_c、y_c、a_c)表示所述摄像设备坐标系下的坐标，T_m表示摄像设备和机械手之间的外参矩阵，R表示旋转矩阵，T表示平移矩阵。

6.根据权利要求1所述的鸟类喂食的方法，其特征在于，所述根据所述深度图像将所述二维坐标转换为三维空间坐标还包括：

对所述彩色图像和所述深度图像进行配准处理。

7.根据权利要求1所述的鸟类喂食的方法，其特征在于，所述方法还包括初始化处理，所述初始化处理包括：

训练鸟类乞食行为的模型；

获得摄像设备的内参矩阵A和外参矩阵T_m；

设置鸟类的喂食参数。