[发明专利]用于植物物种识别的系统和方法

权利要求书

1.一种用于识别农田中的杂草的计算机实现方法(1000)，该计算机实现方法使用具有以下模块的拓扑的双任务卷积神经网络(120)：

中间模块(121)，其被配置为执行第一任务以确定在测试输入图像(91)上存在的杂草物种(11，12，13)，所述第一任务与第一损失函数(LF1)相关联，以及

语义分割模块(122)，其被配置为在分割所述测试输入图像(91)中执行第二任务以确定所述测试输入图像(91)的每个像素的类，所述类包括所确定的杂草物种，所述第二任务与不同的第二损失函数(LF2)相关联，

其中，考虑到所述第一损失函数和第二损失函数(LF1，LF2)，所述中间模块和所述分割模块一起训练；

所述方法包括：

接收(1100)测试输入(91)，所述测试输入(91)包括示出农田中的作物物种的作物植物并且示出在所述作物植物中的一种或多种杂草物种的杂草植物的图像；

从所述测试输入图像中提取(1200)图块，所述图块具有所述中间模块的输入形状的尺寸；

对于每个所提取的图块：

所述中间模块(121)预测(1300)存在于相应图块中的一种或多种杂草物种的存在；

所述中间模块(121)将对应的中间特征图(121-o1)输出(1400)到所述分割模块(122)作为所述第一任务的输出；

所述分割模块通过从所述中间特征图中提取(1500)多尺度特征和上下文信息并且串联(1600)所提取的信息以执行语义分割，针对每个杂草物种的类生成(1700)掩码作为所述第二任务的分割输出，所述掩码是具有与图块相同的大小的图像，其中所述掩码上的每个像素都与表示所述像素属于相关联的类的概率的值相关联；以及

将所生成的掩码组合(1800)成最终图像，该最终图像对于每个像素指示该像素是否属于特定杂草物种，以及如果是则该像素属于哪个杂草物种。

2.根据权利要求1所述的方法，其中，所述中间模块由分类神经网络实现。

3.根据前述权利要求中任一项所述的方法，其中，所述第一损失函数(FL1)是“加权二元交叉熵”，其中每个样本像素取决于其所属的类进行加权，所述中间模块(121)使用“sigmoid”作为支持同时存在多个类的最后的激活层。

4.根据权利要求1所述的方法，其中，所述中间模块由回归神经网络实现。

5.根据权利要求4所述的方法，其中，所述第一损失函数(FL1)是“均方误差”或“均值平均误差”，所述中间模块(121)使用“线性”或“sigmoid”作为支持同时存在多个类的检测的最后的激活层。

6.根据前述权利要求中任一项所述的方法，其中，与所述分割模块相关联的所述第二损失函数(FL2)是“加权分类交叉熵”。

7.根据前述权利要求中任一项所述的方法，其中，用于与所述分割模块一起训练所述中间模块的图像训练数据集包括：

具有示出具有作物物种(10)的作物植物和在所述作物植物中的一种或多种杂草物种(11，12，13)的杂草植物的农田中的真实世界情况的图像(41-a)的第一数据子集，所述第一数据子集具有指示所述训练图像的所述像素所属的物种的手动像素注释(41-1，41-2，41-3)；

以及以下中的至少一个：

具有示出从单个植物图像获得的不同杂草物种的多个杂草植物的图像(42-a)的第二数据子集，其中每个单个植物图像示出单个物种的植物，以及粘贴到土壤背景图像中的所述单个植物，所述第二数据子集具有属于所述单个杂草物种的像素的自动注释(42-1，42-3，42-4)；以及

具有示出单个杂草物种的多个杂草植物的图像(43-a)的第三数据子集，所述第三数据子集具有属于所述单个杂草物种的像素的自动注释(42-3，43-1，43-4)。

8.根据前述权利要求中任一项所述的方法，其中，所述分割模块(122)由金字塔池化模块实现。