[发明专利]用于考验农业环境的深度和视觉传感器

说明书

提供了一种用于在室内农业环境中对植物进行三维成像的系统，室内农业环境的环境光功率谱与自然室外光的功率谱不同，系统包括：空间分离的立体相机对，立体相机对各自包括图像传感器，其中，空间分离的立体相机对对准同一场景并且直接对准植物；投影仪，投影仪被配置为将非均匀光图案照射包括植物的场景，其中，光图案的光属于低于室内农业环境的平均环境强度的频段；滤波器，滤波器设置在空间分离的立体相机对的图像传感器之前，滤波器被配置为选择性地过滤投影仪使用的频段中的光；以及处理器，处理器被配置为接收由空间分离的立体相机对抓取的场景中的第一相机图像和第二相机图像，并根据立体相机对所捕获的图像来生成场景的深度图，其中，深度图包括与第一相机图像中的每一个像素相应的深度值。

本申请是2020年2月14日提交的，申请号为202080028180.8，发明名称为“用于考验农业环境的深度和视觉传感器”的专利申请的分案申请。原申请的全部内容通过引用结合在本申请中。

技术领域

本文公开的方面和实施例涉及农产品的机器成像以确定农产品的三维位置。

背景技术

为了指导自动化多自由度系统(机器人系统)与活体植物相互作用以进行收获、修剪、网格化或各种形式的分析，植物的高精度实时三维成像经常被用作完全自动化系统中的多种传感器模式之一。在室内农业环境中，存在独特的照明条件，这在其他任何地方都不是典型的。另外，藤蔓作物和叶类作物的实际形状，不规则性和表面颜色或纹理为传统的三维(3D)成像传感器提供了独特的挑战性目标。现有的和市售的3D成像系统在这些独特的条件下表现非常差。

发明内容

根据本文所公开的方面，提供了一种用于在室内农业环境中对植物进行三维成像的方法，该室内农业环境具有与自然室外光的功率谱不同的环境光功率谱。该方法包括将一对空间分离的立体相机对准包括植物的场景，用光投射器提供的非均匀图案照亮场景，该光投射器利用具有低于室内农业环境中平均环境强度的频段中的光。用过滤器过滤进入每个相机的图像传感器的光，该过滤器选择性地通过投影仪使用的频段中的光，用每个相机捕捉场景的图像以获得第一和第二相机图像，并生成深度包括与第一相机图像中的每个像素对应的深度值的地图。

在一些实施例中，滤波器是带通滤波器，并且该方法还包括用带通滤波器阻挡大部分环境光进入每个相机的图像传感器。

在一些实施例中，投影仪发射紫光。从投影仪发射的光的频段可以从400nm到430nm。可以用光学低通滤波器对进入每个相机的图像传感器的光进行滤波。

在一些实施例中，投影仪发射红光。从投影仪发射的光的频段可以从620nm到680nm。可以利用光学带通滤波器对进入每个相机的图像传感器的光进行滤波。

在一些实施例中，投影仪发射绿光。从投影仪发射的光的频段可以从520nm到560nm。可以利用光学带通滤波器对进入每个相机的图像传感器的光进行滤波。

在一些实施例中，非均匀图案是通过使从投影仪发射的激光通过衍射光学元件而产生的非均匀点阵图。

在一些实施例中，该方法还包括表征室内农业环境中的环境光功率谱并基于该表征选择频段。

在一些实施例中，该方法还包括基于用于室内农业环境中的植物的照明形式来选择频段。

在一些实施例中，该方法还包括以选定的偏振角对来自投影仪的光进行偏振，并使用滤波器选择性地以选定的偏振角过滤进入每个相机的图像传感器的光。

在一些实施例中，该方法还包括用频段中的非图案化光源照射场景。

在一些实施例中，生成深度图包括对第一和第二相机图像进行校正，使得通过第一和第二相机图像绘制的水平线对应于真实世界空间中的同一对极线。