[发明专利]用于改进图像分割的系统和方法

说明书

本公开涉及用于改进图像分割的系统和方法。更具体而言，一个实施例可以提供一种计算机视觉系统。计算机视觉系统可以包括一个或多个摄像机以捕捉场景的图像，以及一组或多组单色光源以照亮场景，其中每组光源包括多个不同颜色的单色光源。给定组内的多个单色光源可以按顺序一次一个地打开。每次场景被特定颜色的相应单色光源照亮时，摄像机可以捕捉场景的图像。

相关申请

本申请要求发明人Zheng Xu、John W.Wallerius和Sabarish Kuduwa Sivanath于2022年2月9日提交的第63/308，336号美国临时专利申请的权益，该美国临时专利申请的代理人案卷号为EBOT22-1001PSP，标题为“SYSTEM AND METHOD FOR IMPROVEMENT OF IMAGESEGMENTATION”，出于各种目的，其公开内容通过引用全部纳入本文。

本公开涉及：

发明人Zheng Xu和Sabarish Kuduwa Sivanath于2022年9月16日提交的第17/946，803号美国专利申请，代理人案卷号为EBOT21-1003NP，标题为“3D COMPUTER-VISIONSYSTEM WITH VARIABLE SPATIAL RESOLUTION”，该申请要求以下权益：

于2021年10月15日提交的美国临时专利申请第62/256，335号，代理人案卷号EBOT21-1003PSP，标题为“3D Computer Vision with Variable Spatial Resolution”；

出于各种目的，其公开内容通过引用全部纳入本文。

技术领域

本公开总体上涉及一种用于机器人应用的三维(3D)计算机视觉系统。特别是，本公开涉及一种图像分割的改进。

背景技术

先进的机器人技术极大地改变了产品的生产方式，并导致了第四次工业革命(也称为工业4.0)。第四次工业革命通过允许计算机和机器人相互连接和通信，从而最终在没有人类参与的情况下做出决策，来改进在第三次工业革命期间发展的计算和自动化技术。信息物理系统、物联网(IoT)和系统互联网(IoS)的结合使工业4.0成为可能，并且使智能工厂成为现实。智能机器可以变得更智能，因为它们可以访问更多数据并学习新技能，这可以使工厂更高效、更高产和浪费更少。最终，一个由数字连接的智能机器的网络可以创造和共享信息，这将导致真正的“熄灯制造”，其中不需要人类监督。

实现工业4.0的关键部件之一是用于引导机器人执行各种制造任务的3D计算机视觉，诸如消费电子产品(例如，智能手机、数码相机、平板电脑或笔记本电脑等)的制造。在执行制造任务时，3D计算机视觉系统需要识别工作空间内的各种部件(有些非常小)，以便引导机器人抓取感兴趣的部件。这可以通过捕捉工作空间的图像并识别图像内的部件来完成。图像的实例分割，或者识别属于场景中每个单独部件的像素的能力，有可能增强用于上述特定实例抓取机器人应用的机器人感知管道，其中在混乱环境中的潜在未知干扰物部件中识别和抓取目标部件。各种机器学习方法已经证明了通过在大量手工标记的数据集上训练深度神经网络以合理的精度和可靠性将彩色或红色、绿色和蓝色(RGB)图像分割成预定义的语义类别(诸如人类、自行车、汽车等)的能力。虽然在RGB或RGB-Depth(RGB-D)下分割的精度满足仓库取放应用的基本要求，但仍远远不能满足精密制造的要求。此外，现有的训练数据集通常包含自然场景和仓库应用的RGB图像，这些图像与制造线上常见的混乱场景截然不同。由彩色摄像机获取的自然场景的RGB表示不包含光的全光谱，其分割精度无法满足高精密制造的要求。此外，工业应用通常使用黑白(BW)摄像机，以便满足各种高分辨率要求。BW摄像机可以产生包括场景的灰度信息的图像，但缺乏彩色信息。没有彩色信息的图像可能会损害实例分割的性能。

发明内容