[发明专利]多模态前景背景分割

摘要

本公开涉及被配置成允许不同背景前景分割模态对分割作出贡献的框架。一方面，基于RGB背景分离、色度键控、IR背景分离、当前深度相对于背景深度以及当前深度相对于阈值背景深度模态来处理各个像素。每一模态可作为因子进行贡献，该框架将因子进行组合以确定关于一像素是前景还是背景的概率。各个概率被馈送入全局分割框架以获得经分割的图像。

主权项

1.一种用于执行前景/背景分割的系统，包括：被配置为捕捉场景的图像的至少一个图像捕捉设备；图像捕捉系统，包括被配置为从所述至少一个图像捕捉设备接收所述场景的所述图像的接口；包括前景背景分割框架的图像处理系统，所述框架包括：被配置为执行如下操作的多模态分割组件：从所述图像捕捉系统接收来自所述场景的所述图像，从不同的分割模态确定多个贡献因子，其中所述不同的分割模态包括红绿蓝(RGB)背景减除、红外(IR)背景减除、当前计算的深度相对于先前计算的背景深度评估、以及当前计算的深度相对于阈值深度评估，以及组合所述多个贡献因子以确定所述场景的所述图像的各元素是在所述场景的所述图像的前景还是背景中，所述多个贡献因子包括基于图像的因子、基于深度的因子、以及基于在所述场景内的对象的已知深度的差异因子，所述在所述场景内的对象的已知深度是在确定所述场景的所述图像的所述元素是在所述场景的所述图像的前景还是背景之前就已知的。