[发明专利]模块化图像修复方法

说明书

本发明提供一种用于图像处理的方法，其中，通过至少一个光学检测装置将一场景拍摄为至少一原始图像，所述光学检测装置尤其设置在一运输装置上，其中，场景的图像数据在随后经渲染的渲染图像中至少在至少一个区域以不全和/或有缺陷的方式映射成像。为向一机动车辆上例如一台或多台摄像机等具有可见性限制的光学检测系统用户提供更舒适的视觉体验，所述方法包括如下步骤：在渲染图像中根据现有可视性限制识别一个或多个不全和/或有缺陷区域，生成作为被遮掩区域(30)将不全和/或有缺陷映射成像的一个或多个区域包围的蒙版，通过数字化图像修复和与被遮掩区域(30)一起合并成一校正图像的方式在渲染图像的未遮掩区域(10)中重建图像数据，以及显示经补全和/或纠错的校正图像。

技术领域

本发明涉及一种方法，其中，通过尤其是设置在一运输工具上的至少一种光学检测装置将一场景拍摄为至少一原始图像，其中，在随后经渲染的渲染图像中，场景的图像数据至少在至少一个区域中映射成像为不全和/或有缺陷的场景图像数据。此外，本发明还涉及一图像处理系统，一图像处理系统的使用以及一种交通工具。

背景技术

运输工具，其中尤其是陆上运输工具，越来越多地被配置辅助系统。这些辅助系统还包括为乘员、优选为各相应车辆驾驶员提供车厢外一个或多个场景视觉印象的摄像机装置，例如用以支持、方便或监控一泊车过程。

如今，大多数泊车解决方案都基于多个摄像装置，以便在汽车泊车时提供对周围环境更好的认知。然而，并非汽车周围的所有区域都被摄像装置所覆盖。例如，车辆下方区域就没有摄像机图像。由此会造成使观察者感到不适的黑斑。

发明内容

因此，本发明的任务是，通过正确显示带有不全和/或有缺陷信息的区域，为例如机动车辆上一个或多个可见性受到限制的摄像机等光学检测系统用户提供一种更舒适的视觉体验。

该任务通过一种具有权利要求1所述特征的方法解决。此外，一根据权利要求12所述图像处理系统，其根据权利要求13所述的用途以及一根据权利要求14所述的运输工具也展示了上述任务的解决方案。因此，所述解决方案首先包括一种模块化方法，其中，在一第一步骤中，基于可见性限制在经渲染图像中实施缺失部分的识别。然后，在下一步骤中，从经渲染图像的缺失部分建立蒙版，其中，经渲染图像只应在这些蒙版中重建。然后通过数字图像修复方法在被遮掩区域中重建图像数据，其中，这类重建工作的实施有多种可能性，使得在一显示步骤中最终显示被补全和/或纠错的校正图像数据。在此，通过根据现有数据的缺失数据重建，为用户提供经改善的视觉体验。

在进一步改善用户视觉体验的一有益变型中，校正图像通过后续处理被优化成一优化图像，并且该优化图像代替各相应校正图像被予以显示。在此，可平滑可能出现的伪影，并使图像重建后的所示图像使眼睛更舒适，为此，可对经渲染的图像进行后续处理，例如提高清晰度、降低对比度和/或使色彩更和谐。

为使用户对所示图像的场景及时作出反应，在所述方法一有益的变型中，渲染图像、经重建的校正图像或经优化的优化图像实时或以一可忽略的延迟向观察者展示。在此，可显示图像的重复频率优选每秒传输帧数(fps)至少为每秒5帧。

在根据本发明所述方法一种易于处理的变型中，至少根据各相应车辆的一个三维立体模型以及根据光学检测装置的安置测定可见度限制，以识别渲染图像中不全和/或有缺陷映射成像的一个或多个区域。还可根据已知的可见性限制以合适的方式描述有偏差的场景。具体涉及到有一机动车辆的场景，可根据机动车辆和摄像机壳体的一个三维立体模型识别经渲染场景中没有任何图像数据的那些部分。

为多次使用或持续应用，在所述方法一有益的变型中，有关可见性限制的数据、周围环境(和图案)的几何模型以及(尤其是)已生成一次的场景数据可被存储在至少一个数据库中。由此，相应渲染图像针对一个或多个蒙版不进一步重建的部分可从一开始就以简单的方式加以保护或隐藏，以防进一步的处理。

在一优选的变型中，通过对已知的和/或已生成的图像数据以及必要时也对不断重复出现的蒙版的保存，可借助一机器学习方法生成要重建的图像数据。