[发明专利]基于数字孪生的变化检测数据生成及评估的方法及设备

说明书

本发明公开了一种基于数字孪生的变化检测数据生成及评估的方法及设备，所述方法包括：获取测试视频，对所述测试视频中物体进行处理，得到所述物体对应的数字物体，将所述数字物体进行调整以构建数字场景；基于所述数字场景，对所述数字场景中的目标进行自动标注，输出第一二值语义标签图像，并生成变化检测数据；对所述数字场景设定不同的视觉挑战，获取变化检测模型在不同所述视觉挑战下输出的第二二值语义标签图像，将所述第一二值语义标签图像和所述第二二值语义标签图像进行对比，以完成所述变化检测模型的评估。本发明通过构建数字场景，使得任务场景多样性，通过图像自动标注及模拟不同的视觉挑战有利于全面评估变化检测模型的可靠性。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于数字孪生的变化检测数据生成及评估的方法、系统、智能终端及计算机可读存储介质。

背景技术

变化检测是一项十分重要的计算机视觉研究项目，该技术识别摄像机视场中变化或移动的区域，利用变化检测作为预处理过程，可以去除冗余数据，完成更高级的目标检测、目标跟踪和识别等多个应用；例如，无人机实现水上着陆的关键性因素是对动态目标进行检测，以提供降落目标精准的感知信息。

变化检测的一般工作原理是通过比较当前帧和背景模型间的差异来检测运动对象，这种方法的关键之处在于建立并维持背景模型，因此要求有足够的数据来完成背景模型设计和测试。许多研究涉及和开发出各种变化检测数据集，Wallflower数据集用于测试模型面对挑战性问题受到的干扰(摇曳树枝、休息人群、影子等)；I-LIDS数据集关注代表性事件和不同场景给模型带来的影响；PETS2001数据集可用于评价视觉监控图像中的目标跟踪和变化检测性能；CDNet2014数据集作为当前基准数据，由53个视频序列总共90000帧图像组成。变化检测数据的生成除了图像收集之外，还需要采用手工方式为每个像素标注出该数据属于前景还是背景元素；由于手工注释困难等原因上述数据集大多没有被完全标注，并且已经标注的数据也无法扩展，这导致变化检测无法很好处理现实世界中存在复杂多变的成像挑战。目前现有技术中的变化检测数据的应用存在无法有效扩充数据场景种类和规模、高效标注图像及获取多样性挑战数据的问题。举例来说，无人机水上检测会遭遇动态背景、光照变化、阴影、噪声等问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于数字孪生的变化检测数据生成及评估的方法及设备，旨在解决现有技术中无法有效扩充数据场景种类和规模、高效标注图像及获取多样性挑战数据的问题。

为实现上述目的，本发明提供一种基于数字孪生的变化检测数据生成及评估的方法，所述基于数字孪生的变化检测数据生成及评估的方法包括如下步骤：

获取测试视频，对所述测试视频中物体进行处理，得到所述物体对应的数字物体，将所述数字物体进行调整以构建数字场景；

基于所述数字场景，对所述数字场景中的目标进行自动标注，输出第一二值语义标签图像，并生成变化检测数据；

对所述数字场景设定不同的视觉挑战，获取变化检测模型在不同所述视觉挑战下输出的第二二值语义标签图像，将所述第一二值语义标签图像和所述第二二值语义标签图像进行对比，以完成所述变化检测模型的评估。

可选地，所述的基于数字孪生的变化检测数据生成及评估的方法，其中，所述获取测试视频，对所述测试视频中物体进行处理，得到所述物体对应的数字物体，将所述数字物体进行调整以构建数字场景，具体包括：

从数据集的基准中选择一个测试视频，并利用计算机图形学引擎根据所述测试视频中物体的物理属性进行配置，得到所述物体对应的数字物体；

将所述数字物体分为背景模型和前景物体，其中，所述背景模型为所述测试视频中处于静态或者产生有规律变化的物体，所述前景物体为所述测试视频中运动的物体；