[发明专利]基于3D游戏的数据集构建方法、装置、设备及存储介质

说明书

本申请公开了一种基于3D游戏的数据集构建方法、装置、设备及存储介质。该方法首先获取目标3D游戏的编译后的游戏数据抓取脚本；运行目标3D游戏，根据游戏数据抓取脚本得到游戏画面数据，其中，游戏画面数据包括图像数据和非图像数据；之后对游戏画面数据进行数据清洗得到待标注的样本数据；最后构建数据标注系统，通过数据标注系统对样本数据进行标注。可以看出，本申请实现了从3D游戏中获取合成数据，相比于真实世界中数据采集效率更高，并且，游戏合成数据可以从游戏中获取相应的语义信息，可以极大的简化数据标注过程，使得从游戏中获取数据可以用于模型训练。

技术领域

本发明涉及计算机图形学领域，特别涉及一种基于3D游戏的数据集构建方法、装置、设备及存储介质。

背景技术

伴随着科技的不断发展，人们需求的不断提升，深度学习技术已经成为当今社会中炙手可热的焦点。深度学习技术是机器学习领域下的一个新的研究方向，它通过学习样本数据的内在规律和表示层次等，从中学习到用于下游任务的特征，从而让机器在一些任务上能够像人一样具有分析判别能力。伴随着社交平台的快速发展，人们每天都会制造出海量的数据，这些海量的数据也使得深度学习模型的训练有了更多的可能，现阶段深度学习模型在文本分类、图像分类、机器翻译等任务上突显出了巨大的优势，其效果远超于先前的传统方法。

数据在深度学习模型训练的过程中是至关重要的，从一定意义上可以说数据的数量和质量决定了最终模型效果的好坏。然而现实世界中构建一个数据集的成本是非常昂贵的，它往往需要大量人员花费大量时间去采集数据，并对数据进行筛选、标注等。

发明内容

基于此，本申请实施例提供了一种基于3D游戏的数据集构建方法、装置、电子设备及存储介质，可以有效解决从真实环境收集图像成本较高，且很难获得精确的深度数据的问题。

第一方面，提供了一种基于3D游戏的数据集构建方法，该方法包括：

获取目标3D游戏的编译后的游戏数据抓取脚本；

运行所述目标3D游戏，根据所述游戏数据抓取脚本得到游戏画面数据，所述游戏画面数据包括图像数据和非图像数据；

对所述游戏画面数据进行数据清洗得到待标注的样本数据；

构建数据标注系统，通过所述数据标注系统对所述样本数据进行标注。

可选地，述构建数据标注系统，通过所述数据标注系统对所述样本数据进行标注，包括：

构建基于移动终端的数据标注系统，所述数据标注系统包括用户登录组件和数据标注组件；

所述用户登录组件用于使用户通过在用户登录页面输入账号与密码登录所述数据标注系统；

所述数据标注组件用于对数据标注页面内展示的样本数据进行打分与描述。

可选地，在对所述样本数据进行标注之后，所述方法还包括：

通过标注后的样本数据对单目深度图估计模型、无绿幕抠图模型、文本生成布局以及人体骨骼关键点预测模型进行训练。

可选地，所述游戏画面数据包括游戏截图、深度图以及模板图；所述非图像数据包括摄像机参数信息、物体2D包围盒数据、物体3D包围盒数据、物体3D模型名称以及人体3D骨骼关键点信息。

可选地，所述游戏画面数据还包括：

基于所述模板图通过膨胀腐蚀法来得到当前帧的三元图，所述膨胀腐蚀法具体包括使用OpenCV中的cv2.dilate和cv2.erode。

可选地，所述根据所述游戏数据抓取脚本得到游戏画面数据，包括：