[发明专利]数据管理方法及装置、电子设备和存储介质

说明书

本公开涉及一种数据管理方法及装置、电子设备和存储介质，所述方法包括：响应于针对目标任务的配置操作，确定目标任务的输入数据集；根据输入数据集，执行目标任务，得到输出数据集；记录目标任务、输入数据集以及输出数据集之间的关联关系，以基于关联关系实现数据管理，关联关系包括以下至少一种：输入数据集及输出数据集分别与目标任务之间的对应关系，以及输入数据集与输出数据集之间的衍生关系。本公开实施例可有利于整体提高人工智能开发项目的开发效率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据管理方法及装置、电子设备和存储介质。

背景技术

在人工智能项目(如，人脸识别项目、服装识别项目)的开发过程中，有很多涉及到数据迭代的任务，例如数据集的获取、标注、划分，以及训练模型、测试模型等任务。

考虑到，人工智能项目的开发过程中可包括多种任务，可能存在某种任务执行多次，某种任务输出的数据集可能不止一个，某种任务输入的数据集可能不止一个等复杂情况，在该些复杂情况下，通过有效地管理数据集，能够提升人工智能项目的开发效率。

发明内容

本公开提出了一种数据管理技术方案。

根据本公开的一方面，提供了一种数据管理方法，包括：响应于针对目标任务的配置操作，确定所述目标任务的输入数据集；根据所述输入数据集，执行所述目标任务，得到输出数据集；记录所述目标任务、所述输入数据集以及所述输出数据集之间的关联关系，以基于所述关联关系实现数据管理，所述关联关系包括以下至少一种：所述输入数据集及所述输出数据集分别与所述目标任务之间的对应关系，以及所述输入数据集与所述输出数据集之间的衍生关系。

在一种可能的实现方式中，所述目标任务包括多个，根据所述输入数据集，执行所述目标任务，得到输出数据集，包括：根据所述输入数据集，执行第1个目标任务，得到第1组输出数据集；根据第n-1组输出数据集，执行第n个目标任务，得到第n组输出数据集，n≥2；其中，记录所述目标任务、所述输入数据集以及所述输出数据集之间的关联关系，包括：记录所述输入数据集及所述第1组输出数据集分别与所述第1个目标任务之间的对应关系，以及记录所述第n-1组输出数据集及所述第n组输出数据集分别与所述第n个目标任务之间的对应关系；和/或，记录所述输入数据集与所述1组输出数据集之间的衍生关系，以及记录所述第n-1组输出数据集与所述第n组输出数据集之间的衍生关系。

在一种可能的实现方式中，记录所述目标任务、所述输入数据集以及所述输出数据集之间的关联关系，包括：通过有向无环图和/或树状图，记录所述目标任务、所述输入数据集以及所述输出数据集之间的关联关系。

在一种可能的实现方式中，所述方法还包括：展示数据集列表、所述对应关系以及所述衍生关系中的至少一种，所述数据集列表包括所述输入数据集与所述输出数据集。

在一种可能的实现方式中，在所述目标任务包括多个的情况下，展示所述衍生关系，包括：基于有向无环图和/或树状图的形式，展示所述输入数据集与第1组输出数据集之间的衍生关系，以及第n-1组输出数据集与第n组输出数据集之间的衍生关系，其中，所述第1组输出数据集是根据所述输入数据集执行第1个目标任务得到的，所述第n组输出数据集是根据所述第n-1组输出数据集执行第n个目标任务得到的。

在一种可能的实现方式中，所述响应于针对目标任务的配置操作，确定所述目标任务的输入数据集，包括：响应于针对目标任务的配置操作，确定所述目标任务的配置参数以及所述目标任务的执行脚本，所述配置参数包括所述目标任务的任务参数以及所述目标任务的输入数据集，所述任务参数用于指示所述目标任务针对所述输入数据集的处理结果，所述执行脚本用于执行所述目标任务；其中，所述方法还包括：记录所述目标任务的配置参数。

在一种可能的实现方式中，所述方法还包括：将实现所述数据管理方法的代码进行封装，得到所述数据管理方法的软件开发工具包，所述软件开发工具用于部署在电子设备上，以在所述电子设备上执行所述数据管理方法。