[发明专利]目标数据的分类方法、装置、可读存储介质及电子设备

说明书

本发明提供了一种目标数据的分类方法、装置、可读存储介质及电子设备，目标数据的分类方法包括：获取目标数据集合，目标数据集合内包括同一数据格式的多个目标数据，目标数据的数据格式包括结构化数据格式、图片数据格式以及文本数据格式中的任一种；根据数据格式确定目标数据的第一处理方式；根据第一处理方式对目标数据进行第一处理，得到第一处理数据；根据目标数据的数据类别，将多个第一处理数据分类为多个数据集。

技术领域

本发明涉及数据分析领域，具体而言，涉及一种目标数据的分类方法、装置、可读存储介质及电子设备。

背景技术

相关技术中，当前市面上主流的图片数据格式和文本格式各式各样，这就导致算法开发者需要多套数据处理函数进行兼容，极大降低了算法开发的效率，也增加了系统的冗余程度。并且在将每种类别分配到每种数据集(训练集、验证集、测试集)中时，无法高效且均匀的分配，影响了算法训练的效率。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题。

为此，本发明的第一方面提供了一种目标数据的分类方法。

本发明的第二方面提供了一种目标数据的分类装置。

本发明的第三方面提供了一种可读存储介质。

本发明的第四方面提供了一种电子设备。

有鉴于此，本发明的第一方面提出了一种目标数据的分类方法，分类方法包括：获取目标数据集合，目标数据集合内包括同一数据格式的多个目标数据，目标数据的数据格式包括结构化数据格式、图片数据格式以及文本数据格式中的任一种；根据数据格式确定目标数据的第一处理方式；根据第一处理方式对目标数据进行第一处理，得到第一处理数据；根据目标数据的数据类别，将多个第一处理数据分类为多个数据集。

在本发明的技术方案中，目标数据的数据格式包括结构化数据格式、图片数据格式以及文本数据格式，系统可以获取上述任意一种数据格式的目标数据并对获取到的目标数据进行处理。具体地，系统获取目标数据集合，在目标数据集合中包括多个目标数据，并且多个目标数据的数据格式均为同一种数据格式，之后系统根据目标数据的数据格式确定目标数据的第一处理方式，并根据第一处理方式对目标数据进行第一处理，以此可以获取多种格式的数据并根据获取到的目标数据的数据格式对数据进行处理，使得该系统具有优秀的兼容性，提高了对数据处理的效率。

在上述任一技术方案中，目标数据集合内的多个目标数据包括多个数据类别，不同数据种类的多个目标数据之间有一定的比例，在得到第一处理后的第一处理数据后，系统根据目标数据的数据类别，将多个第一处理数据分类为多个数据集，使得系统可以按照不同数据种类的将多个目标数据分类为多个数据集，即可以使目标数据分类后的每个数据集中的数据类别的比例相同。

在上述技术方案中，示例性地，以目标数据集合内的多个目标数据包括3种数据类别为例，且这3种数据类别对应的多个目标数据的比例为1：2：3，那么系统就可以根据目标数据的数据类别将多个第一处理数据(即经过第一处理后的目标数据)分类为不同的数据集，使得每个数据集中的数据类别对应的多个目标数据的比例仍为1：2：3，以此保证了每种类别的数据可以均匀的分布至多个数据集中，并且分类后的多个数据集用于对训练模型的训练，因此也可以提高对模型训练的准确性。

在上述任一技术方案中，格式化数据格式包括CSV格式(Comma SeparatedValues，逗号分隔值文件格式)；图片数据格式包括labelme格式(图像标注格式)，VOC格式(Visual Object Classes，视觉目标分类格式)，COCO格式(Common Objects in Context，图像识别数据集格式)；文本数据格式包括TXT格式(文本格式)，CSV格式(Comma SeparatedValues，逗号分隔值文件格式)，JSON格式(Javascript Object Notation，轻量级数据交互格式)。