[发明专利]一种基于复用的竞赛数据集自动化处理系统及方法

摘要

本发明提出了一种基于复用的竞赛数据集自动化处理系统及方法，通过本发明的技术方案，可以对原始数据集进行自动整理和划分，并上传到竞赛网站服务器上。其中，包括对原始数据集进行自动整理和分割和上传，生成竞赛网站数据集，以解决现有技术中人工整理和分割数据集造成的代码不能复用，整理效率低下，以及分割后的子数据集样本不符合整个数据集样本的概率密度分布问题。本发明设计的分割数据集的方法可以对标注属性为类别、标注属性为数值以及多属性标注的数据进行分层抽样，提高了抽样的准确性，使得分割出的子数据集合中的数据分布更符合原数据集的数据分布。

主权项

1.一种基于复用的竞赛数据集自动化处理系统，所述系统包括：数据集收集整理组件，用于在获取数据集后，自动对数据集文件进行整理，获得每条数据路径及对应的标注文件；数据集分割子系统，用于在获得每条数据路径及对应的标注文件后，将数据集数据文件和对应的标注自动分割为开发集、训练集、测试集和验证集；数据集压缩上传组件，用于将所述数据集分割子系统输出的开发集、训练集、测试集和验证集压缩至压缩文件，然后将压缩文件上传至服务器指定路径；其特征在于：所述数据集分割子系统，用于在获得每条数据路径及对应的标注文件后，将数据集数据文件和对应的标注自动分割为开发集、训练集、测试集和验证集，具体包括：如果数据标注是数值，则对整个数据集的标注求直方图，按照直方图对数据集进行分层抽样；如果数据标注是多属性标注，则将标注转化为字符串，按照整个数据集字符串的频率对数据进行分层抽样；进一步的，划分开发集、训练集、测试集和验证集的方式为：首先按照训练集比例从整个数据集中随机抽样数据作为训练集，取训练集中预设数量的数据作为开发集；从数据集剩余的数据中按照测试集比例和验证集比例来分别抽取测试集数据和验证集数据；在划分数据集时，采用分层抽样的方式，来保证划分好的子集中数据分布符合整个数据集样本的概率密度分布；分层抽样的方法是对于整个数据集样本的每个类别，从该类别中按比例划分为开发集、训练集、测试集和验证集。