[发明专利]一种基于分片方式对调研数据进行预处理的方法及装置

权利要求书

1.一种基于分片方式对调研数据进行预处理的方法，其特征在于，包括：基于Celery后台多任务生成索引文件以及切片文件，当用户需要下载数据时，从索引文件筛选需要下载的数据，根据筛选后的索引文件的索引，从切片文件提取数据并且合并，将合并后的数据提供给用户；

所述索引文件：存放每一个切片文件的编号和文件名，同时作为切片文件的索引；

所述切片文件：存放实时进来的样本数据，并且通过数据库中存放的切片文件数量值变量，限制每个切片文件的大小；所述切片文件数量值变量小于等于20Mb，保证增量数据只需追加至每个小的切片文件；

所述切片文件的编号，将所有切片文件的编号组成编号集合，保存在数据表中；

所述数据表：当用户需要下载数据时，从数据表中查询出相应的切片文件的编号；

所述切片文件提取数据并且合并，具体为：根据索引文件中索引出的对应切片文件名，利用pandas进行读取文件和合并文件，将合并后的文件写入csv格式文件中，作为最终的下载数据，提供给最终用户；

所述利用pandas进行读取文件，需进行排序并且去掉重复的数据，将排序去重后的文件进行合并。

2.一种基于分片方式对调研数据进行预处理的装置，其特征在于，使用如权利要求1所述的基于分片方式对调研数据进行预处理的方法实现，包括：索引模块、切片模块、合并模块；

所述索引模块、切片模块、合并模块依次顺利相连接；

所述索引模块：从索引文件筛选需要下载的数据，根据筛选后的索引文件的索引从切片模块中提取数据；

所述切片模块：保存存放实时进来的样本数据；

所述合并模块：根据索引文件中索引出的对应切片文件名，利用pandas进行读取文件和合并文件，将合并后的文件写入csv格式文件中。

3.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行根据权利要求1所述的基于分片方式对调研数据进行预处理的方法。

4.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1所述的基于分片方式对调研数据进行预处理的方法。