[发明专利]一种基于分片方式对调研数据进行预处理的方法及装置

说明书

本申请公开了一种基于分片方式对调研数据进行预处理的方法及装置。所述方法包括：基于Celery后台多任务生成索引文件以及切片文件，当用户需要下载数据时，从索引文件筛选需要下载的数据，根据筛选后的索引文件的索引，从切片文件提取数据并且合并，将合并后的数据提供给用户。所述装置包括：包括：索引模块、切片模块、合并模块。使用本申请的方法，用户可以实时的快速下载，不同筛选条件、不同编码格式要求的csv调研数据，大大提高了下载的效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种基于分片方式对调研数据进行预处理的方法及装置。

背景技术

目前，调研平台使用pandas来处理数据，已提供基本的数据格式下载，数据类型包括01、非01(左对齐、当前列)、sav、可读(默认、多选题合并列)。由于调研平台答题提交过来的数据是前端的json格式的，内容都是跟项目问卷相关的id信息，需要借助问卷结构信息来处理这些数据。而答案json格式，在基本校验通过后，直接入库，后台数据同步脚本收到有新数据入库的信号，对新进的样本处理后，统一生成01格式的数据，再入库。

由于调研平台上执行的项目问卷，题目数量很多是超过100的，加上选项、矩阵题普遍很多，随着数据的增加，数据下载实时转换格式时，耗时是越来越长，直到无法生成；同时，对于有增量调研数据，每次下载都是重新全部下载，效率低，耗时长。

针对相关技术中调研平台下载调研数据耗时且效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于分片方式对调研数据进行预处理的方法及装置，以解决相关技术中调研平台下载数据耗时且效率低的问题。

为了实现上述目的，第一方面，本申请提供了一种基于分片方式对调研数据进行预处理的方法，包括：基于Celery后台多任务生成索引文件以及切片文件，当用户需要下载数据时，从索引文件筛选需要下载的数据，根据筛选后的索引文件的索引，从切片文件提取数据并且合并，将合并后的数据提供给用户。

所述索引文件：存放每一个切片文件的编号和文件名，同时作为切片文件的索引。

所述切片文件：存放实时进来的样本数据，并且通过数据库中存放的切片文件数量值变量，限制每个切片文件的大小，保证增量数据只需追加至每个小的切片文件后，合并转换这些小的切片文件耗时短效率高。

所述切片文件的编号，将所有切片文件的编号组成编号集合，保存在数据表中。

所述数据表：当用户需要下载数据时，从数据表中查询出相应的切片文件的编号。

所述索引文件：在索引文件中，按照切片文件的编号索引筛选过滤出对应的切片文件名。

所述切片文件提取数据并且合并，具体为：根据索引文件中索引出的对应切片文件名，利用pandas进行读取文件和合并文件，将合并后的文件写入csv格式文件中，作为最终的下载数据，提供给最终用户。

所述利用pandas进行读取文件，需进行排序并且去掉重复的数据，将排序去重后的文件进行合并。

第二方面，本申请还提供了一种基于分片方式对调研数据进行预处理的装置，包括：索引模块、切片模块、合并模块；

所述索引模块、切片模块、合并模块依次顺利相连接；

所述索引模块：从索引文件筛选需要下载的数据，根据筛选后的索引文件的索引从切片模块中提取数据；

所述切片模块：保存存放实时进来的样本数据。

所述合并模块：根据索引文件中索引出的对应切片文件名，利用pandas进行读取文件和合并文件，将合并后的文件写入csv格式文件中。