[发明专利]多类型数据的采集方法、装置、设备及可读存储介质

说明书

本发明公开一种多类型数据的采集方法、装置、设备及可读存储介质，所述方法包括：当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。本方案基于大数据处理技术将需要采集的各类型数据配置为多个任务，从预设存储单元中抓取的与各任务对应的字段数据即为需要采集的各类型数据，节省了多类型数据采集的人力成本，提高了采集效率。

技术领域

本发明主要涉及数据处理技术领域，具体地说，涉及一种多类型数据的采集方法、装置、设备及可读存储介质。

背景技术

目前，为了实现对数据的规范管理，针对不同类型的数据通常进行分类管理，将不同类型的数据存放在不同的数据表中，使得同一用户的不同数据存储在不同数据表中。如设定数据表A1用于存储姓名，数据表A2用于存储性别，则将用户W的姓名数据存储在A1中，而将其性别数据存储在A2中。

当具有针对同一用户采集多种类型数据的需求时，则先到存放该各类数据的各数据表中进行逐一读取，得到各个读取结果；再由人工将分别读取得到的各个读取结果组合，形成所需要采集的多类型数据；该通过读取和组合对各种类型数据进行采集的方式需要耗费较多的人力成本，且采集效率低。

发明内容

本发明的主要目的是提供一种多类型数据的采集方法、装置、设备及可读存储介质，旨在解决现有技术中通过读取和组合的方式对多类型数据的采集，耗费人力成本高，采集效率低的问题。

为实现上述目的，本发明提供一种多类型数据的采集方法，所述多类型数据的采集方法包括以下步骤：

当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

优选地，所述根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存的步骤包括：

调用所述预设表格模板，并根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

将各所述关联字段添加到所述预设表格模板中与所述关联字段名所对应的关联位置；

根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置，以对各所述字段数据进行保存。

优选地，所述根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中的步骤包括：

读取所述预设表格模板的表头中的初始单元格变量，并根据所述初始单元格变量确定所述表头中的初始单元格，将各所述关联字段对应的关联字段名添加到所述初始单元格中；

判断所述顺序标识是否为预设默认标识，若为所述预设默认标识，则根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

若不是所述预设默认标识，则根据与各所述任务对应的任务字段名在所述顺序标识中的排列顺序，将各所述任务字段名添加到所述预设表格模板的表头中。