[发明专利]数据划分处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据划分处理方法，其特征在于，包括：

按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件；

通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中；

通过预设的前置业务系统从所述文件服务器中获取所述特定格式文件，并将所述特定格式文件保存至预设的业务服务器中以形成业务文件数据；其中，所述预设的前置业务系统与所述文件服务器预连接；

在所述业务服务器中对所述业务文件数据进行进行拆分处理以形成文件组，并对所述文件组进行另存储以完成数据划分处理。

2.如权利要求1所述的数据划分处理方法，其特征在于，所述按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件，包括：

按照预设维度在所述hive中捞取待处理数据，并对所述待处理数据进行标记；

根据所述标记，通过预设的导出语句将所述待处理数据从所述hive中剥离导出；

对从所述hive中剥离导出的所述待处理数据进行特定格式的格式设置；

基于所述特定格式对所述待处理数据进行格式转换以形成特定格式文件。

3.如权利要求1所述的数据划分处理方法，其特征在于，所述通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中，包括：

将所述特定格式文件分割为预设数量个子文件；

将所述子文件汇总为子文件集；

将所述子文件集置于所述hive的临时目录下以形成hive临时文件；

通过发送指令将所述hive临时文件发送至与所述临时目录预连接的文件服务器中。

4.如权利要求3所述的数据划分处理方法，其特征在于，所述将所述子文件汇总为子文件集，包括：

获取所述子文件所属的特定格式文件；

为所述特定格式文件命名一级署名，并获取所述特定格式文件所分割子文件的顺序；

根据所述分割子文件的顺序为所述子文件命名序号，并在所述序号前添加所属特定格式文件的一级署名以形成各个子文件的标注名称；

按照所述标注名称对所述子文件进行排列以形成子文件列表，并将所述子文件列表移至空白文件夹中以形成子文件集。

5.如权利要求4所述的数据划分处理方法，其特征在于，所述通过预设的前置业务系统在所述文件服务器中获取所述特定格式文件，并将所述特定格式文件保存至预设的业务服务器中以形成业务文件数据，包括：

将提前预设的前置业务系统与所述文件服务器相连接；其中，所述前置业务系统为单独的系统，用于读取所述文件服务器中的文件；

通过所述前置业务系统在所述文件服务器中获取所述子文件集；

对所述子文件集进行重整处理以还原为特定格式文件；

将所述特定格式文件传输至与所述文件服务器相连接的业务服务器中。

6.如权利要求5所述的数据划分处理方法，其特征在于，还包括对所述特定格式文件进行存储处理以形成业务文件；其中，所述对所述特定格式文件进行存储处理以形成业务文件，包括：

使所述业务服务器外接业务数据库；

通过转存插件将所述特定格式文件分批次存储至所述外接业务数据库中以形成业务文件。

7.如权利要求1所述的数据划分处理方法，其特征在于，所述在所述业务服务器中对所述业务文件数据进行进行拆分处理以形成文件组，并对所述文件组进行另存储以完成数据划分处理，包括：

对所述业务文件进行遍历读取以形成业务数据；

根据在所述业务数据库中预设置的时间字段为每条业务数据添加时间标识；

通过预设的数据捞取程序根据所述时间标识对所述业务数据进行分类别汇总，并将每一类别的业务数据对应至与所述类别相对应的数据捞取命令中；

为与所述数据捞取命令相对应的业务数据生成处理文件；

按照预先配置的数量对所述处理文件进行拆分以形成文件组；

对所述文件组进行另存储以完成数据划分处理。