[发明专利]数据划分处理方法、装置、电子设备及存储介质

说明书

本发明涉及人工智能技术，提供一种数据划分处理方法，首先按照预设维度在hive中剥离待处理数据，再通过hive的临时目录将预转成的特定格式文件置于预设的文件服务器中，而后通过预设的前置业务系统从文件服务器中获取特定格式文件，并将特定格式文件保存至预设的业务服务器中以形成业务文件数据；其中，该预设的前置业务系统与文件服务器预连接，再在业务服务器中对业务文件数据进行进行拆分处理以形成文件组，并对文件组进行另存储以完成数据划分处理，在本实施例中，通过前置业务系统与文件服务器去处理小批量的数据可以为hive减轻压力，从而让hive能够更专注的处理真正意义上的“大数据，大大提高数据处理效率，进而节省人力和时间。

技术领域

本发明涉及人工智能领域，涉及数据处理技术，尤其涉及一种数据划分处理方法、装置、电子设备及计算机可读存储介质。

背景技术

在保险业务系统中目前大数据的架构是将目前现有存在oracle的数据，通过数据同步的方式将所有的业务数据同步至hive数据库(hive是目前大数据存储与数据分析的类sql数据仓库工具)。开发人员需要将数据以业务为维度进行表区分，每个业务的数据应该属于该业务表的范围下，整合从保险业务系统建立起来的所有数据。

目前所有报表或者展示数据平台都需要通过在hive中开发进行数据分析，再将数据同步至业务系统中，一般情况下均在hive库中做好数据计算、分析等操作，将得到的结果通过查询的方式同步给业务系统，而hive提供的方案是通过类sql查询对应想要的数据，编写脚本通常以月、100W数据为维度(例：当月有500W数据，需要以100W为维度生成5个文件)，但在以100W为维度划分文件时，每次100W的数据都要重新进行全量的MapReduce(统计分析数据函数)，导致速率较低，时常较长，严重影响效率。

因此，亟需一种能够提高数据处理速率，减少处理时长，且节省人力的数据划分处理方法。

发明内容

本发明提供一种数据划分处理方法，以解决目前所有报表或者展示数据平台都需要通过在hive中开发进行数据分析，再将数据同步至业务系统中，一般情况下均在hive库中做好数据计算、分析等操作，将得到的结果通过查询的方式同步给业务系统，而hive提供的方案是通过类sql查询对应想要的数据，编写脚本通常以月、100W数据为维度，但在以100W为维度划分文件时，每次100W的数据都要重新进行全量的MapReduce，导致速率较低，时常较长，严重影响效率的问题。

为实现上述目的，本发明提供的一种数据划分处理方法，包括：

按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件；

通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中；

通过预设的前置业务系统从所述文件服务器中获取所述特定格式文件，并将所述特定格式文件保存至预设的业务服务器中以形成业务文件数据；其中，所述预设的前置业务系统与所述文件服务器预连接；

在所述业务服务器中对所述业务文件数据进行进行拆分处理以形成文件组，并对所述文件组进行另存储以完成数据划分处理。

可选地，所述按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件，包括：

按照预设维度在所述hive中捞取待处理数据，并对所述待处理数据进行标记；

根据所述标记，通过预设的导出语句将所述待处理数据从所述hive中剥离导出；

对从所述hive中剥离导出的所述待处理数据进行特定格式的格式设置；

基于所述特定格式对所述待处理数据进行格式转换以形成特定格式文件。

可选地，所述通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中，包括：