[发明专利]数据卸载方法、装置、计算机设备、存储介质

说明书

本公开涉及一种数据卸载方法、装置、计算机设备、存储介质。所述方法包括：获取目标数据库中待卸载数据的数据参数；读取预先配置的配置文件并利用所述数据参数将所述待卸载数据输出至临时文件中；按照预先设置的存储策略以及所述配置文件中的配置信息，将所述临时文件中的待卸载数据加载至本地文件中，所述本地文件是利用所述配置文件中的配置信息创建的；根据所述配置文件和所述本地文件的数据信息生成与所述本地文件对应的属性文件，利用所述本地文件和所述属性文件得到数据卸载文件。采用本方法能够提高数据卸载的效率，保证数据卸载的准确性，并且保证数据卸载后能够使其他的数据库、数据仓库以及存储介质进行加载。

技术领域

本公开涉及数据处理技术领域，特别是涉及一种数据卸载方法、装置、计算机设备、存储介质。

背景技术

随着信息技术的发展，越来越多的企业依赖于在云平台或者大数据平台中进行云计算对其产生的数据进行处理，进而得到所需要的数据。在云平台或者大数据平台中得到的数据通常情况下需要卸载到其本地的数据库中。另外，在企业内部或者不同的企业间，会将一个数据库或多个数据库中的数据卸载到目标数据库中。

然而，在数据卸载的过程中，由于数据源的不同，在卸载时需要考虑到每种数据源，针对每种数据源需要进行适配。降低数据卸载的效率，另外，当数据量较大时，在卸载过程中可能会出现错误，导致数据卸载后得到的数据不准确。除此之外，由于数据源的不同，卸载之后的数据的类型、格式、配置信息等也不相同，其他的数据库、数据仓库以及存储介质难以对多种类型的数据进行加载。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据卸载的效率，保证数据卸载的准确性，并且保证数据卸载后能够使其他的数据库、数据仓库以及存储介质进行加载的数据卸载方法、装置、计算机设备、存储介质。

第一方面，本公开提供了一种数据卸载方法。所述方法包括：

获取目标数据库中待卸载数据的数据参数；

读取预先配置的配置文件并利用所述数据参数将所述待卸载数据输出至临时文件中；

按照预先设置的存储策略以及所述配置文件中的配置信息，将所述临时文件中的待卸载数据加载至本地文件中，所述本地文件是利用所述配置文件中的配置信息创建的；

根据所述配置文件和所述本地文件的数据信息生成与所述本地文件对应的属性文件，利用所述本地文件和所述属性文件得到数据卸载文件。

在其中一个实施例中，所述按照预先设置的存储策略以及所述配置文件中的配置信息，将所述临时文件中的待卸载数据加载至本地文件中，包括：

获取所述配置文件的配置信息中的加载的数据的每行的总长度、加载数据时每次写入的行数；

按照预设的数据读取量、加载的数据的每行的总长度、加载数据时每次写入的行数将所述临时文件中的待卸载数据按行加载至所述本地文件中。

在其中一个实施例中，所述按照预设的数据读取量、加载的数据的每行的总长度、加载数据时每次写入的行数将所述临时文件中的待卸载数据按行加载至所述本地文件中，还包括：

响应于所述配置信息中包括：字段间隔信息、字段长度信息，按照字段间隔信息对按行加载的待卸载数据进行分割；

将进行分割后的按行加载的待卸载数据与所述字段长度信息进行比较，响应于所述进行分割后的按行加载的待卸载数据小于所述字段长度信息，则使用预设的占位符补充所述进行分割后的按行加载的待卸载数据，得到补充数据；

将所述补充数据以字节流的形式写入所述本地文件中。

在其中一个实施例中，所述方法还包括：