[发明专利]一种数据处理方法及相关设备

说明书

本申请实施例公开了一种数据处理方法及相关设备，用于文件的导出，提升压缩效率。本申请实施例方法包括：获取N个原始文件，通过多线程拆分N个原始文件，得到M个第一文件，M小于N；通过多线程分别压缩M个第一文件，得到M个第二文件；合并M个第二文件，得到一个目标文件。通过多线程分别压缩M个第一文件，得到M个第二文件。合并M个第二文件，得到一个目标文件。一方面，通过多线程分别压缩的方式，可以提升压缩效率，从而提高文件的导出效率。另一方面，不会产生或记录额外的文件分片信息文件头。

技术领域

本申请实施例涉及通信领域，尤其涉及一种数据处理方法及相关设备。

背景技术

在互联网技术(internet technology，IT)离线运维场景下，往往需要将运维工具或数据通过导入导出方式与外部进行交互。

目前，在导入导出过程中，压缩时使用压缩技术将目标文件压缩成一个包，需要遍历所有文件，并逐一打开、读取文件流、关闭文件流，IO效率低下。

然而，一方面，只能单线程操作，无法充分发挥多核CPU性能。另一方面，当目标文件存在十万级别及以上的小文件情况下压缩效率非常低，从而导致导出时间过长。

发明内容

本申请实施例提供了一种数据处理方法及相关设备。可以用于文件的导出，提升压缩效率。

本申请实施例第一方面提供了一种数据处理方法，该方法包括：获取N个原始文件，N为大于1的正整数；通过多线程拆分N个原始文件，得到M个第一文件，M为大于1的正整数，且M小于N；通过多线程分别压缩M个第一文件，得到M个第二文件，多线程与M个第二文件一一对应，M个第一文件与M个第二文件一一对应；合并M个第二文件，得到一个目标文件。

本申请实施例中，拆分N个原始文件，得到M个第一文件。通过多线程分别压缩M个第一文件，得到M个第二文件。合并M个第二文件，得到一个目标文件。一方面，通过多线程分别压缩的方式，可以提升压缩效率，从而提高文件的导出效率。另一方面，不会产生或记录额外的文件分片分块信息文件头。

可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：获取一个目标文件；拆分目标文件，得到M个第二文件；通过多线程分别解压M个第二文件，得到M个第一文件；拆分M个第一文件，得到N个原始文件。

该种可能的实现方式中，通过多线程进行解压，充分利用系统物理配置能力，可以提高原始文件进行解压的I/O读写，提升解压效益以及目标文件的导入效率。

可选地，在第一方面的一种可能的实现方式中，上述步骤中的通过多线程拆分N个原始文件，得到M个第一文件，包括：通过多线程根据预设的字节大小拆分N个原始文件，得到M个第一文件。

该种可能的实现方式中，通过字节对N个原始文件进行拆分，可以控制第一文件的字节大小。

可选地，在第一方面的一种可能的实现方式中，上述步骤中的第一文件为tar文件，第二文件为zip文件，目标文件为tar文件。

该种可能的实现方式中，第一文件为tar文件，第二文件为zip文件，目标文件为tar文件，可以在各类操作系统上运行，通用性高。

本申请实施例第二方面提供一种数据处理装置，该数据处理装置包括：

获取单元，用于获取N个原始文件，N为大于1的正整数；

归档单元，用于通过多线程拆分N个原始文件，得到M个第一文件，M为大于1的正整数，且M小于N；

压缩单元，用于通过多线程分别压缩M个第一文件，得到M个第二文件，多线程与M个第二文件一一对应，M个第一文件与M个第二文件一一对应；

归档单元，还用于合并M个第二文件，得到一个目标文件。