[发明专利]多格式混合数据的分类、拼接系统及方法

说明书

本发明涉及数据处理技术领域，公开了多格式混合数据的分类、拼接系统及方法，系统包括：原始数据存储单元，用于存储待处理的具有数据属性标记的多格式批量数据文件；数据文件分类单元，根据数据文件的格式后缀，对原始数据存储单元中待处理的多格式批量数据文件按格式进行分类；数据文件融合单元，根据数据文件的类型，融合经数据文件分类单元分类后的具有相同类型条件的各格式数据文件；数据输出单元，根据数据文件的属性，从数据文件融合单元融合后的数据文件中输出具有相同属性的数据文件。本发明的技术方案实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种多格式混合数据的分类、拼接系统及方法。

背景技术

互联网信息时代的来临和大数据技术的出现，造成了前所未有的数据洪流，众多利益相关者希望数据能够实现共享或者实现互换，但是，不同的数据往往存在存储方式不同或数据结构不同的问题，这些问题极大地阻碍了数据交流的进程。

举个例子，在进出口货品装船出运前，均需向海关进行申报，同一属性的数据（即同一货品申报的数据）均包括箱单、发票、运单、合同等多种数据，而这些数据往往通过不同的格式进行存储，如Excel、PDF等，除此之外，每天均有大量货品进行报关，因此，大量不同属性以及不同格式的数据被录入，为了实现数据与货品的匹配，以及方便后续处理，这些数据在存储入库前必须要进行清洗及分类工作。以往，此类工作一般以人工操作为主，因此不仅存在着耗时耗力，效率低下的问题，同时数据也容易被二次污染，导致无法实现数据的快速、高效应用，阻碍了数据交换共享、快速应用的进程。

发明内容

针对现有技术存在的不足，本发明的目的之一是提供一种快速对成批量的不同属性、不同格式的混合数据按格式进行分类，再根据属性将同一属性不同格式的数据进行合并的多格式混合数据的分类、拼接系统。

本发明的上述发明目的多格式混合数据的分类、拼接系统是通过以下技术方案得以实现的：

多格式混合数据的分类、拼接系统，包括：

原始数据存储单元，用于存储待处理的多格式批量数据文件，其中所述数据文件按照数据属性命名；

数据文件分类单元，根据所述数据文件的格式后缀，对原始数据存储单元中待处理的多格式批量数据文件按格式进行分类；

数据文件融合单元，根据所述数据文件的类型，融合经数据文件分类单元分类后的具有相同类型条件的各格式数据文件；

数据输出单元，根据所述数据文件的属性，从数据文件融合单元融合后的数据文件中输出具有相同属性的数据文件。

通过采用上述技术方案，数据文件分类单元根据数据文件的格式后缀对原始数据存储单元中存储的待处理的多格式批量数据文件按照格式进行分类存储，数据文件融合单元再根据文件的类型，将各个格式的具有相同类型条件的数据文件融合成特定的结构输出，从而实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并。

本发明在一较佳示例中可以进一步配置为：还包括数据获取单元，所述数据获取单元位于所述原始数据存储单元与所述数据文件分类单元之间，用于从所述原始数据存储单元获取待处理的多格式批量数据文件，并发送至所述数据文件分类单元。

通过采用上述技术方案，数据获取单元实现了数据文件的转移，将原始数据存储单元中的待处理的多格式批量数据文件发送至所述数据文件分类单元进行分类处理。

本发明在一较佳示例中可以进一步配置为：所述数据文件融合单元包括：

数据结构化处理单元，分别对分类后的数据文件进行结构化处理，以期使各数据文件生成可结构化存储的中间文件；