[发明专利]半结构化文件的数据集成方法、装置、设备及存储介质

说明书

本发明公开了一种半结构化文件的数据集成方法、装置、设备及存储介质，该方法包括提取待处理表格文件中存储的不同类型数据；根据表格文件中每个单元的数据类型，将每个单元中存储的数据转换为字符数据；将转换的字符数据进行自定义数据类型存储。本发明通过更全面的格式判断，自定义的数据集成数据类型存储格式，使每一个数据都解析成系统需要的格式，完成Excel文件格式的解析操作，针对特定的数据集成进行的格式解析，能使数据集成中采集的数据被后续操作使用，为数据的集成提供有效数据。旨在解决现有技术中存在的程序调用表格文件时数据适用性不高以及调用便捷性欠佳的技术问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种半结构化文件的数据集成方法、装置、设备及存储介质。

背景技术

随着信息化的日渐发展，在数据中蕴含的价值逐渐被人们所挖掘发现，数据的集成是目前最热门的话题之一，数据的集成中，在某些采集和数据处理时，都需要处理半结构化格式的文件，解析成需要的格式方便系统使用，尤其是Excel类型最为常见。

在数据集成时，因为涉及到数据库操作，所以现有的Excel文件格式解析方法都不适用，在很多时候都会出现解析的数据格式不匹配的情况，无法正确的解析正确的格式，导致功能的中断或者无效。目前对于数据集成中Excel文件格式的数据没有一种特定的解决方案。

专利公开号为CN111639473A的中国专利公开了一种基于java的excel文件解析方法、装置、计算机设备及存储介质，但该专利技术方案中记载的是利用POI工具对EXCEL文件进行数据提取，并不能构建出适用于不同数据库类型需求的自定义数据类型，在程序的数据调用过程中便捷性不佳。

因此，如何提高程序的文件调用过程中数据的适用性以及调用的便捷性，是一个亟需解决的技术问题。

发明内容

本发明的主要目的在于提供一种半结构化文件的数据集成方法、装置、设备及存储介质，旨在解决现有技术中存在的程序调用表格文件时数据适用性不高以及调用便捷性欠佳的技术问题。

为实现上述目的，本发明提出半结构化文件的数据集成方法，包括以下步骤：

提取待处理表格文件中存储的不同类型数据；

根据表格文件中每个单元的数据类型，将每个单元中存储的数据转换为字符数据；

将转换的字符数据进行自定义数据类型存储。

可选的，解析存储有不同类型数据的表格文件步骤，具体包括：

读取表格文件中首行的列名数据，并将每行数据按照对应列名排列；

遍历表格文件每一行中对应列名的数据，提取每一行中对应列名的数据，获得由表格文件中所有单元的数据组成的数据集。

可选的，根据表格文件中每个单元的数据类型，将每个单元中存储的数据转换为字符数据步骤，具体包括：

解析识别每个单元中存储数据的类型；

若存储数据为字符串、布尔值、公式和纯数字格式中的一种或多种，将该单元中存储的数据以字符串格式存储；

若存储数据为日期格式，使用函数将该单元中存储的数据转换为字符串格式存储。

可选的，若存储数据为日期格式，使用函数将该单元中存储的数据转换为字符串格式存储步骤，具体包括：

解析日期格式数据的数据值和时间类型；

将获得的日期格式数据的时间类型使用format转换为字符串存储；将获得的日期格式数据的数据值使用String作为字符串存储。

可选的，将转换的字符数据进行自定义数据类型存储步骤，具体包括：

获取数据集成中的数据库需求格式类型；

将获取的字符串与数据库需求格式类型进行绑定，构建包括字符串和需求格式类型的自定义数据存储类型。