[发明专利]面向多源异构数据源的接口系统、通用接口及其实现方法

说明书

本发明公开了一种面向多源异构数据源的接口系统、通用接口及其实现方法，以面向多源异构数据源的通用接口实现方法为基础，包括：新建一个工程，并在工程内建立一个通用接口；在通用接口中建立相互独立的数据集合和操作集合；其中，数据集合被定义为能够被具体数据类型继承，且包括数据基类和继承数据基类的二级数据类；操作集合包括操作基类和继承操作基类的二级操作类；且所述的二级操作类被定义有其适用的具体数据类型以实现数据集合与操作集合的解耦与正交。通用接口中数据和操作形成两个独立的集合，并将操作抽象为接口，实现数据与操作的解耦和正交，使数据和操作能够自由地组合，实现操作的复用。

技术领域

本发明属于多源异构数据源的接口技术领域，尤其是涉及一种面向多源异构数据源的接口系统、通用接口及其实现方法。

背景技术

大数据的应用需求促进了大数据技术的蓬勃发展。近年来围绕着大数据处理的各个层面，大量的软件系统、技术被开发与应用，百花齐放，形成了大数据技术的生态体系，但同时也存在一些问题和不足之处，主要在于，目前使用的系统普遍存在大数据架构松散，缺少统一的底层设计，主次模糊，数据的核心地位不突出等问题。如典型的数据湖系统DeltaLake系统，它作为一个集大成的数据源，向下只能支持为数不多的底层数据源，向上只能支持有限的应用（只支持Spark），不支持数据源或应用的扩展，缺乏顶层设计，可扩展性、可移植性很弱。

发明内容

本发明的目的是针对上述问题，提供一种面向多源异构数据源的接口系统、通用接口及其实现方法。

为达到上述目的，本发明采用了下列技术方案：

一种面向多源异构数据源的通用接口实现方法，包括以下方法：

新建一个工程，并在工程内建立一个通用接口；

在通用接口中建立相互独立的数据集合和操作集合；

其中，数据集合被定义为能够被具体数据类型继承，且包括数据基类和继承数据基类的二级数据类；

操作集合包括操作基类和继承操作基类的二级操作类；

且所述的二级操作类被定义有其适用的具体数据类型以实现数据集合与操作集合的解耦与正交。

在上述的面向多源异构数据源的通用接口实现方法中，所述的二级数据类包括结构化数据、半结构化数据、非结构化数据和二进制数据。

在上述的面向多源异构数据源的通用接口实现方法中，所述的数据集合采用面向对象编程方法将数据抽象为类，并将数据划分为多个二级数据类。

在上述的面向多源异构数据源的通用接口实现方法中，所述的二级操作类包括构造器、生产器、观察器和变值器。

在上述的面向多源异构数据源的通用接口实现方法中，所述的操作集合采用面向切面编程方法将操作抽象为接口，并以此抽象接口的形式定义二级操作类所适用的具体数据类型以与相应数据源抽象对接。

一种基于上述方法实现的面向多源异构数据源的通用接口，包括相互解耦且正交的操作抽象模块和数据抽象模块，所述的操作抽象模块包括操作基类、继承操作基类的多个二级操作类和定义二级操作类所适用的具体数据类型的抽象接口，所述的数据抽象模块被定义为能够被具体数据类型继承且包括数据基类和继承数据基类的多个二级数据类。

一种面向多源异构数据源的接口系统，包括所述的通用接口和与通用接口同位于所述工程中且继承所述通用接口的自定义接口，所述的通用接口包括相互解耦且正交的操作抽象模块和数据抽象模块，所述的操作抽象模块包括操作基类、继承操作基类的多个二级操作类和定义二级操作类所适用的具体数据类型的抽象接口，所述的数据抽象模块被定义为能够被具体数据类型继承且包括数据基类和继承数据基类的多个二级数据类，所述的自定义接口包括多个针对具体数据类型且继承相应二级数据类的接口子类，本接口系统通过所述的接口子类与相应数据源物理对接。

在上述的面向多源异构数据源的接口系统中，所述的接口子类还用于指定该类具体数据类型所能够进行的操作。