[发明专利]一种异构多源数据的动态集成方法及系统

权利要求书

1.一种异构多源数据的动态集成系统，该系统适用于开放生产环境中多源、异构数据的集成，支持数据源动态变化和数据采集方式相对灵活多变的情况，其特征在于，所述系统包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块；

所述数据采集模块动态为各数据源量身定做采集方法并发送至数据持久层模块，采集数据至系统缓存库，完成数据源的定义，提取数据源特征并发送至动态建库模块；

所述动态建库模块接收数据采集模块发送的数据源特征，用于为异构多源数据动态定制业务数据库和元数据库，生成元表记录并更新元数据库数据；

所述入库加载模块接收数据采集模块缓存库的转换后的数据，并做再定义处理，实现数据结构统一性，并引导多源数据进入相应业务数据库；

所述数据持久层模块存储异构多源业务数据、异构多源元数据和数据采集模块定制的采集方法，提供元数据库管理机制，并实现元数据库与业务数据的两库联动；

所述数据采集模块包括：

数据源定义单元，用于在数据持久层定义数据源基本信息；

采集方法动态定制单元，用于管理多源数据相应的数据采集方法，并将采集方法发送给采集方法库；

特征提取单元，用于提取数据源的属性、数据结构信息，并将其发送给动态建库模块；

所述入库加载模块包括：

数据源再定义单元，用于接收数据采集模块缓存库中的数据，通过分析元数据库属性间关系对数据结构再定义；

入库加载单元，用于根据各数据源特征定制入库引导程序，并完成数据入库加载工作。

2.如权利要求1所述的异构多源数据的动态集成系统，其特征在于，所述动态建库模块包括：

元数据库动态定制单元，用于为各数据源动态定制元数据库表结构，接收数据采集模块的数据源特征信息，并依此作为元表记录更新元数据库；

业务数据库动态定制单元，为各数据源动态定制业务数据库。

3.一种异构多源数据的动态集成方法，其特征在于，该集成方法包括以下步骤：

步骤1、采集源数据并向系统提供数据源特征、定制采集方法；

步骤2、动态定制元数据库和业务数据库；

步骤3、对业务数据结构再定义，生成入库引导程序并完成业务数据入库；

所述步骤1还包括以下具体步骤：

步骤1.1，数据采集模块在数据持久层定义数据源；

步骤1.2，所述数据采集模块动态定制各数据源的采集方法，并发送至采集方法库；

步骤1.3，所述数据采集模块提取各数据源的特征信息并发送至动态建库模块；

所述步骤2还包括以下具体步骤：

步骤2.1，动态建库模块定制表元表和属性元表；

步骤2.2，所述动态建库模块定制业务数据库结构；

步骤3包括以下具体步骤：

步骤3.1，入库加载模块动态定制各数据源的入库引导程序；

步骤3.2，所述入库加载模块接收数据采集模块的数据，进行数据结构再定义；

步骤3.3，所述入库引导程序将再定义后的数据加载至业务数据库中。