[发明专利]一种异构多源数据的动态集成方法及系统

摘要

本发明公开了一种异构多源数据的动态集成方法及系统，包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块。数据采集模块用于定义数据源、提供数据源特征、定制采集方法；动态建库模块根据数据结构定制元数据库和业务数据库；入库加载模块用于数据结构再定义和加载入库；数据持久层模块用于元数据库管理。本发明提供的集成系统具有灵活的可扩展性和通用性，处理用户在数据结构不明确时对复杂多源数据的集成问题，为数据决策分析提供可靠的数据集保障。

主权项

一种异构多源数据的动态集成系统，该系统适用于开放生产环境中多源、异构数据的集成，支持数据源动态变化和数据采集方式相对灵活多变的情况，其特征在于，所述系统包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块；所述数据采集模块动态为各数据源量身定做采集方法并发送至数据持久层模块，采集数据至系统缓存库，完成数据源的定义，提取数据源特征并发送至动态建库模块；所述动态建库模块接收数据采集模块发送的数据源特征，用于为异构多源数据动态定制业务数据库和元数据库，生成元表记录并更新元数据库数据；所述入库加载模块接收数据采集模块缓存库的转换后的数据，并做再定义处理，实现数据结构统一性，并引导多源数据进入相应业务数据库；所述数据持久层模块存储异构多源业务数据、异构多源元数据和数据采集模块定制的采集方法，提供元数据库管理机制，并实现元数据库与业务数据的两库联动；所述数据采集模块包括：数据源定义单元，用于在数据持久层定义数据源基本信息；采集方法动态定制单元，用于管理多源数据相应的数据采集方法，并将采集方法发送给采集方法库；特征提取单元，用于提取数据源的属性、数据结构信息，并将其发送给动态建库模块；所述入库加载模块包括：数据源再定义单元，用于接收数据采集模块缓存库中的数据，通过分析元数据库属性间关系对数据结构再定义；入库加载单元，用于根据各数据源特征定制入库引导程序，并完成数据入库加载工作。