[发明专利]基于关联数据的自治数据湖构建系统及方法

权利要求书

1.一种基于关联数据的自治数据湖构建系统，其特征在于，包括：数据源输入模块、异构数据预处理模块、元数据发现与抽取模块、元数据融合与关联模块、元模型优化与构建模块、实例知识抽取模块、知识封装模块、知识校正与融合模块、实例概念抽取模块和元模型验证与演化模块，其中：数据源输入模块接收异构数据源，异构数据预处理模块对异构数据源进行预处理得到抽取规则及内容文本信息，元数据发现与抽取模块对各类结构数据进行对应的定位与元数据抽取，元数据融合与关联模块将精炼处理的元数据进行基于语义相似度和字符相似度的聚类后进行深入关联，元模型优化与构建模块通过引入领域历史知识库对现有的元数据进行扩充丰富关联与属性并进行标准元模型的构建从而生成由元数据自上而下构建得到的初始元模型，实例知识抽取模块对各类结构数据进行具体实例处理以及不同颗粒度的信息抽取，知识封装模块对实例知识抽取模块中抽取到的知识进行封装，知识校正与融合模块对封装后的知识进行词义消歧和实体匹配以解决大量知识在合并时存在的问题，保证知识的唯一性和准确性后进行知识融合处理，得到实例知识图谱，实例概念抽取模块对数据湖中的实例知识图谱进行概念抽取并对抽取得到的概念进行自动聚类后得到由实例数据自下而上生成的实例关联概念模型，元模型验证与演化模块根据实例关联概念模型对初始元模型进行验证，推动初始元模型演化，得到最终的统一管理语义元模型；

所述的自治数据湖包括：原始数据，实例知识图谱和统一管理语义元模型；

所述的异构数据源包括：结构化的数据库，半结构化的JSON文件，非结构化的表格扫描图片。

2.根据权利要求1所述的系统，其特征是，所述的预处理是指：对不易于直接解析的具有大量的重复性结构的半结构化JSON文件进行自动学习并识别抽取规则从而实现自动解析、对非结构化的表格扫描图片，利用OpenCV进行图像校正与框线识别，OCR技术进行解析后其转换为文本文件，并对其进行简单的文本校正便于进行后续处理。

3.根据权利要求1所述的系统，其特征是，所述的定位与元数据抽取抽取是指：对结构化的数据库抽取Schema作为元数据、对于半结构化的文件利用自动学习的抽取规则以确定属性标签的具体位置并对其进行抽取、对于非结构化图片在异构数据预处理模块中通过框线识别出表格结构结合转换后的文本信息确定并抽取表单的重要属性。

4.根据权利要求1所述的系统，其特征是，所述的精炼处理是指：依次进行格式统一、去重后得到标准元数据组，其中：格式统一是指：当来自不同数据源的元数据格式上存在差异时，将其统一为标准格式；去重是指：对统一格式后的元数据进行同义词去重，保证元数据的唯一性。

5.根据权利要求1所述的系统，其特征是，所述的深入关联是指：对各类中的元数据从两个维度与剩余类中的元数据进行关联，具体为：在非结构化数据预处理中通过框线识别获得元数据的表单结构关系，基于该关系对元数据进行语义推理，从语义关系维度为元数据建立关联。

6.根据权利要求1所述的系统，其特征是，所述的具体实例处理是指：将来自关系型数据库表格的每一行数据作为一个实例单元，在JSON文件中多个属性对应一个实例单元，而对于非结构化数据每一张图片作为一个实例单元。

7.根据权利要求1所述的系统，其特征是，所述的不同颗粒度的信息抽取是指：通过基于自然语言处理技术与深度学习技术从实例数据中自动识别出离散的命名实体，然后提取出实体之间的关联关系与属性，支持后续形成网状的知识结构以得到语义信息。

8.根据权利要求1所述的系统，其特征是，所述的封装是指：对抽取到的知识进行统一的统一资源标识符分配与标识，便于后续通过HTTP协议访问该数据，并利用统一资源管理框架对实例资源进行描述，统一标准化表示便于后续使用。

9.根据权利要求1所述的系统，其特征是，所述的知识融合处理是指：通过实体对齐将源自多个数据源的知识进行统一融合，得到一个该领域统一的实例知识图谱并将其持久化。