[发明专利]基于知识图谱自动化链路分层的数据处理方法、装置及计算机可读介质

权利要求书

1.一种基于知识图谱自动化链路分层的数据处理方法，其特征在于：所述方法包括：

S1、从一个或多个数据源获取数据；

S2、对所述数据进行预处理；

S3、基于递进式构建的基于知识图谱的数据存储层，对所述预处理后的数据进行转换，以适应所述数据存储层的组织步骤结构；

所述数据存储层至少包括一个或多个基础SPO层，一个或多个实体数据归一层，一个或多个宽表服务应用层；

S4、在所述转换过程中，自动化标识被存储的所述数据的基于知识图谱的链路，所述链路用于支持数据服务。

2.如权利要求1的基于知识图谱自动化链路分层的数据处理方法，其中还包括步骤：

S0、配置元数据，根据知识图谱模型，从数据的属性中抽象出元数据，进行配置，配置数据的链路属性；递进式构建所述基于知识图谱的数据存储层的组织结构。

3.如权利要求1的基于知识图谱自动化链路分层的数据处理方法，其中所述步骤S2的预处理，包括数据清理、集成、标准化、规范化、审核、筛选、排序中的一种或多种操作。

4.如权利要求2的基于知识图谱自动化链路分层的数据处理方法，其中，步骤S3中的数据存储层中的元数据可以通过如下方式创建：构建样本集合，训练深度学习模型，从所述一个或多个数据源获取的样本数据中，抽象元数据；通过深度学习模型的不断训练学习，对元数据进行不断的抽象、更新。

5.如权利要求1的基于知识图谱自动化链路分层的数据处理方法，其中，步骤S3中，在所述基础SOP层中，采用SPO三元组来表示基础数据的知识，通过实体，属性，关系三元组来组织存储基础数据。

6.如权利要求1的基于知识图谱自动化链路分层的数据处理方法，其中,步骤S3中，所述实体数据归一层组织存储的数据，对基础层实体数据进行去重归一、排序、清洗操作，实现归一化，排序化，清洗化，并组织管理数据来源；

所述宽表服务应用层组织存储的数据，是对数据使用方提供一站式服务，实现属性名称及数据类型到宽表的映射。

7.如权利要求1的基于知识图谱自动化链路分层的数据处理方法，其中,步骤S3中，使用ResNet模型从训练集中提取数据特征，将提取的数据特征输入训练的决策树模型，分类出所述基础SPO层，实体数据归一层，和宽表服务应用层；利用MultiTaskLoss损失函数替换改进ResNet模型最后一层，使用所述MultiTaskLoss损失函数来评价模型性能优劣；其中，所述MultiTaskLoss损失函数的表达式为：

其中，L({p_i},{t_i})是多目标损失的大小；

i为小批量样本中目标的顺序索引值，

p_i是样本i属于正确分类样本的预测概率；p_i^*是参考标准，如果其为1，则为正样本，如果是0，则为负样本；

t_i表示参数化坐标的矢量；

t_i^*是与正样本关联的参考；

λ是平衡参数，可给正则化系数N_cls和N_reg添加相应的权重；

L_cls是两个类别之间的对数分类误差；

L_reg是回归损失，且只可被正样本激活。

8.如权利要求1的基于知识图谱自动化链路分层的数据处理方法，其中步骤S4中：在元数据配置时，为数据属性创建面向应用服务的链路属性，用于标识能够支持的数据服务；创建可并行运行的任务，基于知识图谱的数据存储层，构建各种应用服务与数据之间的链路，构建系统内部服务与数据之间的链路。