[发明专利]一种用于数据中台的数据分析方法及系统

权利要求书

1.一种用于数据中台的数据分析方法，其特征在于，包括：

步骤1：获取数据中台接收到的数据，对所述数据进行状态预处理；

步骤2：基于数据属性将状态预处理后的数据划分为功能数据以及特征数据；

步骤3：提取特征数据的第一特征词进行关联分析；

步骤4：提取功能数据的第二特征词进行功能分析；

步骤5：基于关联分析结果以及功能分析结果，确定所述数据中台接收到的数据存在的数据异常以及所述数据中台存在的本身异常；

其中，获取数据中台接收到的数据，对所述数据进行状态预处理，包括：

将数据中台在预设操作行为下接收到的每个数据依次输入到数据熵值计算模型，得到每个数据的数据熵值；

根据数据中台接收数据的时间，对所有数据熵值进行时间排序，并得到每两个相邻数据的熵值差；

提取熵值差大于预设熵值差的第一相邻数据，并剔除所述第一相邻数据中的后一个数据，保留所述第一相邻数据中的前一个数据；

提取熵值差小于或等于预设熵值差的第二相邻数据并保留；

基于保留的数据，构建数据链，并按照数量相等原则将所述数据链划分为若干数据子链；

其中，基于数据属性将状态预处理后的数据划分为功能数据以及特征数据，包括：

构建功能区域以及特征区域，并将所有数据子链放入所述功能区域；

获取每个数据子链的数据内容，输入到数据子链属性指数计算模型，得到每个数据子链的属性指数；

基于预设功能属性指数范围，对超出预设功能属性指数范围的属性指数相对应的数据子链赋换区标记，将所有带有换区标记的数据子链转移到特征区域，得到特征数据；

将所述功能区域的剩余数据子链所对应的数据作为功能数据；

其中，基于关联分析结果以及功能分析结果，确定所述数据中台接收到的数据存在的数据异常以及所述数据中台存在的本身异常，包括：

将功能数据的每个第三子链的数据功能类型以及特征数据的关联拓扑图输入到数据子链-网模拟模型，得到数据模拟网；

对所述数据模拟网进行异常检测，确定数据中台接收到的数据中存在的数据异常。

2.根据权利要求1所述的方法，其特征在于，提取特征数据的第一特征词进行关联分析，包括：

获取与所述特征数据对应的第一子链，并确定每个第一子链的源数据；

根据每个第一子链对应源数据中每个第一数据的嵌入表示，构建得到对应源数据的特征向量；

基于对应源数据的特征向量以及预设向量的比较，确定对应源数据的差异类型，并将差异类型相同的第一子链进行组合，构建得到若干个数据子链集合；

确定每个数据子链集合中每个第二子链的头部数据以及尾部数据，得到每个第二子链的头部数据的第一特征词以及对应尾部数据的第一特征词；

依次将每个第二子链的头部数据的第一特征词与同个数据子链集合中的其余第二子链的尾部数据的第一特征词进行贡献度分析，选取贡献度数值最大的作为第一贡献度；

若第一贡献度大于或等于第一预设关联贡献度，则判定所述第一贡献度相对应的两个第二子链的头部数据与尾部数据相关联，并做内关联标记；

若第一贡献度小于第一预设关联贡献度，则判定所述第一贡献度相对应的两个第二子链的头部数据与尾部数据不关联，并做外关联标记；

将同个数据子链集合中的每个有外关联标记的第二子链的头部数据与其余数据子链集合中有外关联标记的第二子链的尾部数据进行贡献度分析，选取贡献度数值最大的作为第二贡献度；

若第二贡献度大于或等于第二预设关联贡献度，则所述第二贡献度相对应的两个第二子链的头部数据与尾部数据相关联，并做外关联成功标记；

基于不同数据子链集合所对应的内关联标记、外关联成功标记、内关联标记的数量以及外关联成功的数量，输入到子链关联模型，得到关联拓扑图。