[发明专利]相关数据的确定方法、装置、计算机设备和存储介质

说明书

本发明提供了一种相关数据的确定方法、装置、计算机设备和存储介质。该相关数据的确定方法包括：获取待分析的数据对象集，其中，数据对象集包括多个数据对象；计算数据对象的数据画像信息；根据数据画像信息对数据对象集进行聚类分析，得到若干聚类簇，其中，聚类簇包括若干数据对象；计算同一聚类簇中数据对象之间的内容相似值；计算同一聚类簇中数据对象之间的语义相似值；以及在同一聚类簇中，根据内容相似值和语义相似值确定相关数据，其中，内容相似值越大、语义相似值越大的数据对象互为相关数据的概率越大。通过本发明，能够实现大数据场景下的相关数据的自动识别。

技术领域

本发明涉及大数据技术领域，尤其涉及一种相关数据的确定方法、装置、计算机设备和存储介质。

背景技术

随着云时代的来临，大数据(Big data)吸引了越来越多的关注，而大数据需要通过专业化的处理，才能具有更强的决策力、洞察发现力和流程优化能力，其中，在专业化处理步骤中，发现存在相关性的数据对象，以及评估相关数据的相关性程度，使数据分析人员发现大数据背后业务相关性与合理性，使数据管理人员更好的进行数据存储规划，使数仓建设人员提供更好的参考数据，显得尤为重要。

在现有技术中，对数据的相关性分析多为人工分析，通常仅是面对几个数据文档，或者在某个特定业务场景下进行分析，而大数据具有数据库多、表多、数据字段海量和数据冗余的特点，人工分析的数据相关性的方法并不适合于分析大数据场景下的数据。

因此，提供一种相关数据的确定方法、装置、计算机设备和存储介质，以确定大数据场景下的相关数据，成为本领域亟需解决的技术问题。

发明内容

本发明的目的是提供一种相关数据的确定方法、装置、计算机设备和存储介质，用于解决现有技术中上述的技术问题。

一方面，为实现上述目的，本发明提供了一种相关数据的确定方法。

该相关数据的确定方法包括：获取待分析的数据对象集，其中，数据对象集包括多个数据对象；计算数据对象的数据画像信息；根据数据画像信息对数据对象集进行聚类分析，得到若干聚类簇，其中，聚类簇包括若干数据对象；计算同一聚类簇中数据对象之间的内容相似值；计算同一聚类簇中数据对象之间的语义相似值；以及在同一聚类簇中，根据内容相似值和语义相似值确定相关数据，其中，内容相似值越大、语义相似值越大的数据对象互为相关数据的概率越大。

进一步地，计算数据对象的数据画像信息的步骤包括：计算数据对象的字符串长度、单词数、唯一值、非空值、最大长度、最小长度和值分布。

进一步地，计算同一聚类簇中数据对象之间的内容相似值的步骤包括：使用数据对象的值分布计算数据对象之间的内容相似值。

进一步地，计算同一聚类簇中任意两个数据对象之间的语义相似值的步骤包括：分别获取两个数据对象的语义信息，其中，语义信息包括数据对象的元数据名称和组内元数据名称；根据语义信息计算两个数据对象之间的语义相似值。

进一步地，根据语义信息计算两个数据对象之间的语义相似值的步骤包括：对数据对象的元数据名称和组内元数据名称分别进行分词处理和标准化处理，得到数据对象对应的词元素；采用WordNet模型计算两个数据对象对应的词元素之间的语义相似性；根据两个数据对象对应的词元素之间的语义相似性计算两个数据对象之间的语义相似值。

进一步地，根据数据画像信息对数据对象集进行聚类分析，得到若干聚类簇的步骤包括：对数据画像信息进行归一化处理，得到标准数据画像信息；根据标准数据画像信息的欧氏距离对数据对象集进行聚类分析，得到若干聚类簇。

进一步地，在同一聚类簇中，根据内容相似值和语义相似值确定相关数据的步骤包括：计算内容相似值与第一权重的乘积，得到第一乘积；计算语义相似值与第二权重的乘积，得到第二乘积；计算第一乘积和第二乘积的和得到综合相似值；当综合相似值大于预设相似值时，综合相似值对应的数据对象互为相关数据。