[发明专利]基于大数据的列数据处理方法、设备及介质

说明书

本发明实施例公开了一种基于大数据的列数据处理方法、设备及介质。其中，方法包括：获取待处理的列数据集合，并根据列数据集合中各列数据的数据属性对各列数据进行分类处理，得到至少两个初始列数据集合；对各初始列数据集合进行无监督聚类处理，得到与各初始列数据集合分别对应的至少两个无监督聚类簇；生成与各无监督聚类簇分别对应的多个列数据对，并确定各列数据对中的两个列数据间的列名相似度以及列备注相似度；根据列名相似度以及列备注相似度，确定与各列数据对匹配的相似度。本发明实施例的方案可以得到列数据对准确率较高的相似度结果并且可以减少计算量。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种基于大数据的列数据处理方法、设备及介质。

背景技术

随着大数据时代的来临，企业中往往会涉及到大量的数据，需要工作人员对其进行维护，并确定每个数据的含义，以及数据之间的关联关系，从而使得数据能够更好地辅助业务分析。

通过计算数据之间的相似性以及相似程度可以很好地帮助工作人员去寻找到与分析的数据相近的主题数据。现有技术中，采用无监督学习的方式对数据进行聚类，并通过数据重叠度，不同值、唯一值重叠度、模式匹配、名称匹配等特征来计算数据之间的相似度。

现有技术中的方法虽然可以计算出数据之间的相似度，但是由于采用了无监督学习的方式对数据进行聚类，导致计算量大且计算得到的相似度结果准确度不高。

发明内容

本发明实施例提供一种基于大数据的列数据处理方法、设备及介质，可以得到列数据对准确率较高的相似度并且可以减少计算量。

第一方面，本发明实施例提供了一种基于大数据的列数据处理方法，该方法包括：

获取待处理的列数据集合，并根据所述列数据集合中各列数据的数据属性对各所述列数据进行分类处理，得到至少两个初始列数据集合；

对各所述初始列数据集合进行无监督聚类处理，得到与各所述初始列数据集合分别对应的至少两个无监督聚类簇；

根据至少两个所述无监督聚类簇生成多个列数据对，并确定各所述列数据对中的两个列数据间的列名相似度以及列备注相似度；

根据所述列名相似度以及所述列备注相似度，确定与各所述列数据对匹配的相似度。

第二方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：

获取待处理的列数据集合，并根据所述列数据集合中各列数据的数据属性对各所述列数据进行分类处理，得到至少两个初始列数据集合；

对各所述初始列数据集合进行无监督聚类处理，得到与各所述初始列数据集合分别对应的至少两个无监督聚类簇；

根据至少两个所述无监督聚类簇生成多个列数据对，并确定各所述列数据对中的两个列数据间的列名相似度以及列备注相似度；

根据所述列名相似度以及所述列备注相似度，确定与各所述列数据对匹配的相似度。

第三方面，本发明实施例还提供了一种计算机可读存储介质，存储介质用于存储指令，指令用于执行：获取待处理的列数据集合，并根据所述列数据集合中各列数据的数据属性对各所述列数据进行分类处理，得到至少两个初始列数据集合；

对各所述初始列数据集合进行无监督聚类处理，得到与各所述初始列数据集合分别对应的至少两个无监督聚类簇；

根据至少两个所述无监督聚类簇生成多个列数据对，并确定各所述列数据对中的两个列数据间的列名相似度以及列备注相似度；

根据所述列名相似度以及所述列备注相似度，确定与各所述列数据对匹配的相似度。