[发明专利]一种数据关联方法及装置

说明书

本发明实施例提供了一种数据关联方法及装置，其中，所述方法包括：获取待关联的第一类数据和第二类数据；在第一类数据、和/或第二类数据更新后，针对所更新的内容，对第一类数据与第二类数据进行关联，得到并保存关联结果。通过本发明实施例的数据关联方法及装置，能够实现数据关联后，数据结果的完整性。

技术领域

本发明涉及数据分析技术领域，特别是涉及一种数据关联方法及装置。

背景技术

目前，在数据分析领域，实时计算变得越来越重要，如实时监测、实时指标计算等。而在实时计算中，数据之间的关联问题比较突出。数据关联，即发现存在于大量数据中的关联性或相关性，进而将相关的数据关联起来，为数据分析提供条件。

具体的数据关联，例如：数据类A包括学生的学号、姓名以及年龄等内容，数据类B中包括学生的学号，成绩等内容，通过数据类A和数据类B都包括的学号，将数据类A和数据类B进行关联，进而可以将学生的姓名、年龄、以及成绩等信息结合起来。

现有的数据关联方法，在多个数据关联过程中，由于多个数据不完全同步的问题，导致只能关联一部分数据。如，在部分数据更新时，不能对更新后的数据进行关联，从而导致数据关联有缺失，数据结果不完整。

发明内容

本发明实施例的目的在于提供一种数据关联方法及装置，以实现数据关联后，数据结果的完整性。具体技术方案如下：

一方面，本发明实施例提供了一种数据关联方法，包括：

获取待关联的第一类数据和第二类数据；

在所述第一类数据、和/或所述第二类数据更新后，针对所更新的内容，对所述第一类数据与所述第二类数据进行关联，得到并保存关联结果。

可选的，在所述获取待关联的第一类数据和第二类数据后，所述方法还包括：

预处理待关联的第一类数据和第二类数据，对应得到包括第一行键的第一预处理结果和包括第二行键的第二预处理结果。

可选的，所述针对所更新的内容，对所述第一类数据与所述第二类数据进行关联，包括：

针对所述第一类数据更新的第一更新内容，查询所述第二预处理结果，得到所述第一更新内容中的关联字段对应的所述第二预处理结果中的第二内容；

将所述第一更新内容与所述第二内容进行关联得到关联结果，并保存所述关联结果；

针对所述第二类数据更新的第二更新内容，查询所述关联结果，在未查询到所述第二更新内容中第二行键对应的记录时，查询所述第一预处理结果，得到所述第二更新内容中的关联字段对应的所述第一预处理结果中的第一内容；

将所述第二更新内容与所述第一内容进行关联，并将得到的结果保存至所述关联结果中。

可选的，对所述第一类数据与所述第二类数据进行关联，包括：

通过所述第一类数据与所述第二类数据的关联字段，完成所述第一类数据与所述第二类数据的关联。

可选的，所述保存关联结果包括：将所述关联结果存储至第三方存储介质。

可选的，所述第三方存储介质包括：Hbase数据库。

另一方面，本发明实施例还提供了一种数据关联装置，包括：

获取模块，用于获取待关联的第一类数据和第二类数据；

关联模块，用于在所述第一类数据、和/或所述第二类数据更新后，针对所更新的内容，对所述第一类数据与所述第二类数据进行关联，得到并保存关联结果。

可选的，本发明实施例提供的数据关联装置还包括：