[发明专利]一种数据关联方法及装置、存储介质、终端

说明书

本发明公开了一种数据关联方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于解决现有对时间T内累计的数据执行一次数据关联使得数据延迟或作业内存溢出，影响数据关联性能的问题。包括：接收到数据关联指令，创建两个数据；当监测到所述两个数据表中任意一个数据表存在流入数据时，则根据预先配置的数据关联条件在另一个数据表中查询是否存在与所述流入数据对应的待关联数据；若存在，则将所述流入数据和所述与所述流入数据对应的待关联数据进行关联。主要用于数据关联。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据关联方法及装置、存储介质、终端。

背景技术

在企业级实时大数据开发过程中，数据关联是利用大数据进行相关处理和计算前的基础操作方式。数据关联是根据一定的原则将不同的数据表进行合并生成数据宽表，以便根据数据宽表进行数据统计计算。

目前，在对数据进行关联时，通常是使用Flink引擎进行数据关联操作，但由于执行数据关联操作时，两侧数据表到达引擎的先后顺序不定，所以需要将数据缓存一定时间T之后，等到引擎两侧左右流全部达到之后执行一次数据关联操作。也就是说，现在技术中的数据关联操作中需要将时间T内的所有数据计算一次并进行关联，从而使得数据关联过程中容易出现计算延迟或作业内存溢出等问题，影响数据关联性能。

发明内容

有鉴于此，本发明提供一种数据关联方法及装置、存储介质、终端，主要目的在于解决现有数据关联性能较差的问题。

依据本发明一个方面，提供了一种数据关联方法，包括：

接收到数据关联指令，创建两个数据表，所述两个数据表分别用于缓存两侧待关联数据；

当监测到所述两个数据表中任意一个数据表存在流入数据时，则根据预先配置的数据关联条件在另一个数据表中查询是否存在与所述流入数据对应的待关联数据；

若存在，则将所述流入数据和所述与所述流入数据对应的待关联数据进行关联。

进一步地，所述方法还包括：

解析所述数据关联条件，得到用于关联两侧待关联数据的关联标识；

所述当监测到所述两个数据表中任意一个数据表存在流入数据时，则根据预先配置的数据关联条件在另一个数据表中查询是否存在与所述流入数据对应的待关联数据包括：

提取所述流入数据中包含的第一关联标识，并根据所述第一关联标识在另一个数据表中查询是否存在满足所述数据关联条件的数据。

进一步地，所述创建两个数据表之后，所述方法还包括：

将所述两个数据表保存至预设存储区并配置与所述两个数据表分别对应的键值对；

所述提取所述流入数据中包含的第一关联标识，并根据所述第一关联标识在另一个数据表中查询是否存在满足所述数据关联条件的数据包括：

提取所述流入数据中包含的第一关联标识，并根据另一个数据表的键值对和所述第一关联标识查询是否存在满足所述数据关联条件的数据。

进一步地，所述方法还包括：

创建关联数据表；

所述将所述流入数据和所述与所述流入数据对应的待关联数据进行关联包括：

将所述流入数据和所述与所述流入数据对应的待关联数据按照所述关联标识进行合并；

将合并后的数据和所述关联标识按照映射关系写入所述关联数据表中。

进一步地，所述关联数据表中还包含有计算列，所述方法还包括：

解析得到与所述计算列对应的计算原则；