[发明专利]流数据与维表关联方法及流计算装置

摘要

本申请实施例提供一种流数据与维表关联方法及流计算装置，该装置包括数据采集单元和多个处理单元，各处理单元分别与join key的不同值对应。每个处理单元的本地缓存存储有预设维表的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配。数据采集单元将获得的数据流划分为多个子流，并将每个子流发送给其join key的值对应的处理单元。处理单元根据子流的数据记录的join key的值从本地缓存中匹配维表数据，若匹配到，则将所匹配到的维表数据与该数据记录关联。如此，可以通过较小的缓存空间实现维表数据的全量缓存，提高了join性能。

主权项

1.一种流数据与维表关联方法，其特征在于，应用于基于流式计算框架的流计算装置，所述流计算装置包括数据采集单元和多个处理单元，所述多个处理单元分别与关联键join key的不同值对应，每个处理单元具有本地缓存；所述方法包括：所述数据采集单元获得数据流，根据所述数据流中的各数据记录各自包含的join key的值将所述数据流划分为多个子流，并将每个子流发送给与该子流的join key的值对应的处理单元；接收到所述子流的处理单元从本地缓存中查找是否存在与所述子流中的数据记录的join key的值匹配的维表数据；其中，该处理单元的本地缓存存储有预设维表中的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配；若存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则将所述匹配的维表数据和所述子流中的所述数据记录相关联。