[发明专利]一种基于Flink框架的推理方法、装置及Flink服务系统

说明书

本发明实施例提供了一种基于Flink框架的推理方法、装置及Flink服务系统。其中，所述方法包括：所述第一消息子系统获取待推理数据；并根据所述待推理数据在各个特征维度上的特征值，生成事实表；将所述事实表分区至各个所述Flink工作节点；所述第二消息子系统获取模型数据；并根据所述模型数据，生成维表；将所述维表发送至各个所述Flink工作节点；所述Flink工作节点合并所述第一消息子系统分区至所述Flink工作节点的事实表以及所述第二消息子系统发送至所述Flink工作节点的维表，得到合并表；所述推理子系统根据所述合并表中模型数据与待推理数据之间的匹配关系，以SQL方式进行推理。可以提高推理系统的兼容性。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种基于Flink框架的推理方法、装置及Flink服务系统。

背景技术

Flink框架作为一种能够实现实时推理的框架被广泛应用于机器学习中。但是现有技术中的基于Flink框架的机器学习系统往往是基于Java编码serving方式，如FLIP-23。对主流的机器学习框架减少兼容性。导致基于Flink框架的推理系统兼容性较差。

发明内容

本发明实施例的目的在于提供一种基于Flink框架的推理方法、装置及Flink服务系统，以实现提高基于Flink框架的推理系统的兼容性。具体技术方案如下：

在本发明实施例的第一方面，提供了一种基于Flink框架的推理方法，应用于Flink服务系统，所述Flink服务系统包括第一消息子系统、第二消息子系统、多个Flink工作节点以及推理子系统，所述方法包括：

所述第一消息子系统获取待推理数据；并根据所述待推理数据在各个特征维度上的特征值，生成事实表；将所述事实表分区至各个所述Flink工作节点；

所述第二消息子系统获取模型数据；并根据所述模型数据，生成维表；将所述维表发送至各个所述Flink工作节点；

所述Flink工作节点合并所述第一消息子系统分区至所述Flink工作节点的事实表以及所述第二消息子系统发送至所述Flink工作节点的维表，得到合并表；

所述推理子系统根据所述合并表中模型数据与待推理数据之间的匹配关系，以SQL方式进行推理。

在一种可能的实施例中，所述第二消息子系统将所述维表发送至各个所述Flink工作节点，包括：

所述第二消息子系统将所述维表广播至每个所述Flink工作节点。

在一种可能的实施例中，所述第二消息子系统将所述维表广播至每个所述Flink工作节点，包括：

所述第二消息子系统通过分区转换算子将所述维表广播至每个所述Flink工作节点，其中，所述分区转换算子中被传入右侧维表算子以及广播分区器。

在一种可能的实施例中，所述方法还包括：

所述Flink工作节点根据所述合并表，确定各个所述待推理数据所匹配的模型数据；

所述推理子系统根据所述合并表中模型数据与待推理数据之间的匹配关系，以SQL方式进行推理，包括：

所述推理子系统针对每个所述待推理数据，加载所述待推理数据所匹配的模型数据；利用加载的模型数据对所述待推理数据进行推理。

在一种可能的实施例中，所述维表中包括比例维度；

所述推理子系统针对每个所述待推理数据，加载所述待推理数据所匹配的模型数据；利用加载的模型数据对所述待推理数据进行推理，包括：

所述推理子系统针对每个所述待推理数据，随机获取指示值，作为目标指示值；