[发明专利]辅助算子开发的方法和系统

说明书

本发明提供了一种辅助算子开发的方法和系统，该方法包括：提供至少一个预设的依赖包；获取用户输入的包含目标算子的业务逻辑描述信息的目标算子开发文件，其中，目标算子的业务逻辑描述信息中包括依赖包调用信息；将目标算子开发文件与依赖包调用信息所涉及的依赖包一起进行封装，得到目标算子。

技术领域

本发明涉及算子开发技术领域，更具体地，涉及一种辅助算子开发的方法、一种辅助算子开发的系统、一种包括至少一个计算装置和至少一个存储装置的系统、及一种可读存储介质。

背景技术

随着人工智能的发展，越来越多的行业场景需要建立机器学习模型，包括但不限于应用统计分析方法、机器学习方法、深度学习方法、迁移学习方法等进行建模。在人工智能的建模过程中，用户会通过自定义的算法和数据处理逻辑串联出完整的建模流程。其中自定义的算法和数据处理逻辑通常被称为“算子(Operator)”。在算子的开发过程中，经常会遇到在不同的场景或建模环节中复用相同的功能代码。

在现有技术中，每次复用某一功能代码时，通常是由用户自行在代码层面进行控制，即需用户编辑算子的全部代码。在代码层面实现部分功能代码的复用，导致了算子开发效率较低、过多暴露技术细节、算子开发门槛较高的问题。

发明内容

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

根据本发明的第一方面，提供了一种辅助算子开发的方法，包括：

提供至少一个预设的依赖包；

获取用户输入的包含目标算子的业务逻辑描述信息的目标算子开发文件，其中，所述目标算子的业务逻辑描述信息中包括依赖包调用信息；

将所述目标算子开发文件与所述依赖包调用信息所涉及的依赖包一起进行封装，得到目标算子。

可选的，所述至少一个预设的依赖包包括如下中的一个或多个：

用于实时监控算子运行状态的依赖包；

用于将算子运行信息对外暴露的依赖包；

用于进行日志收集的依赖包；

用于执行数据过期策略的依赖包；

用于对代码细节进行封装的依赖包；

用于进行辅助资源推荐的依赖包；

用于进行算法参数推荐的依赖包。

可选的，所述至少一个预设的依赖包包括用于进行辅助资源推荐的依赖包；

所述用于进行辅助资源推荐的依赖包，用于在算子运行时根据算子对一定量数据进行处理时的资源消耗推断算子对全量数据进行处理时的资源消耗，并根据推断结果调度对应量的资源。

可选的，所述至少一个预设的依赖包包括用于进行算法参数推荐的依赖包；

所述用于进行算法参数推荐的依赖包，用于在被执行机器学习算法的算子引用时，根据算法和参数的对应列表和/或算法参数搜索方法为相应机器学习算法确定参数。

可选的，所述目标算子开发文件形式可以是如下中的任一种：

jar包；

docker镜像；

脚本文件。

可选的，还包括：

提供依赖包接口；

通过所述依赖包接口获取用户自定义编辑的依赖包，和/或，通过所述依赖包接口接收用户上传第三方的依赖包。