[发明专利]辅助算子开发的方法和系统

权利要求书

1.一种辅助算子开发的方法，包括：

提供至少一个预设的依赖包；

获取用户输入的包含目标算子的业务逻辑描述信息的目标算子开发文件，其中，所述目标算子的业务逻辑描述信息中包括依赖包调用信息；

将所述目标算子开发文件与所述依赖包调用信息所涉及的依赖包一起进行封装，得到目标算子；

所述方法还包括：

提供与不同底层框架分别对应的底层框架执行器，以在算子实际运行时托管底层框架的任务分发的资源调度；

和/或，

提供与不同计算框架分别对应的计算框架管理器，以在算子实际运行时托管计算框架中的通信、调度和资源相关的操作。

2.根据权利要求1所述的方法，其中，所述至少一个预设的依赖包包括如下中的一个或多个：

用于实时监控算子运行状态的依赖包；

用于将算子运行信息对外暴露的依赖包；

用于进行日志收集的依赖包；

用于执行数据过期策略的依赖包；

用于对代码细节进行封装的依赖包；

用于进行辅助资源推荐的依赖包；

用于进行算法参数推荐的依赖包。

3.根据权利要求1所述的方法，其中，所述至少一个预设的依赖包包括用于进行辅助资源推荐的依赖包；

所述用于进行辅助资源推荐的依赖包，用于在算子运行时根据算子对一定量数据进行处理时的资源消耗推断算子对全量数据进行处理时的资源消耗，并根据推断结果调度对应量的资源。

4.根据权利要求1所述的方法，其中，所述至少一个预设的依赖包包括用于进行算法参数推荐的依赖包；

所述用于进行算法参数推荐的依赖包，用于在被执行机器学习算法的算子引用时，根据算法和参数的对应列表和/或算法参数搜索方法为相应机器学习算法确定参数。

5.根据权利要求1所述的方法，其中，所述目标算子开发文件形式可以是如下中的任一种：

jar包；

docker镜像；

脚本文件。

6.根据权利要求1所述的方法，还包括：

提供依赖包接口；

通过所述依赖包接口获取用户自定义编辑的依赖包，和/或，通过所述依赖包接口接收用户上传第三方的依赖包。

7.根据权利要求1所述的方法，在将所述目标算子开发文件与所述依赖包调用信息所涉及的依赖包一起进行封装之前，还包括：

获取用户配置的关于目标算子的配置文件，该配置文件中声明了业务逻辑信息中依赖包调用信息所涉及的依赖包；

检测所述配置文件中声明的依赖包的版本与所述目标算子开发文件的版本是否一致，如果不一致进一步判断是否兼容；

在不一致且不兼容的情况下，则根据所述目标算子开发文件的版本找到版本一致的依赖包或版本不一致但兼容的依赖包，作为替换包封装到所述目标算子中。

8.根据权利要求1所述的方法，在将所述目标算子开发文件与所述依赖包调用信息所涉及的依赖包一起进行封装之前，还包括：

获取用户配置的关于所述目标算子的配置文件，该配置文件中声明了业务逻辑信息中依赖包调用信息所涉及的依赖包；

扫描所述目标算子开发文件，判断是否存在目标算子开发文件中存在依赖包调用信息但配置文件中不存在相应声明的依赖包；

如果存在，则在所述配置文件中补充相应的声明。

9.根据权利要求1所述的方法，每个依赖包具有对应的版本号，同一功能的依赖包具有至少一个版本。

10.根据权利要求1所述的方法，还包括：

获取用于调试的模拟数据；

根据所述模拟数据对所述目标算子开发文件进行调试，在调试通过的情况下，将所述目标算子开发文件和所述依赖包调用信息所涉及的依赖包一起进行封装，得到目标算子。