[发明专利]一种跨机器学习平台的模型定义协议及适配系统

说明书

本发明提供了一种跨机器学习平台的模型定义协议及配置系统，涉及人工智能的自动机器学习领域。包括：计算图构建引擎；计算图优化引擎；跨机器学习平台模型定义协议(Cross‑platforms Model Definition Protocols)；计算图编码引擎；超参推荐引擎；协议解析引擎；模型训练过程控制组件；硬件信息检测与配置系统。本发明的有益效果为：实现跨平台机器学习网络构建，使用简单，降低机器学习维护门槛；实现以拖动方式的机器学习网络构建，便于快速迭代最新的算法网络；提供大量算法模型，支持不同场景下的机器学习，深度学习网络构建；提供参数推荐功能，节省大量调参时间；提供从数据清洗到模型发布全生命周期的算法网络构建，可直接投入生产使用。

技术领域

本发明属于人工智能和自动机器学习领域，具体涉及一种跨机器学习平台的模型定义协议及配置系统

背景技术

随着这几年新一波人工智能浪潮的到来，机器学习相关技术被应用到诸多行业和领域。现如今多种主流机器学习框架均可以高效迅速的构建机器学习学习网络，但是不同框架编写的机器学习算法，在其他框架上并不能实现预期功能。同时，部署不同框架也需要在不同框架间来回转换。

不同框架的使用也需要技术人员对不同框架的语法非常熟悉，然而机器学习更多要和行业业务进行深度结合，才能最大化机器学习的价值，所以代码形式表示的机器学习网络的搭建对于一线业务使用人员并不具备友好的条件。

发明内容

为了解决上述的1.不同框架语言编写的机器学习算法不兼容；2.对业务熟悉的一线人员构建机器学习网络较为困难。两个问题，做到能够兼容调用不同框架语言的机器学习算法，以及解决对业务熟悉的一线人员能够迅速的构建并训练机器学习网络，高效搭建机器学习网络，我们提出了一种跨机器学习平台的模型定义协议及适配系统。

本发明采用以下的技术方案：

一种跨机器学习平台的模型定义协议及适配系统，其特征在于，包括：计算图构建引擎、计算图优化引擎、跨机器学习平台模型定义协议、计算图编码引擎、超参推荐引擎、协议解析引擎、模型训练过程控制组件、硬件信息检测与配置系统，其中：

所述计算图构建引擎用于在系统前端界面，以拖动机器学习算法框或深度学习模型层的方式，构建一个有向无环计算图，以及运算流程的相关资源(包括数据入口、模型结构及参数、计算方式、硬件信息等)，并在前端以json格式进行预保存；

所述计算图优化引擎用于优化以json格式保存的计算图，并补充有向无环图节点链接信息、节点分类信息(节点分类包括了:数据操作组件、预处理组件、模型层组件、编译层组件)等；

所述跨机器学习平台模型定义协议(Cross-platforms Model DefinitionProtocols)为本跨机器学习适配系统内部定义的一种通用性协议，本协议的约定主要是为了解决跨机器学习平台之间模型信息的通信不一致及其适配性问题，本协议可简称为CMDP；

所述计算图编码引擎用于将预先优化和处理过的有向无环计算图携带相关节点信息，按照协议规定方式进行编码，并以json格式保存协议信息；

所述超参推荐引擎用于对深度学习网络参数、深度学习训练参数、机器学习算法参数等进行初始化推荐，包括了深度学习网络中的激活函数推荐等；

所述协议解析引擎用于底层解析CMDP，以协议统一的方式对有向无环计算图及携带信息进行解析,并在后端将图级别信息编译成组合op；

所述模型训练过程控制组件用于对于深度学习和机器学习过程进行控制，包括:启动运行一个机器学习流程，中断机器学习过程，调整训练过程参数等；

所述硬件信息检测与配置系统用于自动检测用户可用硬件信息，并可进行运行环境的配置与选择操作。