[发明专利]一种标准化开发训练平台

说明书

本发明公开了一种标准化开发训练平台，物理资源层包括CPU、GPU、存储、网络设备和安全防护设备；调度管理层包括集群管理系统、资源管理系统、任务调度系统和用户管理系统；训练环境层包括各主流学习框架；业务应用层包括数据处理模块、数据标注模块、模型训练模块和模型发布模块，模型发布模块用于判断待发布模型是否适配终端的硬件，对不适配的待发布模型进行模型压缩或转换，直至压缩或转换后的待发布模型适配终端的硬件，再将其发布到终端，可对算法模型进行全生命周期的标准化管理，解决了现有技术中未考虑模型下发时与硬件的适配工作，每个模型单独人工操作耗时多，适配过程工作量大，存在模型部署发布可用性低、灵活性低的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种标准化开发训练平台。

背景技术

目前公开的机器学习平台，主要用于搭建各种数据模型，同时通过大数据集群提取源数据；并通过源数据验证数据模型以及建立良好的模型评估方法，构建优良的数据模型和数据模型评估方法，主要是为了解决现有的数据模型构建复杂、验证工作量大且不能进行良好的模型验证的问题。未考虑模型下发时与硬件的适配工作，每个模型单独人工操作耗时多，适配过程工作量大，存在模型部署发布可用性低、灵活性低的问题。

发明内容

本发明提供了一种标准化开发训练平台，用于对算法模型进行全生命周期的标准化管理，以解决现有技术中未考虑模型下发时与硬件的适配工作，每个模型单独人工操作耗时多，适配过程工作量大，存在模型部署发布可用性低、灵活性低的技术问题。

有鉴于此，本发明第一方面提供了一种标准化开发训练平台，包括：

物理资源层、调度管理层、训练环境层和业务应用层；

所述物理资源层包括CPU、GPU、存储、网络设备和安全防护设备；

所述调度管理层包括集群管理系统、资源管理系统、任务调度系统和用户管理系统；

所述训练环境层包括主流学习框架TensorFlow、PyTorch、Caffe、scikit-learn和/或XGBoost；

所述业务应用层包括数据处理模块、数据标注模块、模型训练模块和模型发布模块；

所述模型发布模块，用于判断待发布模型是否适配终端的硬件，若是，则将所述待发布模型发布到所述终端；若否，则对所述待发布模型进行模型压缩或模型转换，直至压缩或转换后的所述待发布模型适配所述终端的硬件。

可选的，所述数据标注模块包括：

标注子模块，用于在接收到标注任务后，对待标注数据集进行类别标注，得到已标注数据集；

审核子模块，用于根据预置规则对所述已标注数据集进行命名和审核；

存储子模块，用于将审核通过的所述已标注数据集根据所述命名存储到所述标准化开发训练平台的指定路径。

可选的，所述标注子模块具体用于：

在接收到标注任务后，将待标注数据集输入到自动标注模型进行类别标注，输出已标注数据集，其中，所述自动标注模型由人工标注的数据集训练得到。

可选的，所述模型训练模块用于：

接收到训练任务后，根据所述训练任务中的配置参数进行模型训练。

可选的，所述模型发布模块还用于：

将训练好的模型发布到模型仓库。

可选的，所述模型发布模块还用于：

对模型进行性能评估，所述性能评估指标包括准确率、召回率或mAP值。

可选的，所述模型发布模块具体用于：