[发明专利]用于机器学习的计算服务的系统及用于机器学习的方法

说明书

本申请公开一种用于机器学习的计算服务的系统及用于机器学习的方法。涉及计算机信息处理领域，该系统包括：在线实验模块，用于为用户的机器学习代码提供基础服务，所述基础服务包括数据维护、数据编辑、代码运行；训练测试模块，对用户提交的机器学习任务进行训练和测试，所述训练测试模块采用Docker容器实现；以及远程调试模块，用于为用户提供对于所述训练测试模块的远程调试功能。本申请公开的用于机器学习的计算服务的系统及用于机器学习的方法，能够简单快捷的进行机器学习任务的环境部署与数据选择，满足了面向机器学习任务的特有要求，保障了机器学习实验环境的隔离。

技术领域

本发明涉及计算机信息处理领域，具体而言，涉及一种用于机器学习的计算服务的系统及用于机器学习的方法。

背景技术

随着大数据时代的来临以及人工智能技术的不断发展，越来越多的工程师致力于机器学习方面算法的研究。这不仅依赖于个人的理论基础，也依赖于对于高性能硬件(比如GPU)资源的操作能力。这是因为，目前机器学习研究，尤其是深度学习，往往涉及比较复杂的环境配置、参数调试等，给缺乏经验的开发者带来较大的挑战。在实验环境改变后，开发者需要进行重复的环境搭建与代码编译过程，导致时间的浪费和效率的减低。另一方面，高性能GPU服务器往往与开发者自身静态绑定，缺乏统一的调度与管理，导致计算资源的空耗等待现象与严重不足现象并存。为了能够使得开发者高效快速地投入到机器学习算法本身的研究中，面向机器学习的计算云平台的需求越来越迫切。

目前，国内外计算服务平台尚处于发展阶段。AWS云计算服务平台提供了通用GPU计算产品，AWS相应产品针对通用需求搭建，没有提供针对机器学习的计算服务。机器学习的计算服务有其特殊性，依赖较为复杂的编译环境和高性能的硬件资源。为了搭建实验环境，常采用虚拟化技术，其中，虚拟机技术是将一台或者多台独立的机器虚拟运行在物理硬件上，资源占有率高。而容器虚拟化技术具有轻量级、环境隔离、高效部署等诸多特性。在平台构建中使用容器虚拟化的例子中，多数是将服务运行在容器中。在专利号：CN106569895A一种基于容器的多租户大数据平台构建方法中，基于容器虚拟化技术，独立封装大数据平台存储、计算、监控、缓存及备份等不同的功能组件。这种将服务运行在容器的方式并不适合机器学习计算平台，这是由于机器学习模型不具备统一性，不能靠容器内的模块化服务来满足模型训练/测试的需求。

在现有技术中，可例如通过通用需求云平台与基于虚拟机的云平台提供机器学习服务，但是通用需求云平台，为用户提供通用需求的云平台，仅仅相当于进行了资源的隔离与池化，并没有为机器学习算法的研究开发带来便利性。基于虚拟机的云平台中，虚拟机技术的资源占用率高、性能开销大。

因此，需要一种新的用于机器学习的计算服务的系统及用于机器学习的方法。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于机器学习的计算服务的系统及用于机器学习的方法，能够简单快捷的进行机器学习任务的环境部署与数据选择，满足了面向机器学习任务的特有要求，保障了机器学习实验环境的隔离。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于机器学习的计算服务的系统，该系统包括：在线实验模块，用于为用户的机器学习代码提供基础服务，所述基础服务包括数据维护、数据编辑、代码运行；训练测试模块，对用户提交的机器学习任务进行训练和测试，所述训练测试模块采用Docker容器实现；以及远程调试模块，用于为用户提供对于所述训练测试模块的远程调试功能。

在本公开的一种示例性实施例中，还包括：认证授权模块，用于确定所述用户的合法性，并为不同的用户提供不同等级的使用权限；镜像仓库，用于为所述使用者提供编译环境；数据中心，用于存储公有数据集；以及私有仓库，用于提供镜像收藏功能。