[发明专利]用于机器学习的计算服务的系统及用于机器学习的方法有效
申请号: | 201711391831.6 | 申请日: | 2017-12-21 |
公开(公告)号: | CN109961151B | 公开(公告)日: | 2021-05-14 |
发明(设计)人: | 李博文;杨洪雪 | 申请(专利权)人: | 同方威视科技江苏有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 阚梓瑄;王卫忠 |
地址: | 213200 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 机器 学习 计算 服务 系统 方法 | ||
1.一种用于机器学习的计算服务的系统,其特征在于,包括:
在线实验模块,用于为用户的机器学习代码提供基础服务,所述基础服务包括数据维护、数据编辑、代码运行;
训练测试模块,对用户提交的机器学习任务进行训练和测试,所述训练测试模块采用Docker容器实现;以及
远程调试模块,用于为用户提供对于所述训练测试模块的远程调试功能;
数据中心,用于存储公有数据集;
所述训练测试模块包括:参数接口子模块,用于提供参数传递的接口,所述参数传递的接口使处于运行中的所述机器学习任务的任务数量低于规定的数目上限,使得所述机器学习任务保持持续运行;API接口模块,用于为所述机器学习任务提供API接口;代码和数据集传递接口模块,用于提供将所述公有数据集映射到所述机器学习任务的容器中的接口。
2.如权利要求1所述的系统,其特征在于,还包括:
认证授权模块,用于确定所述用户的合法性,并为不同的用户提供不同等级的使用权限;
镜像仓库,用于为使用者提供编译环境;以及
私有仓库,用于提供镜像收藏功能。
3.如权利要求1所述的系统,其特征在于,所述在线实验模块通过Jupyterhub管理用户的权限。
4.如权利要求3所述的系统,其特征在于,所述在线实验模块包括:
镜像启动模块,用于通过Jupyter Notebook处理启动镜像;以及
资源模块,用于通过nvidia-docker使得所述基础服务获得GPU资源。
5.如权利要求4所述的系统,其特征在于,所述在线实验模块中的所述JupyterNotebook程序的启动方式包括:容器启动方式。
6.如权利要求1所述的系统,其特征在于,所述远程调试模块通过Mesos集群管理框架,利用VNC远程显示原理,以使得所述Docker容器具有远程调试功能。
7.如权利要求1所述的系统,其特征在于,所述远程调试模块包括:
端口子模块,用于提供IP地址和端口,以使得所述用户通过访问后台返回的所述IP地址和端口进行远程调试运作。
8.如权利要求1所述的系统,其特征在于,所述训练测试模块的调度策略为先进先出策略。
9.如权利要求2所述的系统,其特征在于,所述镜像仓库包括:
创建子模块,用于根据训练测试模块的Dockerfile创建镜像。
10.一种用于机器学习的方法,其特征在于,包括:
获取机器学习代码;
将所述机器学习代码上传至预定系统中;
基于所述预定系统对所述机器学习代码进行训练与测试;
其中所述预定系统包括:
在线实验模块,用于为用户的机器学习代码提供基础服务,所述基础服务包括数据维护、数据编辑、代码运行;
训练测试模块,对用户提交的机器学习任务进行训练和测试,所述训练测试模块采用Docker容器实现;以及
远程调试模块,用于为用户提供对于所述训练测试模块的远程调试功能;
数据中心,用于存储公有数据集;
其中,所述训练测试模块包括:参数接口子模块,用于提供参数传递的接口,所述参数传递的接口使处于运行中的所述机器学习任务的任务数量低于规定的数目上限,使得所述机器学习任务保持持续运行;API接口模块,用于为所述机器学习任务提供API接口;代码和数据集传递接口模块,用于提供将所述公有数据集映射到所述机器学习任务的容器中的接口。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求10中所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求10中所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同方威视科技江苏有限公司,未经同方威视科技江苏有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711391831.6/1.html,转载请声明来源钻瓜专利网。