[发明专利]一种基于分布式系统的机器学习程序运行的方法和装置

说明书

本发明公开了一种基于分布式系统的机器学习程序运行的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序。能够根据用户提交的运行请求自动获取资源，并根据获取资源的服务器节点的端口信息和标识信息，生成启动参数，则可通过该启动参数对应的启动服务器节点自动运行机器学习程序，提高了机器学习程序运行的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于分布式系统的机器学习程序运行的方法和装置。

背景技术

如今，在很多领域都有应用到机器学习或者深度学习，例如图像识别、语音识别、自动驾驶等领域。目前比较流行的深度学习框架有Tensorflow、Caffe等，使用这些框架进行分布式处理时，需要人为登录到每台服务器，将待运行的机器学习程序拷贝到该服务器中，以及人工启动程序在该服务器中运行，进而存在运行效率低的问题。

发明内容

有鉴于此，本发明实施例提供一种基于分布式系统的机器学习程序运行的方法和装置，能够根据用户提交的运行请求自动获取资源，并根据获取资源的服务器节点的端口信息和标识信息，生成启动参数，则可通过该启动参数对应的启动服务器节点自动运行机器学习程序，提高了机器学习程序运行的效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种的基于分布式系统的机器学习程序运行方法。

本发明实施例的基于分布式系统的机器学习程序运行的方法包括：根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序。

可选地，根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源的步骤包括：根据机器学习程序的运行请求，确定出运行所述机器学习程序所需的资源；向分布式系统的资源管理器申请所需的资源；以及，获取所述资源管理器返回的资源。

可选地，在获取分布式系统中用于运行所述机器学习程序的资源之后，以及在根据所述资源中服务器节点的端口信息和标识信息，生成启动参数之前，还包括：确认获取的资源中服务器节点已就绪；向所述资源中服务器节点的任务管理器发送启动信息，使得所述任务管理器绑定其服务器节点的端口。

可选地，在将所述机器学习程序以及所述启动参数发送给对应的服务器节点之后，还包括：接收所述服务器节点返回的心跳信息；根据所述心跳信息，判断所述服务器节点中是否存在异常服务器节点；如果存在，则根据该异常服务器节点的端口信息和标识信息生成重启参数，将所述重启参数发送给所述异常服务器。

可选地，在将所述机器学习程序以及所述启动参数发送给对应的服务器节点之后，还包括：获取所有服务器节点的运行数据；根据预设的存储路径存储所述运行数据。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种基于分布式系统的机器学习程序运行的装置。

本发明实施例的基于分布式系统的机器学习程序运行的装置包括：资源获取模块，用于根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；

启动参数生成模块，用于根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；

发送模块，用于将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序。