[发明专利]一种学习任务的监控方法和设备

说明书

本发明公开了一种学习任务的监控方法和设备，该方法包括：当创建一个学习任务后，获取所创建的学习任务的标识；在所述学习任务的生命周期内，利用所述学习任务的标识从所采集并存储的资源的监控信息中，读取与所述学习任务相关的信息；对所读取的信息进行处理，得到所述学习任务的监控信息，并存储到所述数据库中；其中，所述学习任务的监控信息包括学习任务的实时信息和统计信息；所述学习任务的生命周期指由所述学习任务启动到所述学习任务结束运行的时间段。本发明实施例的学习任务的监控方法可以有效地对任务进行监控，更直观地观察任务的运行情况，有利于系统的运维。

技术领域

本发明涉及计算机技术领域，尤其涉及一种学习任务的监控方法和设备。

背景技术

在人工智能时代，机器学习应用于越来越多的领域，学习任务往往需要大量的计算，使用分布式的学习任务使得计算时间大大缩短。一种具体的实现方法是使用kubernetes(容器集群的管理平台)管理集群，创建分布式的学习任务。具体的，创建学习任务时会建立一个kubernetes的Job(kubernetes编排容器的一种方式)任务。

运行的Job任务会在多个节点上创建容器，这些容器承担计算任务并且运行完后就会消失掉。目前，监控kubernetes集群的方法，只能监控单个节点的节点信息，和节点上运行的容器的信息，但并不能从任务的层面进行监控，对于Job这种会消失的任务更难监控。

发明内容

本发明的主要目的在于提供一种学习任务的监控方法和设备，可以有效地对任务进行监控，更直观地观察任务的运行情况，有利于系统的运维。

为了解决上述技术问题，本发明提供了一种学习任务的监控方法，包括：

当创建一个学习任务后，获取所创建的学习任务的标识；

在所述学习任务的生命周期内，利用所述学习任务的标识从所采集并存储的资源的监控信息中，读取与所述学习任务相关的信息；对所读取的信息进行处理，得到所述学习任务的监控信息，并存储到所述数据库中；

其中，所述学习任务的监控信息包括学习任务的实时信息和统计信息；所述学习任务的生命周期指由所述学习任务启动到所述学习任务结束运行的时间段。

可选地，所述对所述读取的信息进行处理包括：

对所述读取的信息进行以下操作中的至少一项：

加法运算、减法运算、乘法运算、除法运算、数学进制的转换、数据的拼接、幂运算、数值的比较。

可选地，所述利用所述学习任务的标识从所采集并存储的资源的监控信息中，读取与所述学习任务相关的信息包括：

在所采集并存储的资源的监控信息中，查找所处理的任务对应的任务标识为所述学习任务的标识的容器，读取所查找到的容器的监控信息，或所查找到的容器以及所述容器所在节点的监控信息。

可选地，所述在所述学习任务的生命周期内，利用所述学习任务的标识从所采集并存储的资源的监控信息中，读取与所述学习任务相关的信息；对所读取的信息进行处理，得到所述学习任务的监控信息，并存储到所述数据库中包括：

在所述学习任务的生命周期内，以预设的周期利用所述学习任务的标识从所采集并存储的资源的监控信息中读取与所述学习任务相关的信息；并对所述读取的信息进行处理，得到所述学习任务的监控信息，并存储到所述数据库中；其中，所述预设的周期是创建所述学习任务时设置的。

可选地，在所述学习任务的生命周期内，利用所述学习任务的标识从所采集并存储的资源的监控信息中，读取与所述学习任务相关的信息；对所读取的信息进行处理，得到所述学习任务的监控信息，并存储到所述数据库中之后，所述方法还包括：