[发明专利]深度学习训练平台的训练日志可视化系统、方法及设备在审
申请号: | 201911386415.6 | 申请日: | 2019-12-29 |
公开(公告)号: | CN111190805A | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 王文潇 | 申请(专利权)人: | 广东浪潮大数据研究有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06F9/451 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 牛亭亭 |
地址: | 510620 广东省广州市天河区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 深度 学习 训练 平台 日志 可视化 系统 方法 设备 | ||
本申请公开了一种深度学习训练平台的训练日志可视化系统,包括:工具选取模块,用于在接收到针对目标训练任务的第一可视化请求时,选取对应于目标训练任务的预设的可视化工具;工具加载模块,用于创建目标资源,在目标资源上加载选取出的可视化工具,并暴露出目标资源的定位地址;可视化展示模块,用于在接收到针对目标训练任务的第二可视化请求时,通过定位地址启用可视化工具,将目标训练任务的训练日志进行显示。应用本申请的方案,实现了训练日志可视化。并且操作简单方便,有利于提高用户的工作效率。本申请还公开了一种深度学习训练平台的训练日志可视化方法及设备,具有相应技术效果。
技术领域
本发明涉及计算机技术领域,特别是涉及一种深度学习训练平台的训练日志可视化系统、方法及设备。
背景技术
容器集群是一种将多台物理机抽象为逻辑上单一容器的技术,是一种比虚拟机技术更加节省计算资源,也更加灵活的虚拟化技术。而随着互联网应用的高速发展,通过容器集群来实现用户应用也越来越常见。Kubernetes是常用的开源的容器集群管理系统,用于管理云平台中多个主机上的容器化的应用,可以为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能。
深度学习的算法人员可以在云平台中对训练模型进行训练,即在云平台中运行训练任务。但是,深度学习的算法人员只能获取到经过训练之后的训练模型,而在实际应用中,部分算法人员可能还需要训练过程中产生的日志数据,从而进行训练模型的分析改进。但由于目前的云平台中,深度学习的算法人员只能获取到经过训练之后的训练模型,因此无法满足部分算法人员获取训练日志的这一需求。
综上所述,如何有效地向用户提供训练日志,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种深度学习训练平台的训练日志可视化系统、方法及设备,以有效地向用户提供训练日志。
为解决上述技术问题,本发明提供如下技术方案:
一种深度学习训练平台的训练日志可视化系统,包括:
工具选取模块,用于在接收到针对目标训练任务的第一可视化请求时,选取对应于所述目标训练任务的预设的可视化工具;
工具加载模块,用于创建目标资源,在所述目标资源上加载选取出的所述可视化工具,并暴露出所述目标资源的定位地址;
可视化展示模块,用于在接收到针对所述目标训练任务的第二可视化请求时,通过所述定位地址启用所述可视化工具,将所述目标训练任务的训练日志进行显示。
优选的,还包括:
资源释放模块,用于在检测出释放条件成立时,删除所述目标资源。
优选的,所述释放条件为发送所述第一可视化请求的用户处于离线状态。
优选的,所述释放条件为发送所述第一可视化请求的用户处于离线状态,且离线时长大于预设的时长阈值。
优选的,所述工具加载模块,具体用于:
创建pod作为目标资源,在所述目标资源上加载选取出的所述可视化工具,并建立与所述目标资源绑定的kubernetes服务,通过所述kubernetes服务暴露出所述目标资源的定位地址。
优选的,还包括:
日志记录模块,用于在所述可视化展示模块将所述目标训练任务的训练日志进行显示之后,进行事件记录。
一种深度学习训练平台的训练日志可视化方法,包括:
工具选取模块在接收到针对目标训练任务的第一可视化请求时,选取对应于所述目标训练任务的预设的可视化工具;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东浪潮大数据研究有限公司,未经广东浪潮大数据研究有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911386415.6/2.html,转载请声明来源钻瓜专利网。