[发明专利]一种GPU服务器维护系统

说明书

本发明提出了一种GPU服务器维护系统及方法；系统包括：手持定位终端，配置用于通过无线通信方式与目标服务器进行配对，并基于无线信号强度定位所述目标服务器，并在首次配对成功后生成文件名称能够唯一标识目标服务器的文件；在文件中编辑信息，并上传文件中的信息；以及接收包含文件名称的返回信息并保存至对应的文件中；维护中心，配置用于实时获取服务器的日志寄存器信息，并接收手持定位终端上传的信息，并根据获得的信息对服务器的多个GPU进行健康评估或者GPU故障分析，并通过无线通信方式向手持定位终端返回GPU预警信息，或者GPU故障的分析结果及处理建议。本发明实现的多GPU的健康预警，问题快速分析、定位、解决，能够减少停机运维的发生。

技术领域

本发明涉及服务器维护技术领域，尤其涉及一种GPU服务器维护系统。

背景技术

随着大数据技术的快速发展和进步，越来越多的机器学习及AI应用需要快速布局。而对于AI、神经网络等训练业务，特别是数量级在10的四次方左右深度神经网络模型，如果在一块GPU上训练，则需要2000-4000天。为了缩短训练时间，提高训练及业务效率，企业级通常是在每个服务器上装配4—8块GPU，这样可以大大缩短训练时间，提高训练业务效率。装配多个GPU的服务器，通常需要高负荷运行，对于服务器的维护检测工作带来了很大的难度。

目前对于企业级GPU服务器的维护主要存在以下难题：

1、目前业界服务器GPU故障大部分后是被动维修，缺乏对GPU的健康评估及故障预警，而一旦发生GPU故障将对正在运行的业务造成影响；此外，没有对一台服务器多个GPU进行综合评估的检测的方法。

2、对于GPU故障的解决

①需要到达故障现场后，由一线维修工程师通过有线设备连接至相应的服务器并收集BMC、BIOS、GPU等模块的相关日志信息和寄存器信息；

②一线工程师需要拿到日志后，进行问题的初步解析，其中大部分寄存器信息的解析一线维修工程师无法完成，需要上升到更专业的技术人员，一般是服务器或者部件厂家的技术研发人员，通过查询资料数据手册对故障进行解析；

③针对解析结果的验证修复操作，需要由厂家技术研发人员给出操作步骤以对异常GPU进行维修处理；

3、对于不同级别、不同规格、不同业务、不同厂商、不同的数据中心对于GPU日常巡检、维修的标准参数会有所不同，导致现场维护、分析工作容易混淆；

因此，基于现有技术中存在的上述问题还有待于进一步改进。

发明内容

为了解决上述的技术问题，在本发明的一个方面，提出了一种GPU服务器维护系统，包括：手持定位终端，配置用于通过无线通信方式与目标服务器进行配对，并基于无线信号强度定位所述目标服务器，并在首次配对成功后生成文件名称能够唯一标识所述目标服务器的文件；在所述文件中编辑信息，并上传所述文件中的信息；以及接收包含所述文件名称的返回信息并保存至对应的文件中；维护中心，配置用于实时获取服务器的日志寄存器信息，并接收所述手持定位终端上传的信息，并根据获得的信息对所述服务器的多个GPU进行健康评估，并通过无线通信方式向所述手持定位终端返回GPU预警信息；以及根据获得的信息对所述目标服务器进行GPU故障分析，并通过无线通信方式向所述手持定位终端返回分析结果及处理建议。

在一个或多个实施例中，所述手持定位终端还配置用于，对接收到所述返回信息的文件进行标记；当所述手持定位终端与相应的目标服务器配对成功后，判断所述目标服务器对应的文件是否具有标记，响应于具有标记发出声光报警。

在一个或多个实施例中，所述手持定位终端还配置用于，应答所述声光报警，并显示触发所述声光报警的带有标记的文件中的返回信息，并取消所述文件的标记。