[发明专利]基于分布式集群的数据处理方法、系统、设备及存储介质

说明书

本申请公开了一种基于分布式集群的数据处理方法、系统、设备及存储介质，应用于机器学习技术领域，应用于分布式集群中的每一个终端设备中，包括：获取1个批次的训练样本并进行本地深度学习模型的训练，确定出每一层的输入数据及梯度数据；进行梯度数据的同步；基于本地深度学习模型中的每一层的输入数据，以及梯度数据同步之后的每一层的梯度数据，确定出海森矩阵的逆矩阵；通过基于海森矩阵的二阶优化算法，进行本地深度学习模型的参数更新，并返回训练直至模型训练结束；将待识别数据输入至训练完成的本地深度学习模型，并得到待识别数据的识别结果。应用本申请的方案，提高了深度学习模型的分布式训练收敛速度，也有利于降低训练时耗时。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于分布式集群的数据处理方法、系统、设备及存储介质。

背景技术

目前，人工智能正与5G、云计算、边缘计算等新一代信息技术互为支撑，推动生产生活方式和社会治理方式的智能化变革，而伴随而来的是人工智能落地场景日趋复杂化，融合云边端设备的跨域分布式人工智能占比越来越高。

深度学习模型的应用极为广泛，例如手机中的植物物种识别，语音识别并转换为文字等。部署在终端设备中的深度学习模型初期训练所需算力较为庞大，单个终端设备计算能力不足，并且单个终端设备所拥有的训练数据不足，因此，最常见的一种解决方案是联合边缘域内所有的终端设备实现分布式训练，共同更新模型参数，最终完成深度学习模型训练。

传统的跨域分布式优化算法，通常采用的是SGD（Stochastic Gradient Descent，随机梯度下降）算法，是一种简单但非常有效的方法，但是该算法收敛速度较慢。

综上所述，如何进行深度学习模型的分布式训练，提高收敛速度，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种基于分布式集群的数据处理方法、系统、设备及存储介质，以进行深度学习模型的分布式训练，提高收敛速度。

为解决上述技术问题，本发明提供如下技术方案：

一种基于分布式集群的数据处理方法，应用于分布式集群中的每一个终端设备中，包括：

获取1个批次的训练样本并进行本地深度学习模型的训练，确定出本地深度学习模型中的每一层的输入数据以及每一层的梯度数据；

将自身确定出的每一层的梯度数据广播至其余各个终端设备，并接收其余各个终端设备所广播的数据，通过进行梯度数据的同步，确定出进行了梯度数据同步之后的每一层的梯度数据；

基于本地深度学习模型中的每一层的输入数据，以及梯度数据同步之后的每一层的梯度数据，确定出当前训练批次所使用的海森矩阵的逆矩阵；

基于确定出的所述海森矩阵的逆矩阵，通过基于海森矩阵的二阶优化算法，进行本地深度学习模型的参数更新，并返回执行所述获取1个批次的训练样本并进行本地深度学习模型的训练的操作，直至模型训练结束；

将待识别数据输入至训练完成的所述本地深度学习模型，并得到所述待识别数据的识别结果。

优选的，所述基于本地深度学习模型中的每一层的输入数据，以及梯度数据同步之后的每一层的梯度数据，确定出当前训练批次所使用的海森矩阵的逆矩阵，包括：

基于确定出当前训练批次所使用的海森矩阵的逆矩阵；