[发明专利]一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统

说明书

本发明提供的基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，涉及冶金领域；其方法包括：接收各客户端上传的本地模型参数；根据上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至本地模型达到设定的预期模型精度，进而以训练完成的本地模型作为本地废钢检测模型进行废钢检测。本发明借助联邦学习进行分布式的废钢检测判级，保护各卸料点的数据隐私安全，并且细粒度融合权重设置能够提高对不同卸料点异构废钢数据的检测能力。

技术领域

本发明涉及冶金技术领域，具体涉及一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统。

背景技术

废钢是电弧炉冶炼的重要原材料，具有污染小、产量高、可再生的优点。由于废钢来源广泛，质量参差不齐，废钢质量影响着钢铁的产量，因此，废钢检测在钢铁冶炼过程中具有重要作用。

早期的废钢检测是通过人工实现，具有危险性大、主观性强、效率低下的缺点。随着工业互联网的发展，人工智能技术引入工业体系，逐渐发展出基于人工智能的废钢检测方法；这种方法通过在卸料点安装拍摄设备对废钢拍摄高清图片，上传至平台服务器，训练深度学习模型即可实现远程的废钢智能检测；然而，通过浏览分析对比，发现现有智能废钢检测方法存在如下问题和缺陷：1)数据孤岛问题，具体表现为：各个钢铁厂甚至各个卸料点独自进行废钢检测，数据不共享形成孤岛，检测过程不透明；2)数据隐私问题，具体表现为：废钢作为钢铁厂冶炼的重要原料，具有隐私性质，通过无线网络等方式上传废钢数据可能泄露数据隐私；3)传输代价问题，具体表现为：现有智能废钢检测方法需要通过无线网络上传废钢的高清图片，图片的传输成本较高、连接不稳定。

现有技术中，一种可行的方法是通过联邦学习进行分布式的废钢检测，允许用户将数据保存在本地，共享本地数据上训练的模型参数，代替共享数据，保护数据的隐私，并且降低传输图片数据的通信代价。然而，在分布式废钢检测场景中，各卸料点的废钢种类、数量存在差异，导致数据异构问题，传统联邦学习对异构数据的适应能力不足。因此，亟需构建一个具有隐私保护能力的分布式废钢检测系统，并且能够适应异构数据。

发明内容

本发明目的在于提供一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，基于客户端的本地模型参数的差异，采用分层细粒度融合的权重设置方式更新全局模型参数，解决废钢检测中数据孤岛问题，不仅对各卸料点具有隐私保护能力，且能够适应各卸料点的异构数据。

为达成上述目的，本发明提出如下技术方案：一种基于分层细粒度融合联邦学习的分布式废钢检测方法，应用于联邦学习的服务器端，包括：

接收各客户端上传的本地模型根据本地训练数据集训练的本地模型参数；其中，各客户端由各卸料点构成；

根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；

广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。

进一步的，所述获得全局融合模型参数的具体过程为：

分层划分全局模型的全局模型参数和获取的各客户端上传的本地模型参数为行向量集合；

依次计算各客户端的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端的相似度占所有客户端在该层的相似度总和的比例作为该客户端的本地模型参数融合时的权重；

对各客户端的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；