[发明专利]一种基于联邦学习与风格迁移的图像分割方法及装置

说明书

本发明公开了一种基于联邦学习与风格迁移的图像分割方法及装置，涉及图像处理及人工智能技术领域。包括：多个用户节点分别构建基于本地图像数据集的风格迁移模型；训练节点基于风格迁移模型，根据联邦风格交换规则获取共享风格迁移模型；训练节点基于共享风格迁移模型，利用本地图像数据真实分割标注，得到具有其他节点图像数据风格的合成图像数据集；多个用户节点基于联邦学习方法对图像分割模型进行联邦训练，得到训练好的图像分割模型。本发明能够在保护用户关切的图像核心信息的前提下，通过共享用户对保密需求不迫切的风格信息，充分降低不同用户之间数据分布差异带来的算法性能损失，最终训练得到泛化能力强的图像分割模型。

技术领域

本发明涉及图像处理及人工智能技术领域，特别是指一种基于联邦学习与风格迁移的图像分割方法及装置。

背景技术

图像分割任务，一直以来都是图像处理领域里的一个重要研究分支，在科研、军事、医疗等领域都发挥着重要的作用。近年来随着计算机技术以及数据驱动算法的发展，数据驱动的图像分割算法展现出了强大的性能优势，不同领域对高质量有标注图像分割数据集的需求也越来越大。但是在材料、医疗等领域，由于数据获取以及标注的困难导致难以获得大规模高质量的有标注数据，同时由于材料与医疗数据的隐私性限制导致数据所有者不愿或不能公开自己所拥有数据，从而引发数据孤岛效应，每个研究者仅能利用本地有限的小规模数据训练得到泛化能力有限的模型，极大阻碍了该领域的进一步发展。

近些年来随着人们对数据隐私的愈发重视，联邦学习作为一种能够在保障参与者隐私数据不离开本地的前提下充分利用各方参与者数据展开机器学习的手段得到了越来越多的研究，许多高效的联邦学习算法被提了出来，例如：联邦平均算法(McMahan,Brendan,et al.Communication-efficient learning of deep networks fromdecentralized data.Artificial intelligence and statistics[J].PMLR,2017,54:1273-1282)，联邦近端算法(LI,Tian,et al.Federated optimization in heterogeneousnetworks.arXiv preprint arXiv:1812.06127,2018)等。这些基于随机梯度下降来实现优化的算法在不同节点数据独立同分布时表现较好，但是随着不同节点之间数据差异变大算法性能也会出现大幅度衰退。Zhao等人提出了利用大规模共有数据作为共享数据的方式(Zhao,Yue,et al.Federated learning with non-iid data.arXiv preprint arXiv:1806.00582,2018)，有效缓解了不同节点之间数据差异带来的算法性能衰退。

对于图像分割任务中的数据孤岛问题可以利用联邦学习技术，在保护用户数据隐私的情况下实现对不同参与者数据的充分利用。但是对于联邦学习参与者而言，不同参与者所拥有的数据往往呈现出差异性，例如：对于材料显微图像分割任务而言，即使是同一类型的微观晶胞结构，不同研究者拍摄的显微图像往往会受成分、制备工艺、温度、光照等因素影响呈现出图像风格上的差异性，这会对联邦学习性能产生较大负面影响。同时由于在材料、医疗等领域中数据获取以及标注较为困难导致大规模有标注数据集获取代价较大，因此很难找到用作共享数据的大规模有标注数据集，这进一步限制了联邦学习技术的表现。

因此，在图像分割领域迫切需要一种能够在保护参与者数据隐私的基础上打破数据孤岛，提高分割算法泛化性能的新型策略。

发明内容

本发明针对现有技术缺乏能够在保护参与者数据隐私的基础上，打破数据孤岛，提高分割算法泛化性能的新型策略的问题，提出了本发明。

为解决上述技术问题，本发明提供如下技术方案：