[发明专利]业务模型训练方法、装置及业务模型训练系统

说明书

本说明书的实施例提供业务模型训练方法及装置。业务模型包括至少一个非线性模型结构。模型训练系统包括第一成员设备和第二成员设备，第一成员设备具有标签值，各个成员设备的子模型共同组成业务模型。在模型训练时，迭代执行循环过程。在每次循环时，各个成员设备使用训练样本数据以及各自的当前子模型得到当前业务模型的当前预测值，其中，与至少一个非线性模型结构对应的模型计算采用线性近似处理方式实现。在不满足循环结束条件时，根据当前预测差值，调整各个成员设备的当前子模型，调整后的各个成员设备的当前子模型用作下一循环过程的当前子模型。

技术领域

本说明书实施例通常涉及人工智能领域，尤其涉及业务模型训练方法、业务模型训练装置以及业务模型训练系统。

背景技术

随着人工智能技术的发展，业务模型已经逐渐应用于各种业务应用场景，比如，风险评估、语音识别、自然语言处理等。为了解决模型训练时的数据孤岛问题，提出了联盟学习（Federated Learning）。利用联盟学习，可以在保护业务数据隐私的情况下，让多个业务数据拥有方通过多方安全计算来协同进行业务模型训练。然而，在现有的多方安全计算中，不论是同态加密，还是秘密分享技术，都只能实现简单的加减法，而对于具有复杂激活函数的业务模型，无法在要求的时间内得到有效的结果。

发明内容

鉴于上述问题，本说明书实施例提供一种业务模型训练方法、装置及业务模型训练系统。利用该方法、装置及系统，在业务模型具有非线性模型结构的情况下，针对非线性模型结构的模型计算，使用线性近似处理来实现，从而降低业务模型训练过程中的模型计算量，提高业务模型训练过程中的模型计算效率，由此提升业务模型的训练效率。此外，通过使用线性近似处理来实现非线性模型结构处的模型计算，可以防止出现过拟合现象，进而提升业务模型训练精度。

根据本说明书实施例的一个方面，提供一种用于经由业务模型训练系统训练业务模型的方法，所述业务模型包括至少一个非线性模型结构，所述业务模型训练系统包括第一成员设备和至少一个第二成员设备，所述第一成员设备具有标签值，各个成员设备分别维护所述业务模型的一个子模型，各个子模型共同组成所述业务模型，所述方法包括：执行下述循环过程，直到满足循环结束条件：所述第一成员设备和各个第二成员设备使用训练样本数据以及各自的当前子模型得到当前业务模型的当前预测值，其中，与所述至少一个非线性模型结构对应的模型计算采用线性近似处理方式实现；在所述第一成员设备处，根据所述当前预测值和对应的标签值，确定当前预测差值；以及在不满足所述循环结束条件时，根据所述当前预测差值调整所述第一成员设备和各个第二成员设备的当前子模型，调整后的各个成员设备的当前子模型用作下一循环过程的当前子模型。

可选地，在上述方面的一个示例中，各个非线性模型结构所对应的模型计算所采用的线性近似处理方式可以是与该非线性模型结构对应的分段线性近似处理方式。

可选地，在上述方面的一个示例中，所述分段线性近似处理方式可以基于所述非线性模型结构的函数表征形式、模型训练精度要求和/或模型训练效率要求确定。

可选地，在上述方面的一个示例中，所述业务模型包括至少一个线性模型结构，与所述至少一个线性模型结构对应的模型计算经由各个成员设备使用多方安全计算实现。

可选地，在上述方面的一个示例中，所述多方安全计算包括秘密共享、混淆电路和同态加密中的一种。

可选地，在上述方面的一个示例中，所述循环结束条件可以包括：达到预定循环次数；或者当前预测差值在预定差值范围内。

可选地，在上述方面的一个示例中，所述业务模型是神经网络模型。