[发明专利]一种数据有效性的验证方法、装置和设备

说明书

本说明书实施例提供一种数据有效性的验证方法和装置，其中，方法可以包括：根据训练样本中的入模变量和标签；将测试样本中的入模变量输入机器学习模型得到预测值；测试样本还包括标签；根据测试样本的标签和预测值，得到测试样本对应的残差；使用未入模变量回归拟合残差，得到第一回归评价指标；将残差发送至第二数据方，以使得第二数据方使用拥有的第二数据拟合残差，并得到第二回归评价指标；接收第二数据方返回的第二回归评价指标，以通过比较第二回归评价指标和第一回归评价指标确定第二数据的数据有效性。

技术领域

本公开涉及大数据技术领域，特别涉及一种数据有效性的验证方法和装置。

背景技术

随着互联网技术的飞速发展，整个社会被强行推入“大数据”时代。不管人们是否愿意，我们的个人数据正在不经意间被动地被企业、个人搜集并使用。个人数据的网络化和透明化已经成为不可阻挡的大趋势。与此同时，用户数据亦是危险的“潘多拉之盒”，数据一旦泄漏，用户的隐私将被侵犯。近年来，已经发生了多起用户隐私泄露事件，公民的个人的隐私数据保护遇到了严峻的挑战。大数据带来的整体性变革，使得个体用户很难对抗个人隐私被全面暴露的风险。面对频发的隐私泄露事件，隐私保护问题需要得到有效的解决。

在实际业务当中，我们可能遇到这样的场景：需要借助第三方渠道的变量数据来提升现有模型的效果，仅当这些数据对我们建模会有帮助的时候，才购买相应的第三方数据。因此，我们需要在不获取第三方数据的情况下预先评判其有效性，并且在这个过程中不能泄露我方用户的隐私数据。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种数据有效性的验证方法和装置，以在确定外部数据有效性的同时保护内部数据隐私。

具体地，本说明书一个或多个实施例是通过如下技术方案实现的：

第一方面，提供一种数据有效性的验证方法，所述方法应用于验证第二数据方拥有的第二数据是否有效；所述方法由第一数据方执行，所述第一数据方拥有的第一数据包括：机器学习模型的训练集和测试集；所述训练集包括多个训练样本，所述测试集包括多个测试样本；所述方法包括：

根据训练样本中的入模变量和标签，训练所述机器学习模型；所述训练样本还包括未参与机器学习模型训练的未入模变量；

将所述测试样本中的所述入模变量输入所述机器学习模型得到预测值；所述测试样本还包括标签，所述标签表示测试样本的入模变量输入机器学习模型的预期预测值；

根据测试样本的标签和所述预测值，得到所述测试样本对应的残差；

使用所述未入模变量回归拟合所述残差，得到第一回归评价指标；

将所述残差发送至第二数据方，以使得第二数据方使用拥有的第二数据拟合所述残差，并得到第二回归评价指标；

接收所述第二数据方返回的第二回归评价指标，以通过比较所述第二回归评价指标和第一回归评价指标，来确定第二数据的数据有效性。

第二方面，提供一种数据有效性的验证方法，所述方法由第二数据方执行，包括：

接收第一数据方发送的残差，所述残差是第一数据方根据测试样本中的入模变量输入机器学习模型得到的预测值以及测试样本的标签得到；所述第一数据方拥有的第一数据包括：训练集和测试集，所述训练集包括多个训练样本，所述测试集包括多个测试样本；所述机器学习模型是根据训练样本中的入模变量和标签训练得到；所述训练样本中还包括未入模变量；

接收第一数据方发送的样本标识，并根据所述样本标识进行样本匹配获得用于参与回归拟合的第二数据；

基于所述第二数据回归拟合所述残差，得到第二回归评价指标；