[发明专利]一种数据处理方法及相关装置

说明书

一种数据处理方法，可以应用于人工智能领域，方法包括：获取用户的第一日志数据以及第二日志数据；所述第一日志数据包括第一物品的第一属性信息，所述第二日志数据包括第二物品的第二属性信息；所述第一日志数据的发生时间早于所述第二日志数据；通过第一编码器处理所述第一属性信息对应的第一嵌入，得到第一特征表示；通过第二编码器处理所述第二属性信息对应的第二嵌入，得到第二特征表示；所述第一特征表示和所述第二嵌入之间的差异、以及所述第二特征表示和所述第一嵌入之间的差异用于构建损失；根据所述损失更新所述第一编码器以及所述第二编码器。本申请可以提高模型的预测精度。

技术领域

本申请涉及人工智能领域，尤其涉及一种数据处理方法及相关装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

个性化推荐系统在许多在线服务平台中发挥着重要作用，从在线广告、在线零售到音乐和视频的推荐。为了为用户提供精确和定制的服务，这些系统试图根据用户的历史交互数据推荐用户可能感兴趣的产品。通常的做法是将用户与商品的交互构成一个动态的序列，然后通过序列模型捕获用户多样化动态化的兴趣模式。上述思路可以很自然地被描述为Next-Item Prediction任务(即预测用户可能会交互下一个项目)，通过自回归模型的形式来建模。

然而在实际场景中，用户行为并不是严格有序的。例如在购买iPad后，用户可能会点击铅笔、iPad外壳和耳机，但用户很可能是随机点击这三个产品的而并不存在严格的点击顺序。因此目前主流的序列推荐系统的行为有序性假设会造成用户行为建模中的上下文信息损失，因为未来信息(发生在用户与目标项目交互之后的交互)也会提供丰富的背景信息来帮助模型训练。

最近，研究人员已经证明，与自回归模型相比，在训练过程中利用过去和未来的语境信息将显著提升推荐性能。受自然语言处理领域进展的启发，他们提出了基于自编码序列推荐算法的BERT4Rec模型，采用MLM的训练方式，根据用户过去和未来的交互行为记录预测被掩码(Masked)的项目交互。与单向自回归模型(如SASRec)相比，BERT4Rec尝试打破行为有序性的限制，将未来信息引入到用户行为建模过程中，并取得了显著的成效。

尽管BERT4Rec通过MLM任务将过去与未来信息同时引入到训练过程之中，但是其伴随着严重的训练-推理差异(training-inference gap)。即在训练时采用过去与未来的交互记录作为上下文来预测被掩蔽的项目，而在推理时则只能利用过去交互记录预测用户可能交互的下一个项目。这一训练和推理之间的上下文差异可能会在推理过程中造成模型偏差，并导致潜在的性能下降。

发明内容

本申请提供了一种数据处理方法，可以提高模型的预测精度。

第一方面，本申请提供了一种数据处理方法，所述方法包括：获取用户的第一日志数据以及第二日志数据；所述第一日志数据包括第一物品的第一属性信息，所述第二日志数据包括第二物品的第二属性信息；所述第一日志数据的发生时间早于所述第二日志数据；通过第一编码器处理所述第一属性信息对应的第一嵌入，得到第一特征表示；通过第二编码器处理所述第二属性信息对应的第二嵌入，得到第二特征表示；所述第一特征表示和所述第二嵌入之间的差异、以及所述第二特征表示和所述第一嵌入之间的差异用于构建损失；根据所述损失更新所述第一编码器以及所述第二编码器。