[发明专利]推荐模型训练方法、推荐方法、装置及计算机可读存储介质

说明书

本发明提供了一种推荐模型训练方法，推荐方法、装置及计算机可读存储介质，推荐模型包括：第一BERT网络、第二BERT网络和预测网络，该方法包括：获取训练样本，训练样本包括：用户针对历史营销活动的历史响应行为，候选营销活动的文本数据以及用户针对候选营销活动的响应标签；根据历史响应行为构建时序数据，将时序数据输入第一BERT网络，以提取具有时序动态权重的时序特征；根据候选营销活动的文本数据构建营销活动特征，将营销活动特征输入第二BERT网络，以提取语义特征；将时序特征和语义特征输入预测网络，得到用户对于候选营销活动的响应概率，利用响应概率和响应标签训练推荐模型。利用上述方法，能够实现精准推荐。

技术领域

本发明属于推荐领域，具体涉及推荐模型训练方法、推荐方法、装置及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着推荐算法的发展，如何向用户精准推荐感兴趣的营销活动成为重要的课题，然而，用户偏好可能会随着各类因素而随时发生变化，当前的推荐算法存在滞后且精准度不高的问题。

因此，如何实现精准的营销活动推荐是一个亟待解决的问题。

发明内容

针对上述现有技术中存在的问题，提出了一种推荐模型训练方法、推荐方法、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。

本发明提供了以下方案。

第一方面，提供一种推荐模型训练方法，所述推荐模型包括：第一BERT网络、第二BERT网络和预测网络，包括：获取训练样本，所述训练样本包括：用户针对历史营销活动的历史响应行为，候选营销活动的文本数据以及用户针对所述候选营销活动的响应标签；根据所述历史响应行为构建时序数据，将所述时序数据输入第一BERT网络，以提取具有时序动态权重的时序特征；根据所述候选营销活动的文本数据构建营销活动特征，将所述营销活动特征输入第二BERT网络，以提取语义特征；将所述时序特征和所述语义特征输入预测网络，得到所述用户对于所述候选营销活动的响应概率，利用所述响应概率和所述响应标签训练所述推荐模型。

在一种实施方式中，根据所述历史响应行为构建时序数据,还包括：获取所述用户针对最近N次历史营销活动的N个历史响应行为，生成第一时序数据；对所述行为序列进行MLM预训练任务，输出第二时序数据；对所述第二行为序列进行词嵌入处理，输出第三时序数据作为所述时序数据。

在一种实施方式中，所述训练样本还包括：所述用户的静态属性信息，所述方法还包括：对用户的所述静态属性信息进行词嵌入处理，加入所述时序数据。

在一种实施方式中，生成第一时序数据,还包括：获取所述用户针对最近N次历史营销活动的N个历史响应行为，并进行向量化处理；根据时间关系确定每个所述历史营销活动与所述候选营销活动的相关性；根据所述相关性确定对应于每个所述历史营销活动的权重；根据所述历史响应行为和所述权重，生成所述第一时序数据。

在一种实施方式中，根据时间关系确定每个所述历史营销活动与所述候选营销活动的相关性，还包括：根据每个所述历史营销活动距离当前的时间差定义时序衰减情况；根据所述时序衰减情况确定所述相关性。

在一种实施方式中，根据时间关系确定每个所述历史营销活动与所述候选营销活动的相关性，还包括：利用所述Transformer编码器的位置编码机制对所述行为序列进行时序编码，得到时序编码向量，根据所述时序编码向量确定所述相关性。

在一种实施方式中，利用所述Transformer编码器的位置编码机制对所述行为序列进行时序编码，还包括：其中，利用如下公式定义时序编码规则：