[发明专利]推荐模型训练方法、推荐方法、装置及计算机可读存储介质

权利要求书

1.一种推荐模型训练方法，其特征在于，所述推荐模型包括：第一BERT网络、第二BERT网络和预测网络，包括：

获取训练样本，所述训练样本包括：用户针对历史营销活动的历史响应行为，候选营销活动的文本数据以及用户针对所述候选营销活动的响应标签；

根据所述历史响应行为构建时序数据，将所述时序数据输入第一BERT网络，以提取具有时序动态权重的时序特征；

根据所述候选营销活动的文本数据构建营销活动特征，将所述营销活动特征输入第二BERT网络，以提取语义特征；

将所述时序特征和所述语义特征输入预测网络，得到所述用户对于所述候选营销活动的响应概率，利用所述响应概率和所述响应标签训练所述推荐模型。

2.根据权利要求1所述的方法，其特征在于，根据所述历史响应行为构建时序数据,还包括：

获取所述用户针对最近N次历史营销活动的N个历史响应行为，生成第一时序数据；

对所述行为序列进行MLM预训练任务，输出第二时序数据；

对所述第二行为序列进行词嵌入处理，输出第三时序数据作为所述时序数据。

3.根据权利要求1所述的方法，其特征在于，所述训练样本还包括：所述用户的静态属性信息，所述方法还包括：

对用户的所述静态属性信息进行词嵌入处理，加入所述时序数据。

4.根据权利要求2所述的方法，其特征在于，生成第一时序数据,还包括：

获取所述用户针对最近N次历史营销活动的N个历史响应行为，并进行向量化处理；

根据时间关系确定每个所述历史营销活动与所述候选营销活动的相关性；

根据所述相关性确定对应于每个所述历史营销活动的权重；

根据所述历史响应行为和所述权重，生成所述时序数据。

5.根据权利要求4所述的方法，其特征在于，根据时间关系确定每个所述历史营销活动与所述候选营销活动的相关性，还包括：

根据每个所述历史营销活动距离当前的时间差定义时序衰减情况；

根据所述时序衰减情况确定所述相关性。

6.根据权利要求4所述的方法，其特征在于，根据时间关系确定每个所述历史营销活动与所述候选营销活动的相关性，还包括。

7.根据权利要求6所述的方法，其特征在于，利用所述Transformer编码器的位置编码机制对所述行为序列进行时序编码，还包括：

其中，利用如下公式定义时序编码规则：

其中，TE(t,2i)为时序t的时序编码向量的第2i维，TE(t,2i+1)为时序t的时序编码向量的第2i+1维，d_model是时序编码向量的维度。

8.根据权利要求1所述的方法，其特征在于，所述候选营销活动的文本数据包括：获取所述候选营销活动的文案信息、权益信息和属性信息中的一种或多种。

9.根据权利要求1所述的方法，其特征在于，将所述时序特征和所述语义特征输入预测网络之后，还包括：

利用如下公式学习所述时序特征V_u与指定的所述候选营销活动V_s之间的相关性关系：

其中，所述V_i是指所述用户u的第i个消费响应行为，取值为1-N之间的正整数，V_s为指定营销活动，w_i＝g(V_i,V_s)是指待学习的V_i和V_s之间的相关性关系。