[发明专利]模型处理方法、预测方法、装置、设备及存储介质

权利要求书

1.一种模型处理方法，应用于服务端系统与移动端设备，包括：

获取训练样本对应的行为特征向量和样本标签；所述行为特征向量表征所述移动端设备的用户的行为信息；

通过初始注意力模型，基于注意力机制对所述行为特征向量进行特征压缩，得到初始记忆向量；

将所述初始记忆向量输入初始预测模型，得到初始预测结果；

基于所述初始预测结果和所述样本标签，对所述初始注意力模型和所述初始预测模型进行训练，得到训练完成的注意力模型和预测模型；并将所述行为特征向量输入所述训练完成的注意力模型，得到基准记忆向量；

将所述基准记忆向量和所述训练完成的预测模型发送至所述移动端设备。

2.根据权利要求1所述的方法，其中，所述通过初始注意力模型，基于注意力机制对所述行为特征向量进行特征压缩，得到初始记忆向量，包括：

基于所述行为特征向量，得到多个遮盖序列向量；其中，每个遮盖序列向量均是对所述行为特征向量中包含的各元素进行一次随机遮盖处理得到的；

通过初始注意力模型，分别对每个遮盖序列向量进行特征压缩，得到多个初始记忆向量；

所述将所述初始记忆向量输入初始预测模型，得到初始预测结果，包括：

分别将各初始记忆向量输入初始预测模型，得到多个初始预测结果。

3.根据权利要求2所述的方法，其中，所述基于所述初始预测结果和所述样本标签，对所述初始注意力模型和所述初始预测模型进行训练，得到训练完成的注意力模型和预测模型，包括：

基于所述多个初始预测结果和所述样本标签，分别得到第一损失值和第二损失值，其中，所述样本标签与各初始预测结果的差值之和越小，则所述第一损失值越小；各初始预测结果间的差值之和越小，则所述第二损失值越小；

对所述第一损失值和第二损失值进行数值融合，得到融合损失值；

根据所述融合损失值，对所述初始注意力模型和所述初始预测模型进行训练，得到训练完成的注意力模型和预测模型。

4.根据权利要求1所述的方法，其中，所述行为特征向量包括：历史行为特征向量和即时行为特征向量；所述通过初始注意力模型，基于注意力机制对所述行为特征向量进行特征压缩，得到初始记忆向量，包括：

通过初始注意力模型，基于注意力机制对所述历史行为特征向量进行特征压缩，得到初始记忆向量；

所述将所述初始记忆向量输入初始预测模型，得到初始预测结果，包括：

对所述即时行为特征向量中包含的各元素进行融合处理，得到融合后即时行为特征向量；

对所述融合后即时行为特征向量和所述初始记忆向量进行加权融合，得到融合特征向量；

将所述融合特征向量输入初始预测模型，得到初始预测结果。

5.根据权利要求1所述的方法，其中，所述通过初始注意力模型，基于注意力机制对所述行为特征向量进行特征压缩，得到初始记忆向量，包括：

判断是否存在历史基准记忆向量，若存在，拼接所述行为特征向量和所述历史基准记忆向量，得到拼接后行为特征向量；其中，所述历史基准记忆向量为在前次模型处理过程中得到的基准记忆向量；

通过初始注意力模型，基于注意力机制对所述拼接后行为特征向量进行特征压缩，得到初始记忆向量。

6.一种预测方法，应用于移动端设备与服务端系统，包括：

从所述服务端系统获取基准记忆向量和训练完成的预测模型；所述基准记忆向量为基于注意力机制对所述移动端设备的用户的历史行为特征向量进行特征压缩得到的；

获取所述用户的即时行为特征向量；并对所述即时行为特征向量中包含的各元素进行融合处理，得到融合后即时行为特征向量；

对所述融合后即时行为特征向量和所述基准记忆向量进行加权融合，并将加权融合结果输入至所述预测模型，得到预测结果。

7.根据权利要求6所述的方法，其中，所述对所述即时行为特征向量中包含的各元素进行融合处理，得到融合后即时行为特征向量，包括：

对所述即时行为特征向量中包含的各元素进行求平均值操作，得到融合后即时行为特征向量。